Дофами́н (допами́н, DA) — нейромедиатор, вырабатываемый в мозге животных (в том числе людей). Также гормон, вырабатываемый мозговым веществом надпочечников и другими тканями (например, почками), но в подкорку мозга из крови этот гормон почти не проникает. По химической структуре дофамин относят к катехоламинам. Дофамин является биохимическим предшественником норадреналина (и адреналина).

Дофамин — гормон, отвечающий за психоэмоциональное состояние человека. Он поддерживает функционирование сердца и мозга, помогает контролировать вес и отвечает за работоспособность. Недостаток данного гормона в организме человека приводит к постоянному депрессивному состоянию и накоплению лишнего веса.

Чувство удовлетворения

Дофамин является одним из химических факторов внутреннего подкрепления (ФВП) и служит важной частью «системы вознаграждения» мозга, поскольку вызывает чувство удовольствия (или удовлетворения), чем влияет на процессы мотивации и обучения. Дофамин естественным образом вырабатывается в больших количествах во время положительного, по субъективному представлению человека, опыта — к примеру, секса, приёма вкусной пищи, приятных телесных ощущений[4]. Нейробиологические эксперименты показали, что даже воспоминания о поощрении могут увеличить уровень дофамина, поэтому данный нейромедиатор используется мозгом для оценки и мотивации, закрепляя важные для выживания и продолжения рода действия.

Переключение внимания

Дофамин играет немаловажную роль в обеспечении когнитивной деятельности. Активация дофаминергической передачи необходима при процессах переключения внимания человека с одного этапа когнитивной деятельности на другой. Таким образом, недостаточность дофаминергической передачи приводит к повышенной инертности больного, которая клинически проявляется замедленностью когнитивных процессов (брадифрения) и персеверациями. Данные нарушения являются наиболее типичными когнитивными симптомами болезней с дофаминергической недостаточностью — например, болезни Паркинсона.

Синтетические аналоги. Влияние наркотиков на уровень дофамина

Как и у большинства нейромедиаторов, у дофамина существуют синтетические аналоги, а также стимуляторы его выделения в мозге. В частности, многие наркотики увеличивают выработку и высвобождение дофамина в мозге в 5—10 раз, что позволяет людям, которые их употребляют, получать чувство удовольствия искусственным образом. Так, амфетамин напрямую стимулирует выброс дофамина, воздействуя на механизм его транспортировки. Другие наркотики, например, кокаин и некоторые другие психостимуляторы, блокируют естественные механизмы обратного захвата дофамина, увеличивая его концентрацию в синаптическом пространстве. Морфий и никотин имитируют действие натуральных нейромедиаторов, а алкоголь блокирует действие антагонистов дофамина. Если пациент продолжает чрезмерно стимулировать свою «систему поощрения», постепенно мозг адаптируется к искусственно повышаемому уровню дофамина, производя меньше гормона и снижая количество рецепторов в «системе поощрения». Это один из факторов, побуждающих наркомана увеличивать дозу для получения прежнего эффекта. Дальнейшее развитие химической толерантности может постепенно привести к метаболическим нарушениям в головном мозге, а в долговременной перспективе потенциально нанести серьёзный ущерб здоровью мозга.

Пониженный уровень дофамина

Многие люди, которые страдают от резких перепадов настроения, возможно, даже не знают, что существует такое вещество, как дофамин. Что это такое и каковы симптомы его нехватки в организме?

Пониженный уровень этого гормона в организме может привести к неприятным последствиям, которые отразятся на состоянии как психоэмоционального, так и физического здоровья.

Нехватка дофамина провоцирует появление проблем с обменом веществ, которые приводят к ожирению. В поведении больного часто наблюдается необъяснимая раздражительность, апатия, депрессия и даже патологическая агрессивность. Люди, страдающие нехваткой дофамина, склонны к таким заболеваниям, как диабет, ангедония, дискинезия, болезнь Паркинсона, а также к нарушениям в функционировании сердечно-сосудистой системы. Кроме того, эти люди страдают от снижения сексуального влечения, хронической усталости, галлюцинаций.

Дофамин в организме играет очень важную роль, а его недостаток сказывается как на состоянии больного, так и на состоянии его близкого окружения. В этой ситуации главное — это вовремя среагировать и обратиться за помощью к специалистам.

Повышение уровня дофамина

От нехватки данного гормона можно очень просто избавиться. Для этого применяются как лекарственные препараты, так и средства народной медицины. Важно в этом деле начать правильно питаться, ведь многое зависит и от дневного рациона. Стоит в него включить продукты, которые богаты тирозином. Они синтезируют дофамин и помогают ему усвоиться в организме. К таким продуктам относятся фрукты и овощи (банан, яблоки, свекла, крапива), женьшень, яйца, зеленый чай, морепродукты, рыба. Дофамин (что это такое, рассмотрено выше) отлично усваивается и сразу же начинает выполнять свойственные ему функции. Кроме того, существуют пищевые добавки на основе лекарственных растений, которые также благотворно влияют на выработку гормона.

Роль физических упражнений

На нормализацию и поддержание уровня гормона удовольствия в организме положительно влияет регулярная физическая активность. Она подарит, кроме отличного самочувствия и хорошего настроения, еще и красивое стройное тело. С помощью спортивных занятий повышается уровень не только дофамина, но и серотонина. Поэтому от стрессов, депрессий или просто плохого настроения помогут прогулки, пробежки или катание на велосипеде.

К народным средствам, повышающим уровень данного гормона, относят регулярные занятия сексом. Кстати, привязанность и влюбленность также оказывают положительное влияние на выработку дофамина. Это обусловлено приятными впечатлениями, положительными эмоциями, учащенным сердцебиением. Именно из-за этого влюбленный человек чувствует себя радостным и счастливым.

1. Система поощрения. Дофамин является одним из факторов внутреннего подкрепления и служит важной частью «системы поощрения» мозга, поскольку вызывает чувство удовольствия (или удовлетворения), чем влияет на процессы мотивации и обучения.

Когда у нас возникает потребность, то выделяется дофамин, который заставляет нас шевелится и предринимать действия, чтобы достигнуть цель. В 2001 году стэнфордский нейробиолог Брайан Кнутсон опубликовал убедительное исследование, в котором доказал, что дофамин отвечает за предвкушение, а не за переживание награды.

Дофамин естественным образом вырабатывается в больших количествах во время позитивного, по субъективному представлению человека, опыта — к примеру, секса, приёма вкусной пищи, приятных телесных ощущений, достижения поставленных задач и др. Нейробиологические эксперименты показали, что даже воспоминания о позитивном поощрении могут увеличить уровень дофамина, поэтому данный нейромедиатор используется мозгом для оценки и мотивации, закрепляя важные для выживания и продолжения рода действия.

2. Активация дофаминергической передачи необходима при процессах переключения внимания человека с одного этапа когнитивной деятельности на другой. Таким образом, недостаточность дофаминергической передачи приводит к повышенной инертности больного, которая клинически проявляется амедленностью когнитивных процессов (брадифрения) и персеверациями (мусоленьем одного и того же).

3. Почему нам приятно от мыслей о предстоящем удовольствии? Почему мы можем часами смаковать предстоящее наслаждение? Последние исследования показывают, что выработка дофамина начинается ещё в процессе ожидания удовольствия. Это очень важно. Размышления уже спровоцируют выброс дофамина и желание еще больше возрастет.

Как сжечь рецепторы. Сжигает все, что стимулирует выброс дофамина, но не удовлетворяет потребности (ресурсы здоровья).
— Наркотики (никотин, алкоголь)
— Зависимости (сладкое, порно, лотереи, казино и др.)
— Зависимое поведение, агрессия (насилие) и др.

Дофамин — это нейромедиатор в мозгу, который выполняем две важные функции: служит нейромедиатором поощрения и служит в системе оценки и мотивации. Дофамин также необходим для запоминания, принятия решений и обучения.

Теоретическая разработка саморегулирующихся систем и их расчет в современной технике требуют применения самых современных и сложных математических методов. С помощью тех же математических методов можно описать механизмы регулирования в отдельных живых организмах и в целых человеческих обществах. Ричард Беллман

Теория регулирования, так же как и многие другие теории широкого назначения, представляет собой скорее образ мышления, чем какое-то конкретное сочетание математических, естественнонаучных и технических методов. К теории регулирования можно отнести любой рациональный подход, который выбирают люди для разрешения своих противоречий со средой, как естественной, так и сложившейся в результате технического прогресса. В широком смысле задача теории регулирования состоит в том, чтобы заставить систему (любого типа) функционировать наиболее приемлемым образом, скажем быть более надежной, целесообразной или экономичной. Если речь идет о биологической системе, то нужно раскрыть механизм функционирования системы и на основе этого ослабить или устранить те или иные причины конфликтов и страданий.

В данной статье мы рассмотрим в основном вопросы теории регулирования с достаточно полно выраженным математическим содержанием; однако ряд наиболее интересных задач теории регулирования находится в области экономики, биологии или психологии, где пока что еще не достигнуто точное понимание происходящих в них явлений. Понимание того или иного явления можно считать достигнутым, лишь когда ученый умеет предсказывать, а для этого ему нужно оперировать количественными показателями. Качественные предсказания, скажем, землетрясения, урагана или экономического кризиса в ближайшем будущем гораздо менее ценны, чем те же предсказания, но с точным указанием времени и места события.

Возможность производить количественные прогнозы — непременное предварительное условие развития теории регулирования. Для этого необходим аппарат, дающий численные данные, что в свою очередь требует создания математической модели. Может показаться, что чем ближе модель к действительности, тем точнее ее прогнозы и тем эффективнее, следовательно, управление. К сожалению, это не так. Реальный мир столь обилен деталями, что, попытавшись построить математическую модель, очень близкую к действительности, мы очень скоро запутываемся в погоне за сложнейшими уравнениями, которые содержат неизвестные величины и неизвестные функции. Определение же этих функций ведет к еще более сложным уравнениям, с еще большим числом величин и функций — и так до бесконечности.

Фиг. 84. Система регулирования химического процесса, установленная в штате Техас на предприятии химической компании «Силаниз», где цифровая вычислительная машина производит регулирование по системе замкнутого цикла. Завод перерабатывает нефтяной газ в уксусную кислоту, ацетальдегид и другие химические вещества, которые используются в производстве красок, пластмасс, волокон, медикаментов, косметики, топлив и смазочных масел. Системы регулирования по замкнутому циклу применяются также в прокатных цехах.

Изобилие проблем, возникающих на современном уровне развития человеческого общества, привело к изучению в широком плане теории регулирования и к разработке многообразных систем регулирования. Хотя разработка таких систем началась еще задолго до создания электронных вычислительных машин, их появление вскоре после окончания второй мировой войны вызвало исключительно быстрое развитие теории регулирования. Последние 20 лет эта теория развивалась бок о бок почти в органической взаимосвязи с вычислительной техникой. Создание и эксплуатация большинства наиболее совершенных управляющих систем, используемых для военных нужд, космических исследований, в промышленном производстве, были бы невозможны без вычислительных машин.

В промышленности на основе электронно-вычислительной техники широко используется теория регулирования для управления учетом товаров, планирования работы поточных линий и для улучшения экономических показателей электростанций, прокатных станов, нефтеочистительных и химических заводов. Подсчитано, что к середине 1964 г. в США было введено или вводилось в действие около 500 вычислительных машин, специально спроектированных для регулирования различных технологических процессов. Пять лет назад их насчитывалось не более десятка.

Большая часть вычислительных машин, используемых для регулирования технологических процессов, все еще работает по «разомкнутому циклу» — это значит, что они снимают показания по какому-либо протекающему процессу, анализируют их с целью возможных улучшений и представляют свои предложения человеку-оператору для принятия решения. Однако все в большем числе предприятий используются машины с замкнутым циклом. Решения вычислительной машины непосредственно передаются на исполнительные органы, так что регулирование производится автоматически.

Особенно показателен в этом отношении новый сталелитейный завод в Роттергаме (Англия). Здесь установлены три большие цифровые вычислительные машины, между которыми существует определенная иерархия. Головная машина участвует в процессе производства лишь косвенно и используется для его планирования. Она получает заказы клиента и классифицирует их в соответствии с маркой стали и видом продукции. Затем эта же машина вычисляет трехнедельную программу эффективной эксплуатации сталеплавильных печей и прокатных станов и следит за ее выполнением. Как только одна из печей дает плавку, вступает в действие вторая вычислительная машина и вырабатывает исчерпывающие инструкции для дальнейшего производственного процесса. Эта машина участвует непосредственно в процессе производства и фактически управляет прокатным станом. Третья машина определяет размеры заготовки и вычисляет, как ее разрезать, с тем чтобы отходы были минимальными. Сейчас многие фирмы стремятся перейти на такое комплексное использование вычислительных машин, участвующих во всем процессе производства — от получения заказа до составления счетов на готовую продукцию.

Задачи регулирования, которые за последние 25 лет поставили перед математиками промышленные и военные предприятия и учреждения, подготавливающие космические полеты, привели к возрождению большого числа, казалось бы, неактуальных математических дисциплин и к появлению новых математических теорий, представляющих интерес сами по себе. Ввиду тесной связи проблем регулирования и устойчивости при изучении, например, устойчивости солнечной системы, вновь обратились к математическим теориям XVIII и XIX вв., которые были рассмотрены под новым углом зрения и применены ко многим современным задачам. Эти теории содержали весьма глубокие концепции, предложенные французским математиком Анри Пуанкаре и русским математиком А. М. Ляпуновым. Ныне они широко используются при исследовании проблем регулирования.

Наиболее актуальные и сложные проблемы регулирования, с которыми столкнулись в науке, технике, медицине и даже политике, можно охарактеризовать как многоступенчатые, или многостадийные, процессы принятия решений. Раньше эти проблемы обычно решали, как говорится, на пальцах и как бог на душу положит, опираясь на прошлый опыт. Основная задача — это определить целесообразный и разумный образ действий, исходя из неполных данных и того частичного понимания, которого удалось достичь. По мере получения большей информации можно ожидать, что удастся найти лучшее решение, однако главное — это выработать разумную линию уже сейчас.

Известная задача, которая лишь частично решается,— это задача поддержания здоровой национальной экономики, т. е. нахождения путей избежать, с одной стороны, кризисов и, с другой — инфляций. Необходимая управляемость экономики может быть достигнута рядом методов. Один из них заключается в регулировании процентных ставок по займам. Если усиливаются признаки инфляции, то такая ставка повышается и ограничивается количество денег в обращении, если же наступает кризис, ставка снижается, в результате темп инвестирования увеличивается и в обращение поступает большее количество денег.

Фиг. 85. Регулирование с обратной связью часового маятника было изобретено в 1673 г. голландским математиком Христианом Гюйгенсом. Изогнутые металлические полоски с обеих сторон цепочки маятника (справа), обозначенные буквой T, обеспечивают постоянный период колебаний маятника независимо от длины его дуги. Стержень S движется вместе с маятником, передавая его движение часовому механизму.

Экономическая политика при этом существенно зависит от того, что именно происходит в экономической системе в данный момент. А чтобы это знать, необходима ответная информация, т. е. нужна «обратная связь». Понятие регулирования с обратной связью известно теперь почти каждому. Оно означает наличие автоматического регулирующего звена между какой-то переменной и причиной, вызывающей ее изменение. Примером раннего внедрения в технику регулирования с обратной связью может служить регулятор, который Джеймс Уатт использовал в своей паровой машине. И даже еще раньше Христиан Гюйгенс изобрел приспособление для регулирования периода колебания часового маятника, которое называлось бы ныне статической системой с обратной связью (фиг. 86).

Фиг. 86. Центробежный регулятор (слева) — одно из самых ранних изобретений в области автоматического регулирования — был создан Джеймсом Уаттом для регулирования скорости движения поршня паровой машины. Если скорость машины превышает заданную, то стержень (D), на котором укреплены шары (Е), вращается быстрее, так что шары расходятся в стороны. Это в свою очередь закрывает заслонку (Z), уменьшая приток пара в машину и тем самым замедляя ее. Часть мощности машины расходуется на вращение стержня D, определенная доля ее используется по каналу обратной связи для регулирования скорости машины.

Обычно к системе регулирования с обратной связью прибегают, когда сложность проблемы усугубляется недостатком знаний о ней (деликатно называемым «неопределенностью»). Если, например, мы разбирались бы в механизмах экономики так же хорошо, как, скажем, в движении планет, то могли бы заблаговременно предсказать, как сложатся отношения между производителями и потребителями, например к каким результатам приведут рост населения, появление новых товаров и новых методов обслуживания. Основываясь на этих знаниях, можно было бы вычислить и объявить целесообразные процентные ставки на много лет вперед. Однако нужно было бы сообразовываться с последствиями опубликования таких данных, поскольку и производитель и потребитель учли бы эти будущие процентные ставки в своих текущих экономических решениях.

Жизнь вынуждает нас придерживаться политики «поживем — увидим», т. е. делать вывод о тенденциях текущего момента только после наблюдения за экономической картиной в течение определенного периода. На основе этих выводов изменяется процентная ставка или приводится в действие какой-либо другой рычаг управления экономикой. При этом надежда возлагается на своевременность того или иного мероприятия. Вопрос согласования во времени внешних факторов играет первенствующую роль в теории регулирования. Любой, кто раскачивал качели, знает, что получится, если приложить усилие на долю секунды раньше или позже.

В силу сложности и неопределенности современных проблем регулирования принцип обратной связи стал общепризнанным. В действительности же иногда забывают, что многие задачи регулирования все еще решаются без использования непосредственной, действенной обратной связи. Так, например, обстоит дело, когда для вытачивания тождественных деталей устанавливается автоматический металлорежущий станок. При этом предполагается, что задача регулирования предварительно решена полностью. На практике, конечно, детали несколько отличаются друг от друга, и в какой-то момент установленный допуск превышается; тогда производят повторную регулировку станка. Это так называемое регулирование с обратной связью — постфактум.

В новейших металлорежущих станках размеры обтачиваемых деталей контролируются непрерывно и обратная связь обеспечивает точное регулирование параметров резания. Такой метод дает возможность вытачивать одни и те же детали с любой желаемой степенью точности. Для этого отнюдь не обязательно использовать цифровые вычислительные машины.

Применение вычислительной машины необходимо в случае, когда сложные задачи требуется решать с большой скоростью, например при запусках космических кораблей. В многостадийном процессе принятия решений выбор их зависит от полученной информации, которая по мере развития процесса поступает в устройство управления по каналу обратной связи. Вычислительная машина, установленная на ракете или на земле, нужна для принятия с необходимой скоростью целой последовательности решений. О подобных машинах говорят, что они работают в «реальном» времени, поскольку их ответы не должны отставать от задаваемых им вопросов.

Вычислительная машина, управляющая технологическим процессом нефтеперегонного завода, также должна действовать в реальном масштабе времени. Правда, время, которым она располагает для принятия решения, в 10—100 раз больше, чем у машины, управляющей ракетой. Зато машине, управляющей технологическим процессом, возможно, понадобится учесть в 10—100 раз больше переменных. И ей может понадобиться просматривать более длинные последовательности логических альтернатив, прежде чем принять решение.

Каким же аппаратом располагают математики при попытке регулировать многостадийные процессы принятия решений? Общепринятым является так называемый перечислительный подход. Каждое решение можно рассматривать как выбор среди некоторого числа переменных, которые определяют состояние процесса на следующей его стадии; любая последовательность выборов определяет еще более обширную совокупность переменных. Связав все эти выборы воедино, математик может «свести» проблему к задаче Ньютона об отыскании максимума заданной функции.

Отыскание максимума функции с достаточно хорошим «поведением» может показаться простой задачей—математику нужно лишь вычислить частные производные и решить полученную систему уравнений для нахождения точки максимума. К сожалению, эффективное аналитическое или численное решение многих даже несложных на вид линейных уравнений оказывается весьма трудным. По сути это не что иное, как «проклятие размерности», с которым физикам приходилось так долго мириться. И все же, несмотря на это, можно добиться значительных результатов.

Существуют, однако, и более серьезные трудности. Во многих случаях решением оказывается граничная точка области изменения. Это соответствует связям или ограничениям, которые накладываются реальными физическими или инженерными системами. Когда это так, математический анализ часто не дает возможности отыскать точки максимума и минимума и должен быть дополнен утомительным (и обычно неосуществимым) методом перебора. Наконец, часто результат решения оказывается не однозначно определенной, а случайной величиной. Процесс в таких случаях называют стохастическим. Любая методика, связанная с простым перебором, здесь в еще большей степени обречена на неудачу из-за быстрого увеличения числа возможных исходов на каждой ступени процесса. Мы не в состоянии «перечислить» все возможности и выбрать лучшую, когда их 10⁵⁰ или 10¹⁰⁰.

Однако это не означает, что математик исчерпал все свои ресурсы. Оглянувшись назад, он должен спросить себя, понимает ли он характер искомого решения и как влияют на вид данного решения физические свойства системы. Другими словами, математик может считать свою задачу решенной, лишь когда разберется в сущности оптимального подхода к решению. Позвольте разъяснить это положение.

Мы видели, что в рамках обычного подхода весь многоступенчатый процесс принятия решений рассматривается как одноступенчатый. То есть если такой процесс имеет N стадий или ступеней и на каждой из них должно быть принято M решений при обычном подходе, то процесс рассматривается как одноступенчатый с M×N измерениями. Хотелось бы избежать такого перемножения размерностей, поскольку оно лишь затрудняет анализ и неизбежно усложняет вычисления.

Альтернативой является так называемый стратегический подход, в котором упор делается на характеристики системы, определяющие принятие решения на любой стадии процесса решения. Иными словами, вместо того чтобы строить оптимальную последовательность решений от фиксированного состояния системы, определяется оптимальное решение от любого состояния системы. Только когда известно последнее состояние системы, можно считать, что раскрыта суть решения.

Математическое достоинство такого подхода состоит прежде всего в том, что он редуцирует размерность задачи в целом к размерности любой заданной стадии решения. Задачу тогда легче обработать аналитически; она становится проще и с вычислительной стороны. Кроме того, этот подход приводит к аппроксимациям («аппроксимациям в пространстве стратегий») с единственным в своем роде математическим свойством («монотонностью сходимости»). Это означает, что каждое последующее приближение улучшает предыдущие (фиг. 89).

Фиг. 89. Задача о выборе маршрута часто встречается в теории регулирования и до появления вычислительных машин и специальных методов программирования решалась с трудом. Приведенная задача состоит в отыскании пути из точки 1 в точку N, которую следует достичь в минимально короткий промежуток времени. Кружки представляют города, связанные между собой сетью дорог, причем время на передвижение из одного города в другой известно для каждой пары городов. Традиционный подход к такого рода задачам состоит в том, чтобы просто перебрать все возможные варианты. Для данного примера N есть всего лишь 11-я точка, а число всевозможных путей, ведущих из 1 в 11 (без возвращения в одну и ту же точку), достигает 10 000. Если же N было бы 30-й точкой, то быстродействующей вычислительной машине потребовалось бы более 100 час, для того чтобы только перебрать все возможные пути. Один из способов сделать эту задачу более легко поддающейся обработке — использовать «динамическое программирование», которое предполагает выбор стратегий. Достоинство таких стратегий заключается в том, что они могут быть применены, начиная с любой точки I нашей сети, и, таким образом, удовлетворяют правилу: «Поступай наилучшим для данной ситуации образом». Четыре меньшие диаграммы показывают, как выбирались стратегии в предположении, что х есть точка 8. Время (в часах), нужное на путешествие из i в N по различным маршрутам, показано на схеме (б). Начальная стратегия (в) заключается в следовании прямо из i в N, что займет 10 час. Вторая стратегия (г) заключается в следовании с одной остановкой, что дает возможность выбрать маршрут по двум дорогам, причем каждый из них займет 9 час. Третья стратегия (д)— сделать две остановки, что и дает маршрут с минимальным временем. Если бы за начальную точку i была выбрана точка 1, то нужно было бы следовать той же процедуре, однако поскольку вычерченная здесь сеть дорог не дает прямого пути из точки 1 в точку N, то первая стратегия, которую имело бы смысл проверить, была бы стратегия с наименьшим числом остановок (в данном случае с тремя). Разумеется, существуют способы сформулировать этот подход на языке программы для вычислительной машины. Уравнение, которым решается данная задача, имеет вид
f_i = min_i≠j[t_ij + f_j]
где f_i — минимальное время, нужное для передвижения из произвольной точки i в N; t_ij есть время, необходимое для передвижения из i в любую другую точку j, которой, в частности, может быть и N, а f_j — минимальное время, за которое от i можно добраться до N. Это уравнение динамического программирования решается методом последовательных приближений, в котором каждое последующее приближение улучшает результат предыдущего. Это уравнение может быть решено численно для сетей из нескольких сот точек за несколько часов, а на электронной вычислительной машине за несколько секунд. Из уравнения можно определить и оптимальную стратегию («куда идти дальше?»), и минимальное время. Более того, это уравнение воплощает в себе всю математическую мощь классического вариационного исчисления.

Несколько лет назад я предложил такой стратегический подход к многоступенчатому процессу назвать динамическим программированием. Одна из его задач — установить оптимальный вариант регулирования с обратной связью. Прилагательное «динамическое» указывает, что время в этом процессе играет первостепенную роль и что последовательность операций может иметь решающее значение. Подход этот, однако, в той же мере применим и к статическим процессам, если просто интерпретировать их как динамические, в которые время вводится условно.

Динамическое программирование в свою очередь положило начало развитию таких дополнительных и вспомогательных теорий регулирования, как теории стохастических и «адаптивных» вариационных процессов, марковских процессов решений, квазилинеаризации и инвариантных вложений. В нескольких словах объяснить эти теории невозможно, однако даже одно их перечисление наглядно показывает, как за последние годы развилась и разветвилась теория регулирования.

Рассмотрим теперь, как выбор стратегии¹ может упростить задачу, которую иначе трудно было бы решить на вычислительной машине. Например, администратор гостиницы должен обеспечить стульями группу людей в зале. У него есть помощник, который без труда переносит стулья, но считать не умеет. Какое решение принимает администратор?

¹Термин «стратегия» широко используется при математическом изучении (процессов принятия решений; им обозначается правило, по которому принимаются решения. — Прим. ред.

Он прибегает к элементарному, но весьма эффективному методу эквивалентности и использует регулирование с обратной связью, приказывая помощнику носить стулья до тех пор, пока каждый находящийся в зале не получит место. Эта последовательная процедура гарантирует, что все будут обеспечены местами, даже если не определять число людей или стульев. Более того, если некоторые стулья поломанные, то небольшое уточнение в указаниях администратора гарантирует, что в конце концов каждый окажется на крепком стуле.

Фиг. 87. Изображенные здесь четыре системы регулирования показывают, как можно измеряемую величину подвергнуть все более совершенному способу регулирования. Диаграмма (а) дает картину простой реакции типа да—нет на измеряемую величину, вроде включения света в комнате, как только солнце скроется за тучей. Измеряемая величина не регулируется, и обратная связь отсутствует. На диаграмме (б), отражающей работу системы отопления, характеристика включить—выключить сочетается с обратной связью. Когда температура падает ниже желаемого уровня, система отопления нагревается , но поскольку в этой системе не предусмотрено охлаждения, температура в помещении может повыситься и оказаться выше желаемой, когда температура наружного воздуха повысится. На диаграмме (в) показан режим нагрева сосуда при протекании химического процесса, который включает как нагрев, так и охлаждение. Произведено такое градуирование, что при приближении к точке, на которую установлено действие автоматического регулятора, скорость нагрева или охлаждения замедляется. Задача регулирования на диаграмме (г) та же, что и на в, но здесь введены две модификации с целью повышения скорости и точности регулирования. Нагрев и охлаждение не градуированы, но производятся при необходимости с неизменно высокой скоростью. В дополнение вычислительная машина в системе регулирования измеряет скорость изменения регулируемой величины, учитывает задержку механизма записи температур и прекращает нагрев или охлаждение, прежде чем будет достигнута точка включения регулятора. Таким образом, колебание, или «рысканье», системы быстро затухает.

Рассмотрим другой пример: у пожилой женщины плохая память, ее пугает, что по утрам ей приходится затрачивать много времени на поиски тех или иных принадлежностей туалета. Она могла бы создать для себя некую «регистрационную» систему, дополненную систематическим указателем, но это принесло бы ей массу дополнительных хлопот. Вместо этого она справляется со своей задачей, поместив все необходимые принадлежности своего туалета в каждый ящик шкафа.

В обоих случаях решение довольно «простое», но нельзя сказать, что его сразу легко найти. Обе идеи обычно используются в программируемых машинах при решении сложных задач. Первая применяется в некоторых процессах моделирования и в вычислениях методом Монте-Карло. С помощью второй находят ключевые элементы информации из очень большой памяти машины. Поскольку эти элементы часто бывают нужны, они хранятся в нескольких местах, что значительно сокращает время, необходимое для их нахождения.

Можно добавить, что многих математиков тревожит мысль, что Вселенная, по-видимому, намного проще, чем кажется по их сложным математическим моделям. Однако не так-то легко встать на новую точку зрения, которая укажет простой путь к решению столь сложной задачи. За время работы с вычислительными машинами благодаря оригинальным точкам зрения, вроде только что упомянутых, время от времени разрешались проблемы, казавшиеся ранее неразрешимыми, а сложные задачи превращались в обыкновенные упражнения.

Следующий пример покажет, как понятие стратегии может не только упростить задачу с многоступенчатым принятием решения, но и дать численные результаты. Чтобы разобраться в этом примере, рассмотрим прежде всего (фиг. 88), где показан след собаки в погоне за кроликом. Собака вначале находится в точке D, а кролик — в точке R; он бежит вправо вдоль оси x. Если собака все время будет бежать прямо на кролика, то какой кривой можно описать ее путь?

Фиг. 88. Задачу преследования можно решить, если придерживаться простой стратегии, пригодной для использования вычислительной машиной. Эта задача состоит в нахождении пути, который прокладывает собака (D), преследующая кролика (R). В начальный момент (вверху) кролик находится в 50 м от исходной точки, а собака — в 25 м. Собака пробегает за секунду 10 м, а кролик—5 м. Собака всегда сохраняет в течение секунды выбранное направление. По прошествии первой секунды собака достигнет точки D₁, а кролик — точки R₁ (внизу). Чтобы определить точку D₁, проводим прямую, соединяющую D с R, и вдоль нее отмеряем 10 единиц длины. Аналогично определяется D₂, если соединить D₁ с R₁, и т. д. Результирующая траектория аппроксимирует ту, по которой в действительности следует собака, и может быть уточнена, если изменять направление преследования через все более и более короткие промежутки времени.

Это стандартная задача теории дифференциальных уравнений, но вряд ли читателю-нематематику многое скажет математическая запись такого решения. Чтобы разобраться в нем, читатель должен сначала овладеть определенным комплексом математических знаний. Если вдуматься, то может показаться удивительным, что собака решает эту задачу безошибочно, хотя, разумеется, не получает численных ответов.

Форма нашей кривой может быть хорошо аппроксимирована следующим образом. Предположим, что собака пробегает 36 км в час, т. е. 10 м в секунду, а кролик в два раза меньше, т. е. 5 м в секунду. Вначале пусть кролик находится в 50 м от нулевой точки по оси х, а собака в 25 ж от нее, но по прямой, перпендикулярной оси х. Допустим теперь, что собака бежит в течение секунды не меняя направления. В конце первой секунды она достигнет точки D₁, а кролик — точки R₁. Секундой позже собака окажется в точке D₂, а кролик — в точке R₂ и т. д.

Чтобы определить, где будет находиться точка D₁, достаточно соединить при помощи линейки точки D и R отложить на этой прямой 10 единиц. Аналогично D₂ определится, если соединить D₁ с R₁, и вновь отмерить такую же длину. Процесс этот продлится до тех пор, пока расстояние между собакой и кроликом не сократится до нуля. (Не будем обращать внимания на то, что последние шаги при такой «стратегии» останутся для нас несколько неясными.) Ломаная линия, которую мы получили, есть простая аппроксимация истинного пути следования собаки. Очевидно, что если в нее вводить очередные поправки все чаще и чаще, скажем каждую сотую, тысячную, миллионную и т. д. долю секунды, то можно добиться сколь угодно точной аппроксимации. При ручном счете такая процедура становится все более утомительной, но электронная вычислительная машина может без труда справиться с этой задачей в несколько секунд.

Более сложные варианты приведенной задачи возникают при определении оптимальной траектории полета космических аппаратов. В ряде таких случаев «кролик» — это воображаемая точка, и задача состоит в определении ее положения, нужного для получения требуемой траектории; в других «кролик»—реальный объект (другой аппарат или планета), и точное определение его местоположения сопряжено с дальнейшими значительными сложностями.

Здесь следует особо подчеркнуть, что можно получить решение исходной задачи, сосредоточив усилия на исходном процессе, причем нужно просто соблюдать инструкции, предписывающие поведение в каждой точке во времени и в пространстве. На математическом языке это и означает, что нужно следовать определенной стратегии.

С точки зрения теории регулирования сказанное выше имеет большое значение по многим причинам. Во-первых, вычислительной машине легко задать определенную стратегию; во-вторых, математический уровень задач оказывается более глубоким при относительной простоте манипуляций с символами. Пользоваться той или иной стратегией неизменно проще, чем учитывать развитие во времени. Сейчас отводится значительно большая роль формулированию задачи: идея состоит в том, чтобы по возможности полно использовать структуру процесса, чтобы наилучшим образом описать его аналитически, а также выявить структуру оптимальной стратегии. При этом мы стремимся уйти от старомодного описания с помощью сложных уравнений, которые с трудом поддаются численному решению. Мы не пытаемся втиснуть каждый новый процесс в жесткие рамки математики XVIII в. Такова основная идея методики, лежащей в основе динамического программирования.

С помощью этой концепции, учитывающей широкий диапазон возможностей цифровых вычислительных машин, можно легко и быстро получить численное решение многих задач регулирования, перед которыми отступали даже наиболее изобретательные математики еще два десятилетия назад. Новый подход позволил решать исключительно трудные задачи анализа траекторий, регулирования технологических процессов, проверки и смены оборудования, теории связи, размещения гидроэлектрических мощностей, использования лесных массивов, планирования капиталовложений и многие другие.

Кроме того, понятие стратегии легко применимо к изучению более сложных и близких к реальности процессов принятия решений, включающих как элементы неопределенности, так и обучение. О первых из двух названных здесь процессах уже говорилось — это стохастические процессы; вторые известны под названием «адаптивных» (или «с адаптацией»).

Процесс погони собаки за кроликом — пример детерминированного процесса, все основные механизмы которого полностью раскрыты до конца, и решение заключается «просто» в нахождении соответствующей процедуры. Так, мы предполагали, что местонахождение как собаки, так и кролика можно точно проследить и определить в каждый момент времени, что скорости остаются постоянными и ничто не отвлекает животных и т. п.

Даже такая идеализированная ситуация требует достаточно сложного математического аппарата и оставляет много нерешенных вопросов, как это видно, в частности, из исследований по классической небесной механике. После многих веков наблюдений и вычислений мы не можем с желаемой степенью точности предсказать положения планет через год или десять лет. Они будут значительно расходиться с действительными. Те, кто занимается долгосрочными прогнозами, сталкиваются с еще более удручающими проблемами, в частности с тем, что никому не известно, устойчива ли наша солнечная система.

Очевидно, что если даже для движения планет нельзя создать идеализированную картину с полной информацией и прогнозом, то тем труднее это осуществить для задач оптимизации траекторий, управления спутниками и осуществления встреч космических аппаратов и в еще большей степени для задач, связанных с регулированием химических процессов, экономическим планированием или медицинской диагностикой. На практике мы постоянно используем приборы, которым свойственны погрешности при восприятии и измерении, обработке, накоплении и воспроизведении информации и при выполнении принятых решений. Таким образом, на каждом шагу мы вводим различные погрешности: при наблюдении, вычислении, решении, в операциях и даже в оценке результатов.

Понятие стратегии, включающей регулирование с обратной связью, идеально подходит для операций с рядом неопределенностей реального мира. С помощью динамического программирования предписание «поступай наилучшим для данной ситуации образом» (кстати, эта фраза полна здравого смысла) может быть легко переведено в алгоритмы, или своды правил, для строгой формулировки и численного решения стохастических задач управления.

Когда мы обращаемся к процессам регулирования с адаптацией, то обнаруживаем еще большую степень неопределенности. В стохастическом случае предполагается хорошее знание устройства изучаемой системы, причин, вызывающих различные эффекты, и самое, пожалуй, существенное—это предположение, что мы знаем, чего хотим. В случае же процесса регулирования с адаптацией все эти допущения могут оказаться неприемлемыми.

В сущности все основные нерешенные проблемы здравоохранения можно истолковать как проблемы регулирования с адаптацией. Поскольку никто не знает причин возникновения рака, коронарной недостаточности или душевных расстройств, терапия, имеющая своей целью регулирование, безусловно, основывается на большом числе различных гипотез. Этим объясняется, почему необходима такая осторожность при лечении пациентов. При изучении национальной экономики США никто не знает точно, что случится, если снизить налоги или сократить расходы на военные нужды. Более того, существуют бесконечные разногласия даже в отношении того, что считать желательным экономическим положением.

Когда сталкиваются с задачей регулирования с адаптацией, то полагают, что через некоторое время о регулируемой системе будут знать больше и изменят метод регулирования в соответствии с вновь полученной информацией. В жизни почти все основные процессы решения являются процессами регулирования с адаптацией. Поэтому не следует удивляться тому, что в результате биологической эволюции животные в той или иной мере успешно справляются с задачами регулирования с адаптацией. На основе инстинктов животные могут также справиться с задачами детерминированного и в известной степени стохастического регулирования. Инстинкт может быть описан как регулирование с обратной связью детерминированного типа. Один и тат же раздражитель вызывает одну и ту же реакцию независимо от того, какие изменения были внесены в окружающую среду.

Чтобы справиться с задачами регулирования с адаптацией, высшие животные наделены чем-то, что мы отождествляем с «разумом». В самом деле, разум можно определить как способность решать в какой-то степени задачи регулирования с адаптацией. Разум проявляется как через адаптацию, так и через гибкость поведения. Трудно, конечно, провести четкую грань между инстинктом и разумом. Вероятно, поэтому «разумом» лучше называть любой тип поведения с обратной связью и различать разные уровни разумности.

Норберт Винер, выдающийся математик, скончавшийся в 1964 г., считал, что возможно построить унифицированную теорию регулирования с обратной связью, применимую как к живым организмам, так и к машинам. Эту теорию он назвал «кибернетикой». Винер, так же как и многие другие ученые, надеялся, что приемы и методы, столь успешно используемые в технике регулирования, можно применять в биологии и медицине (например, при создании искусственных органов человека), а также что исследования в области нейрофизиологии внесут ценный вклад в создание и изучение систем связи, вычислительных машин и более общих систем регулирования различного типа. Но по мере исследования математиками, психологами и инженерами крупных систем (живых и неживых) разной степени сложности мысль об универсальном использовании какой-то одной кибернетической теории становится все менее и менее правдоподобной. И все же те, кто стремится к разгадке тайн современной науки и человеческого общества, не найдут лучшего начала, чем изучение теории регулирования.

стр. 167 — 179, Математика в современном мире, Издательство «Мир», Москва, 1976