Источник: Mitchell M. "An introduction to genetic algorithms. Chapter 3.1 Modeling interactions between learning and evaluation"

http://www.cs.pdx.edu/~mm/publications.html

 

3.1 МОДЕЛИРОВАНИЕ ВЗАИМОДЕЙСТВИЙ

МЕЖДУ ИЗУЧЕНИЕМ И РАЗВИТИЕМ

 

Многие люди рисовали аналогии между изучением и эволюцией как два адаптивных процесса, один имеющий место в течение целой жизни организма и другой в течение эволюционной истории жизни на Земле. До какой степени эти процессы взаимодействуют? В частности, может ли изучение того, что происходит в течение целой жизни организма быть ключом к развитию вида в какой-либо степени? Это - главные вопросы в эволюционной психологии. Для обращения к этим вопросам используются генетические алгоритмы, часто в комбинации с нейронными сетями. Я описываю две системы, разработанные для моделирования взаимодействия между изучением и развитием, и в особенности "эффект Болдуина."

 

Эффект Болдуина

 

Хорошо известная "гипотеза Ламарка" указывает, что признаки, приобретенные в течение целой жизни организма могут передаваться генетически к потомству организма. Гипотеза Ламарка вообще интерпретируется как обращение к приобретенным физическим чертам (типа физических дефектов из-за экологических токсинов), но некоторые приобретенные знания в течение целой жизни организма также можно воспринимать как вид приобретенного признака. Таким образом, взгляд Ламарка мог бы считать, что знание может вести развитие непосредственно, будучи переданным генетически следующему поколение. Однако, из-за подавляющей очевидности против, гипотеза Ламарка была отклонена фактически всеми биологами. Очень трудно вообразить прямой механизм для "обратной транскрипции" приобретенных черт в генетический код.

Означает ли это, что изучение не может оказывать никакого эффекта на развитие? Несмотря на отклонение гипотезы Ламарка, возможен удивительный ответ, кажется, знания (или, более широко, фенотипичная пластичность) могут действительно оказывать существенное влияние на развитие, хотя менее прямыми способами, чем предложенный Ламарком. Одно предложение о не - ламарковском механизме было сделано M. Болдуином (1896), который указал, что, если знания помогают выживанию тогда, организмы, лучше всего способные к обучению, будут иметь больше потомства, таким образом увеличивая частоту генов ответственных за обучение. И если окружающая среда остается относительно постоянной, так, чтобы лучшие вещи для образования оставались постоянными, это может вести, через выбор, к генетическому зашифровыванию признака, который первоначально должен быть изучен. (Стоит заметить, что предложение Болдуина было издано прежде, чем детальные механизмы генетического наследования стали известны.) Например, организм, который способен понять, что конкретное растение ядовитое, более вероятно, выживет (учась не есть растение) чем организмы, которые неспособны изучить эту информацию, и таким образом, более вероятно, произведут потомство, которое также будет иметь эту способность к обучению. Эволюционная разновидность будет иметь шанс воздействовать на эту линию потомства, учитывая возможность, что неиспользование ядовитого растения - будет передано генетически, а не изучен снова каждым поколением. Зашифровывание желательного поведения генетически дало бы организму отборное преимущество перед организмами, которые были просто в состоянии изучить желательное поведение в течение их сроков жизни, потому что изучение поведения - вообще менее надежный процесс, чем развитие генетически закодированного поведения; слишком много неожиданных вещей могут мешать изучению в течение жизни организма. Кроме того, генетически закодированная информация может быть доступной немедленно после рождения, тогда как изучение занимает время и иногда требует потенциально фатальные испытания и ошибки.

Короче говоря, способность приобретать определенную желательную черту позволяет организму выживать, таким образом, давая генетическому изменению возможность независимого обнаружения желательной черты. Без такого изучения, вероятность выживания - и таким образом возможность генетических изменений - уменьшается. Этим косвенным способом, изучение может направлять развитие, даже если то, что изучено, не может быть непосредственно передано генетически.

Болдуин назвал этот механизм "органическим выбором", но позже это было продублировано как "эффект Болдуина" (Симпсон, 1953), и это название сохранилось. Подобные механизмы были одновременно предложены Ллойдом Морганом (1896) и Осборном (1896).

Эволюционный биолог Г. Симпсон, в его толковании работы Болдуина (Симпсон, 1953), указал, что не ясно, какая необходимая корреляция между фенотипичной пластичностью и генетическим изменением может иметь место. Под корреляцией я подразумеваю, что генетические изменения случаются, которые производят ту же самую адаптацию, которая была предварительно изучена. Этот вид корреляции был бы легким, если бы генетическое изменение было "направлено" к некоторому специфическому результату, а не случайно. Но хаотичность генетического изменения - центральный принцип современной эволюционной теории, и нет никакого свидетельства, что изменение может быть направлено приобретенными фенотипичными признаками (действительно, такое направление было бы эффектом Ламарка). Кажется, что Болдуин предполагал, что, учитывая законы вероятности, корреляция между фенотипичной адаптацией и случайным генетическим изменением (разновидностью) случится, особенно если фенотипичная адаптация поддержит происхождение достаточно долго для этих изменений, чтобы произойти. Симпсон согласился, что это в принципе возможно и что это вероятно случилось, но он не верил, что было свидетельство того, что это было важной силой в развитии.

Спустя почти 50 лет после Болдуина и его современников, Ваддингтон (1942) предложил подобный, но более вероятный и определенный механизм, который назвали "генетической ассимиляцией". Ваддингтон рассуждал, что определенные широкие экологические изменения требуют фенотипичной адаптации, которая не необходима в нормальной окружающей среде. Если организмы подвергнуты таким экологическим изменениям, они могут иногда приспосабливаться в течение их жизней из-за их врожденной пластичности, таким образом приобретая новые физические или поведенческие признаки. Если гены для этих признаков находятся уже в популяции, несмотря на то, что они явно не выражены в нормальной окружающей среде, они могут быстро быть выражены в измененной окружающей среде, особенно если приобретенная фенотипичная адаптация препятствовала вымиранию видов. (Ген, как говорят, "выражен", если признак, который он кодирует, появляется в фенотипе. Как правило, множество генов в хромосомах организма не выражены.)

Предварительно приобретенные черты могут таким образом стать генетически выраженными, и эти гены распространятся в популяции. Ваддингтон демонстрировал, что это действительно случилось в нескольких экспериментах на плодовых мушках. Аргумент Симпсона: даже при том, что генетическая ассимиляция может случиться, это не означает, что это обязательно случается часто или будет являться важной силой в развитии. Некоторые в биологических и эволюционных сообществах надеются, что компьютерное моделирование может предложить способы измерить частоту и важность таких эффектов.

 

Простая модель эффекта Болдуина

 

Генетическая ассимиляция известна в эволюционном биологическом сообществе. Его предшественник, эффект Болдуина, менее известен, хотя это было недавно собрано эволюционнистами из-за интересного эксперимента, выполненного Джеффри Хайнтоном и Стивеном Ноуланом (1987). Хайнтон и Ноулан использовали генетические алгоритмы в компьютерной модели эффекта Болдуина. Их цель состояла в том, чтобы продемонстрировать этот эффект опытным путем и измерять его величину, используя упрощенную модель. Чрезвычайно простая нейронная сеть, изучая алгоритм, моделировала обучение, и генетический алгоритм играл роль развития, развивая популяцию нейронных сетей с изменением способностей к обучению. В модели, каждый человек - нейронная сеть с 20 потенциальными связями. Связь может иметь одну из трех значений: "присутствие", "отсутствние", и "обучение". Они определены "1", "0", и "?", соответственно, где каждая ?-связь может быть установлена в течение обучения или 1 или 0. Есть только одна правильная настройка для связей (то есть, только одна правильная конфигурация из 1 и нолей), и никакая другая конфигурация не присуждает никакую полезность индивиду. Проблема, которая будет решена

Все генотипы имеют полезность 0 за исключением одного "правильного" генотипа, в котором есть скачок полезности, чтобы находить этот единственный (отдельный) правильный набор связей. Это не будет возможно для тех сетей, которые имеют неправильные фиксированные связи (например, 1, где должен быть 0), но те сети, которые имеют правильные параметры настройки во всех местах кроме того, где есть вопросительные знаки, имеют способность изучить правильные параметры настройки.

Хайнтон и Ноулан использовали самый простой метод "изучения": случайное предположение. На каждом тесте, сеть просто предполагает 1 или 0 наугад для каждой из ее обучаемых связей. (Проблема как заявлено имеет мало общего с обычными понятиями нейронной сети; Хайнтон и Ноулан представили эту проблему в терминах нейронных сетей, чтобы иметь возможность применения примера к большему количеству стандартных задач изучения и методов).

Это, конечно, проблема поиска "иголки в стоге сена", с тех пор есть только одна правильная установка в месте из 2²⁰ возможных.

ОРИГИНАЛ ГЛАВЫ НА АНГЛИЙСКОМ ЯЗЫКЕ

 

3.1 MODELING INTERACTIONS

BETWEEN LEARNING AND EVOLUTION

 

Many people have drawn analogies between learning and evolution as two adaptive processes, one taking place during the lifetime of an organism and the other taking place over the evolutionary history of life on Earth. To what extent do these processes interact? In particular, can learning that occurs over the course of an individual's lifetime guide the evolution of that individual's species to any extent? These are major questions in evolutionary psychology. Genetic algorithms, often in combination with neural networks, have been used to address these questions. Here I describe two systems designed to model interactions between learning and evolution, and in particular the "Baldwin effect."

 

The Baldwin Effect

 

The well-known "Lamarckian hypothesis" states that traits acquired during the lifetime of an organism can be transmitted genetically to the organism's offspring. Lamarck's hypothesis is generally interpreted as referring to acquired physical traits (such as physical defects due to environmental toxins), but something learned during an organism's lifetime also can be thought of as a type of acquired trait. Thus, a Lamarckian view might hold that learned knowledge can guide evolution directly by being passed on genetically to the nextgeneration. However, because of overwhelming evidence against it, the Lamarckian hypothesis has been rejected by virtually all biologists. It is very hard to imagine a direct mechanism for "reverse transcription" of acquired traits into a genetic code.

Does this mean that learning can have no effect on evolution? In spite of the rejection of Lamarckianism, the perhaps surprising answer seems to be that learning (or, more generally, phenotypic plasticity) can indeed have significant effects on evolution, though in less direct ways than Lamarck suggested. One proposal for a non-Lamarckian mechanism was made by J.M. Baldwin (1896), who pointed out that if learning helps survival then the organisms best able to learn will have the most offspring, thus increasing the frequency of the genes responsible for learning. And if the environment remains relatively fixed, so that the best things to learn remain constant, this can lead, via selection, to a genetic encoding of a trait that originally had to be learned. (Note that Baldwin's proposal was published long before the detailed mechanisms of genetic inheritance were known.) For example, an organism that has the capacity to learn that a particular plant is poisonous will be more likely to survive (by learning not to eat the plant) than organisms that are unable to learn this information, and thus will be more likely to produce offspring that also have this learning capacity. Evolutionary variation will have a chance to work on this line of offspring, allowing for the possibility that the trait—avoiding the poisonous plant—will be discovered genetically rather than learned anew each generation. Having the desired behavior encoded genetically would give an organism a selective advantage over organisms that were merely able to learn the desired behavior during their lifetimes, because learning a behavior is generally a less reliable process than developing a genetically encoded behavior; too many unexpected things could get in the way of learning during an organism's lifetime. Moreover, genetically encoded information can be available immediately after birth, whereas learning takes time and sometimes requires potentially fatal trial and error.

In short, the capacity to acquire a certain desired trait allows the learning organism to survive preferentially, thus giving genetic variation the possibility of independently discovering the desired trait. Without such learning, the likelihood of survival—and thus the opportunity for genetic discovery—decreases. In this indirect way, learning can guide evolution, even if what is learned cannot be directly transmitted genetically.

Baldwin called this mechanism "organic selection," but it was later dubbed the "Baldwin effect" (Simpson 1953), and that name has stuck. Similar mechanisms were simultaneously proposed by Lloyd Morgan (1896) and Osborn (1896).

The evolutionary biologist G. G. Simpson, in his exegesis of Baldwin's work (Simpson 1953), pointed out that it is not clear how the necessary correlation between phenotypic plasticity and genetic variation can take place. By correlation I mean that genetic variations happen to occur that produce the same adaptation that was previously learned. This kind of correlation would be easy if genetic variation were "directed" toward some particular outcome rather than random. But the randomness of genetic variation is a central principle of modern evolutionary theory, and there is no evidence that variation can be directed by acquired phenotypic traits (indeed, such direction would be a Lamarckian effect). It seems that Baldwin was assuming that, given the laws of probability, correlation between phenotypic adaptations and random genetic variation will happen, especially if the phenotypic adaptations keep the lineage alive long enough for these variations to occur. Simpson agreed that this was possible in principle and that it probably has happened, but he did not believe that there was any evidence of its being an important force in evolution.

Almost 50 years after Baldwin and his contemporaries, Waddington (1942) proposed a similar but more plausible and specific mechanism that has been called "genetic assimilation." Waddington reasoned that certain sweeping environmental changes require phenotypic adaptations that are not necessary in a normal environment. If organisms are subjected to such environmental changes, they can sometimes adapt during their lifetimes because of their inherent plasticity, thereby acquiring new physical or behavioral traits. If the genes for these traits are already in the population, although not expressed or frequent in normal environments, they can fairly quickly be expressed in the changed environments, especially if the acquired (learned) phenotypic adaptations have kept the species from dying off. (A gene is said to be "expressed" if the trait it encodes actually appears in the phenotype. Typically, many genes in an organism's chromosomes are not expressed.)

The previously acquired traits can thus become genetically expressed, and these genes will spread in the population. Waddington demonstrated that this had indeed happened in several experiments on fruit flies. Simpson's argument applies here as well: even though genetic assimilation can happen, that does not mean that it necessarily happens often or is an important force in evolution. Some in the biology and evolutionary computation communities hope that computer simulations can now offer ways to gauge the frequency and importance of such effects.

 

A Simple Model of the Baldwin Effect

 

Genetic assimilation is well known in the evolutionary biology community. Its predecessor, the Baldwin effect, is less well known, though it has recently been picked up by evolutionary computationalists because of an interesting experiment performed by Geoffrey Hinton and Steven Nowlan (1987). Hinton and Nowlan employed a GA in a computer model of the Baldwin effect. Their goal was to demonstrate this effect empirically and to measure its magnitude, using a simplified model. An extremely simple neural-network learning algorithm modeled learning, and the GA played the role of evolution, evolving a population of neural networks with varying learning capabilities. In the model, each individual is a neural network with 20 potential connections. A connection can have one of three values: "present," "absent," and "learnable." These are specified by "1," "0," and "?," respectively, where each ? connection can be set during learning to either 1 or 0. There is only one correct setting for the connections (i.e., only one correct configuration of ones and zeros), and no other setting confers any fitness on an individual. The problem to be solved is

All genotypes have fitness 0 except for the one "correct" genotype, at which there is a fitness spike. (Adapted from Hinton and Nowlan 1987.) to find this single correct set of connections. This will not be possible for those networks that have incorrect fixed connections (e.g., a 1 where there should be a 0), but those networks that have correct settings in all places except where there are question marks have the capacity to learn the correct settings.

Hinton and Nowlan used the simplest possible "learning" method: random guessing. On each learning trial, a network simply guesses 1 or 0 at random for each of its learnable connections. (The problem as stated has little to do with the usual notions of neural-network learning; Hinton and Nowlan presented this problem in terms of neural networks so as to keep in mind the possibility of extending the example to more standard learning tasks and methods.)

This is, of course, a "needle in a haystack" search problem, since there is only one correct setting in a space of 220 possibilities.