Назад в библиотеку

Lilith: модульные LLM для развития с химической сигнализацией

Автор: M. Farooqi
Источник: Farooqi M. Lilith: Developmental Modular LLMs with Chemical Signaling / M. Farooqi, A. Comas-Leon. — 2025. — arXiv: 2507.04575 [q-bio.NC].
Перевод выполнил: М.К. Слипенко

Введение

Текущие крупные языковые модели, несмотря на выдающиеся достижения в тестировании производительности, лишены подлинного понимания и сознания [1]. Эти системы обучаются на статичных наборах данных путем сопоставления шаблонов, а не методом опытного познания, что лишь частично отражает процесс развития человеческого интеллекта, как утверждают Лейк и др. [2]. Это мнение поддерживается также Бендором и коллегами, утверждающими, что современные подходы, основанные на больших языковых моделях, не демонстрируют настоящего понимания естественного языка.

Хотя недавние успехи в области модульных архитектур ИИ показывают перспективность исследований, включая смешанные эксперт-модели [3] и архитектуры, вдохновленные устройством мозга [4, 5], существующие подходы сосредоточены преимущественно на оптимизации производительности, а не на улучшении понимания естественного языка и обучении [6]. Поле продемонстрировало значительный прогресс в отдельных областях: модульные языковые модели обеспечивают вычислительную эффективность [7]; мозгоподобные архитектуры включают принципы нейробиологии [8]. Однако интеграция этих подходов специально для исследования сознания остаётся практически неисследованной областью.

Два критически важных направления остаются недостаточно изученными в современных архитектурах ИИ. Во-первых, современные большие языковые модели полагаются на предварительное обучение на фиксированном корпусе данных, упуская фундаментальные процессы биологического интеллекта, возникающие из живого опыта [9]. Во-вторых, хотя модульные архитектуры, подобные Нейронным Модульным сетям [10], демонстрируют эффективное разделение труда между компонентами, используемые механизмы прямого роутинга сообщений неспособны воспроизвести богатство химического сигнализационного механизма реального мозга. Новейшие исследования в науке о сетях показывают, что эта модулярность и сложность маршрутов связи между модулями являются ключевыми факторами функционирования мозга [11, 12].

Мы предлагаем принципиально новую архитектуру, направленную на преодоление указанных ограничений, сочетающую развиваемое обучение модульных языковых моделей с коммуникационными протоколами, вдохновленными функционированием мозга и использующими токенизированный обмен информацией. Наша система ориентирована на развитие сознания, а не на повышение эффективности выполнения задач, представляя радикальное изменение современной парадигмы ИИ, нацеленное на создание действительно сознательных искусственных систем.

Предлагаемая архитектура

Мы предлагаем архитектуру, использующую модульные большие языковые модели (LLM) для моделирования развития мозга и симуляции процесса обучения реального мозга. Мы используем каждый агент как регион мозга с токенизированной коммуникацией между ними для представления химической сигнализации, что позволяет точнее смоделировать развитие и функционирование реальных мозгов.

Модульный дизайн регионов мозга Для понимания того, как работает эта структура, рассмотрим упрощенный пример с четырьмя регионами мозга, возникшими в результате обсуждений авторов: область мышления, область памяти, сенсорная область и ствол мозга. Каждый регион представлен большой языковой моделью с уникальными входными сигналами и возможностями.

Область мышления способна использовать цепочку подсказок для размышлений, как описано Вей и др. [13], позволяя ей инициировать собственные запросы и имитировать человеческую способность оценивать мысли и рефакторизировать их перед принятием решений или действий. Область памяти обладает исключительной способностью сохранять элементы в базу данных. Сенсорная область является единственным компонентом, принимающим внешние сигналы. Наконец, ствол мозга предварительно настроен таким образом, чтобы обеспечить выполнение определенных функций и влиять на другие регионы в определенной степени, будучи единственным регионом с такими регуляторными способностями.

Протокол коммуникации на основе токенов Мы предлагаем использование токенизированной связи между этими регионами для моделирования химической передачи сигналов посредством нейромедиаторов, происходящей в мозге. Каждый регион генерирует токены, направленные на конкретные другие регионы, причем содержание и формат этих токенов формируются в процессе развивающего обучения, а не заранее определены. Такой подход подражает тому, как реальные нейроны посылают разные химические сигналы разным целям, оставаясь при этом вычислительно выполнимым.

Например, если сенсорная область воспринимает значительное увеличение ярких цветов, она может отправить токен области мышления, которая может определить, что это представляет собой "хорошее" изображение, и впоследствии отправить токен области памяти, предлагая сохранить это изображение в памяти.

Фреймворк развивающего обучения Первоначально мы предложили использовать предварительно обученные большие языковые модели, стимулируемые естественным языком для выполнения этих задач, однако поняли, что поведение и знания предварительно обученных моделей будут препятствовать способности изучать истинное сознание. Поэтому мы разработали улучшенный подход. Мы начинаем с архитектур больших языковых моделей, которые ранее не были обучены, оснащенными только вышеуказанными возможностями и некоторыми жестко закодированными функциями. Затем модель учится правильному формированию сигнализационных путей и интерпретаций токенов путем симулирования жизненного опыта.

Мы предоставляем датасеты агенту сенсоров из симулированной среды, где он проходит полный цикл жизни. Начиная как новорожденный, он взаимодействует с другими большими языковыми моделями внутри симуляции, изучая значения слов и развивая сигнализационные пути, позволяющие успешно функционировать в среде. Критерии успеха должны быть тщательно определены для руководства этим процессом развития.

Оптимизация эволюционным методом Этот подход позволяет свободно развиваться природному развитию мозга, свободному от традиционных тенденций больших языковых моделей действовать случайным образом ("стохастическими попугаями") [1]. Вдохновленные эволюционными алгоритмами, мы предлагаем запускать многочисленные итерации этих симулируемых жизней, выбирая успешные модели из каждой жизни для перехода к следующей на основании заданных критериев отбора последующих поколений. Одним из возможных критериев успеха могло бы стать голосование самих больших языковых моделей относительно того, какие из них достаточно успешны для перехода в следующее поколение. Цель этого состоит в том, чтобы воспроизвести необходимость позитивного взаимодействия с другими людьми в нашем сообществе и стимулировать товарищеские отношения среди больших языковых моделей. Чем ближе мы сделаем эту среду и общество похожими на наш человеческий мир, тем больше наши большие языковые модели научатся вести себя "по-человечески".

По мере созревания моделей мы могли бы вводить дополнительные предварительно обученные модели в симуляцию, чтобы наша система могла взаимодействовать с ними и учиться у них, воспроизводя более естественные паттерны человеческого общения, особенно для близких взаимоотношений внутри симулируемого окружения.

Последствия для исследований сознания

Эта архитектура предоставляет новую основу для эмпирического исследования сознания благодаря нескольким ключевым преимуществам. Система может быть непосредственно протестирована с использованием метрик теории интегрированной информации, что позволяет количественно измерять возникновение сознания в процессе развития [14]. Модульная конструкция позволяет исследователям сравнивать уровни нейронных коррелятов сознания на разных пространственных масштабах путем изучения причинно-следственной силы отдельных сетей, межагентского взаимодействия и всей системы [14]. Такой многоуровневый анализ мог бы выявить организационный уровень, на котором возникает максимальная интегрированная информация. Кроме того, система связи на основе токенов обеспечивает прямое наблюдение сигнализационных паттернов между регионами и их эволюцию во времени развития. Исследователи могут изучить, как изменения и рост передачи токенов коррелируют с улучшением показателей чувствительности и возникающих способностей к обучению, обеспечивая беспрецедентное понимание механизмов, лежащих в основе развития сознания.

Оптимизация подобной архитектуры

Оптимизация этой архитектуры представляет собой интересный вызов. Мы предлагаем, чтобы отдельные области мозга были обучены посредством целей автоэнкодинга для разработки соответствующих представлений признаков, тогда как протоколы связи на основе токенов могли бы возникать посредством эволюционных алгоритмов, применяемых к межрегиональному сигналу. Подробное исследование этих оптимизационных рамок остается важным направлением будущих исследований и, вероятно, станет наибольшим препятствием на пути реализации подобной архитектуры.

Будущие направления

Данная работа представляет концептуальную структуру, возникшую в результате междисциплинарных обсуждений вопросов сознания и архитектуры ИИ. Реализация такого подхода потребует значительных исследовательских усилий, включающих изучение множества областей. Наиболее критическими будущими направлениями являются: во-первых, исследование модульных агентов с большими языковой моделями (LLM) в качестве суррогатов для различных регионов мозга; во-вторых, разработка математических моделей химической сигнализации на основе токенов между регионами; и, в-третьих, изучение того, каким образом симулированные развивающие переживания могли бы способствовать более естественным процессам обучения. Интеграция этих подходов могла бы представлять фундаментальное изменение от статистического сопоставления шаблонов к искусственным интеллектуальным системам, способным к подлинному рассуждению и сознанию. Мы считаем, что эта структура открывает перспективный путь для разработки искусственного интеллекта, который мыслит так же, как мыслят люди, а не просто обрабатывает статистические корреляции.

Ссылки