[ГайнцеваСтруктМышлЧел], [HintonGlomFinal], [VaswaniAttentionIsAllYNeed], [3BL1BRAttentionTransf], [3BL1BRLLMStoreFacts], [TransCircMathFrmwrkForTransformer], [TransCircBiologyLLM], [RichSuttonOnTheLLM], [RichSuttonBittLesson]

Будучи под влиянием [РдзбЛогСозн], [РдзбЛогМышл] долго обходил LLM стороной. Есть причины, почему скорее всего наш мозг не работает подобно LLM:

  • backpropagation крайне маловероятен в мозгу
  • фактографическая информация не хранится на синапсах. Да и вообще пластичность синапсов для обучения под вопросом
  • вряд ли мозг умеет оперировать числами с плавающей запятов (embeddings) [OvrmnDTMem]
  • очень большая глубина сетей (GPT-3 содержит 96 слоев). Неокортекс гораздо тоньше
  • LLM вынуждена поглотить пол-интернета (текста), чтобы настроить веса. Ни один человек за всю жизнь не прочтёт и десятую доли того, что LLM впитывает. Хз, быть может даже и воспоминания всего дества не сравнятся по объему с объемом впитанной LLM текстовой инфы. То есть налицо ассиметрия

При этом LLM структурно достаточно просты: есть набор слоев. Каждый слой - это MHA (multi-head-attention) + MLP (multi-layer-perceptron). MHA отвечает за разбор контекста и вычисления что на что влияет, MLP - хранение фактов и их инжекшн. По ходу движения токенов по residural стриму токены мутируют.

Вместе с тем, LLM показывают потрясающие феномены, что игнорировать их будет несправедливо и недальновидно - изучая их можно вдохновиться новыми идеями. К тому же нерешаемая проблема фенотипичности, сформулированная в 35, привела к осознанию необходимости абстракций в 60 (ну как обычно, людьми движет нужда). А там где абстракции, там и структура, там и иерархия [ГайнцеваСтруктМышлЧел].

Из [HintonGlomFinal] зацепили идеи, что визуальное распознавание скорее всего есть динамический процесс, в котором иерархически стогированные автоэнкодеры пытаются договориться друг с другом. Тут отчасти содержится ответ на загадку курицы и яйца - с одной стороны, чтобы понять целое надо идти от низкоуровневых фичей, но чтобы корректно интерпретировать низкоуровневые фичи надо работать в контексте целого. У Хинтона ответ в том, что этот процесс разворачивается во времени. В принципе похоже на стабилизацию в Макрвоских цепях, алгоритм EM или машина Больцмана. При этом каждая колонки есть трансформер (LLM) привязанная к локации. Что-то в этом есть… Напоминает глубокие контексты из [OvrmnDTMem].

Из остальных трудов такой общий вывод, что важно создать машину, которая бы имела эффективные средства накапливания знания (многоуровневного), и их последующее применение, и чтобы масштабировалось просто. Как китовый ус - надо чтобы информация через него протекала, дистилироваллась и поглощалась. Как оказалось, LLM такие структуры имеет в виде MHA и MLP. А вот то, чтобы машина повторяла как нам кажется человеческие черты, вот это неважно. Даже, забавно, что Claude в т.ч. не может сама объяснять, как делает те или иные выводе [https://transformer-circuits.pub/2025/attribution-graphs/biology.html#dives-addition].

Анимация, как работает LLM: https://jalammar.github.io/how-gpt3-works-visualizations-animations/