Генерализация, способность разумно действовать в новых условиях, да даже распознавание цифр/чисел - это всё следствие того, что мозг строит модели окружающего мира, а не просто запоминает его проявления. Именно поэтому взглянув на почерк/новое начертание легко можешь читать это - не надо изучать все варианты нового начертания цифр. Или если часть данных перекрывается чем-то, ты понимаешь это и легко достраиваешь недостающее. Потому что в мозге есть модель “перекрытие того-то и того-то”.

Выглядит разумным, что модели в мозге - это факторизованные представления. Примерно как это было в PyMC:

  • определяешь атомную модель (например, нормальное распределение) для одного параметра, для другого, для третьего
  • комбинируешь параметры
  • получаешь на выходе многомерное нечто.

И далее, имея данные можно подобрать значения параметров через MCMC. Можно поменять структуру модели, и получатся другие параметры. Может будет лучше, может хуже, кто знает…

Собственно меня тем самым и привлекло в свое время Bayessian statistics и PyMC в частности. Выходят, что чуйка не подводила.

Теперь далее, Energy Based Models. https://youtu.be/bggWQ14DD9M?t=203 тут говорится, что для описания всего многообразия лиц, нужно всего лишь 50 параметров. Каждый - это одна из степенй свободы, читай напряжение какой-то мышцы. Вообще ни о чём. Выходит, что наш мир описывается не таким-то уж и большим кол-вом параметров. Просто они вместе переплетаются интересно. И получается, что чтобы описать/запомнить, надо всего лишь несколько десятков параметров знать.

В EBM отдельный фокус делается на латентных переменных, инференс которых делается онлайн. Это тоже соответствует факторизации представлений.

Едем дальше. [KirsanovBrainInformation] тут уже явно утверждается, что гиппокамальная деятельность - это факторизация представлений, т.е. разбиение одной сложной конструкции на несколько простых и их изучение по отдельности. А при необходимости из этих простых уже собирать то что нужно, в каждый момент времени.

[WhittingtonTEM], Tolman-Eichenbaum Machine - пример реализации факторизованных представлений. А дальше больше, [WhittingtonTransTEM] - тут говорится, что TEM и трансформеры - это по сути одно и то же.

Короче, ответ на вопрос в #80 - внутренее состояние, латентные переменные - это часть факторизованных представлений. Как-то надо научиться строить такие модели. Точнее нужна машина для их построения, т.к. вручную то построить - это нет проблем, хоть через PyMC, хоть через нейронки. А вот как это автоматизировать, и чтобы оно само работало онлайн? Вот это интересно!