Как-то вдруг стало понятно, почему использование embedding-ов как-бы “включает” для моделей возможности генерализации.

Что делает эмбеддинг слой? Он отражает токен/сущность в вектор известной размерности. По-факту это отражение из OHE вектора в вектор некоторых параметров. И дальше уже модель работает с параметрами. Например, можно подумать, что каждое слово описывается векторов из 256 чисел. И когда нам приходит на вход некоторое слово из словаря в 32к, то мы имеем отражение из OHE-вектора, в котором все нули, кроме одного разряда в 256-размерный вектор, где уже не нули, а числа из каких-то диапазонов.

Дальше уже модель имеет дело вот с этими 256-размерными векторами, которые по-факту описывают фичи входной сущности. Но самое интересное происходит далее. Допустим мы натренили модель на каком-то корпусе текстов, она каким-то образом составила эмебеддинг матрицу. Допустим мы встречаем новое слово и добавляем его в эмбеддинг матрицу. Чтобы работать с этим словом нам теперь не нужно перелопачивать вновь весь корпус текста. Достаточно впитать те тексты, где есть этот слово. В результате для этого слова сформируется эмбеддинг. И вуа-ля - новое словое как-бы включается в работу и модель может с ним работать. И, например, может использовать его там, где раньше использовала старое слово, если значения параметров в их эмбеддингах подходят.

Кажется, что это именно тот механизм, про который писал [OlahDLNLPRepr].

Забавно, что при таком взляде становится понятным, почему люди-человеки учатся постепенно. Сначала проходят азбуку. Выучивают первые основные слова, как эти слова друг с другом сочетаются. Оп. Сформировалась первичная эмбеддинг матрица. Потом накидываешь по чуть-чуть. Новые данные как-бы встраиваются в уже существующую картину. Даже начинают возникать ситуации, когда ты уверенно начинаешь работать с новым материалом, хотя казалось бы только-только его впитал. И так постепенно, постепенно, эмбеддинг матрица расширяется и расширяется. Иногда требуется её перестройка, если новые данные никак не удаётся вписать. Тут уже стресс для мозга, возможно нужен сон, чтобы, проигрывая новый опыт вместе со старым, удалось перестроить эмбеддинг матрицу.