Сводная информация по эмбеддингам по результатам штудирования [ColahDLNLPRepr], [HintonLearnDistrRepr], [BengioNeuralProbLangModel].

Давно знал про эмбеддинги, но всегда считал их какой-то игрушкой что-ли. Типа ну да, забавно, что King - Queen = Husband - Wife, но дальше то что? Или придавал им минорную роль. Дескать, ну какое-то представление в трансформерах слова получают, ну и ладно.

Однако углубленное изучение трансформеров [ГайнцеваСтруктМышлЧел], [HintonGlomFinal], [VaswaniAttentionIsAllYNeed], [3BL1BRAttentionTransf], [3BL1BRLLMStoreFacts], [TransCircMathFrmwrkForTransformer], [TransCircBiologyLLM], [RichSuttonOnTheLLM], [RichSuttonBittLesson], а также [ColahDLNLPRepr], [HintonLearnDistrRepr], [BengioNeuralProbLangModel] заставили признать ключевую роль эмбеддингов в решение проблем познания.

Получается, что эмбеддинги или distributed representations - это кровь интеллектуальных систем. По-крайней мере трансформеров. Причины: 1) описывают сущность с многих сторон. И это не просто перечисление каких-то свойств. Это перечисление свойств, которые нужны для задач, которые система решает. Т.е. например, слово “red”. Эмбеддинг будет передавать что слово передает “красность”, что это прилагательное, что это анлийской слово, и т.д. Куча свойств или аспектов

2) distributed representation означает, что от одной точки (один разряд в OHE) мы переходим к этакому ёжику - много-много иколок, каждый из которых описывает тот или иной аспект сущности.

3) эмбеддинги позволяют описывать регулярность предметной области, описывать СТРУКТУРУ. Хорошо сказано в [ColahDLNLPRepr]:

> “Intuitively, it feels a bit like the two languages have a similar ‘shape’ and that by forcing them to line up at different points, they overlap and other points get pulled into the right positions.”

5) обобщение базируется на эмбеддингах!!! [ColahDLNLPRepr], [HintonLearnDistrRepr]

6) out-of-vocabulary базируется на эмбеддингах!!! [ColahDLNLPRepr], [BengioNeuralProbLangModel]. См. заметку bc.67

7) мутируя эмбеддинги за счёт простых алгебарических операций (сложение векторов, умножение на скаляр) можно получить новые осмысленные сущности

8) по факту трансформер - это про преобразование эмбеддингов. Эмебдиннги двигаются по пайплайну трансформера, и на каждом этапе эмбеддинг адаптируется/мутирует. [TransCircMathFrmwrkForTransformer]

9) attention в трансформерах - это просто query по свойствам эмбеддингов: типа “есть какое-то прилагательное передо мной?”. И тут становится очевидно, почему это работает - потому что каждый из токенов представлен эмбеддингом, которые соответствующие аспекты в себе описывает и который можно обычным cos_sim найти.

Вывод: формула мозга: суперкондишнинг (attention?) + эмбеддинги + символизм + абстрагирование