https://gist.github.com/kocherovms/7a286f13696ff22e662758060abcc643, microgpt.ipynb

Легко понимаемые, употребимый и впитываемый код, показывающий как устроена GPT модель. В целом ничего нового:

  • эмбеддинг
  • позиционный эмбединг (кстати, автообучаемый)
  • флоу через residual connection
  • многоголовый attention
  • обратный маппинг из эмбеддинга в логит элемента словаря

Особееный интерес был в классе Value, которые суть есть логика автодиффиренцирования (autograd). Основной вывод, что на каждый чухоночный параметр создаётся учётная запись, которая отслеживает влияние этого параметра на нижележащие параметры вплоть до вершины, т.е. до потери. И потом через backward это всё распространяется назад и значение параметры корректируется.