Начало обучения Конец обучения
пройдено уровней: 0 пройдено уровней: 5
очки: 200 очки: 12410
шагов обучения: 03 млн шагов обучения: 18 млн

Архитектура

На нижнем уровне CNN сетка. Далее идут два стэкированных трансформера: энкодер и полиси. Можно и без энкодера, но тогда в полиси сразу уедут 4 * 42 латента (квадратичная сложность), что сделает его очень медленным и очень требовательным к памяти. Поэтому промежуточный энкодер необходим. Полиси трансформер анализирует динамику и вычисляет латенты для будущего плана действий, предсказательный латент. Преобразованный латент последнего обза (lat4') используется для оценки состояния через ValueHead (Linear). Следующее действие вычисляет ActorHead (Linear). Предсказанием будущего занимается PredictorHead (MLP).

Общее кол-во параметров: 5_081_479

Кол-во оптимизируемых параметров: 4_930_439