Здесь прикручен энкодер из 18d_world_model_08. С замороженным энкодером цикл обучения бежит быстро, и это радует - 20 минут на 6 млн. шагом. С другой стороны невооруженным глазом видно, что обучаемость идёт со скрипом. См. исследования: 18n_study_13.1, 18n_study_14.1, 18n_study_15.1, 18n_study_16.1, 18n_study_17.1.

В исследовании 18n_study_17.1 энкодер был разморожен и обучаемость агента стала явно веселее - близко к той, что была в 17-ых агентах. Это заставляет думать, что энкодер, обученный для целей реконструкции / предсказания, не достаточен. Чего-то мозгу агента не хватает для выработки оптимальной стратегии поведения. Но вместе с тем, тренить сразу и мозг и энкодер - это ОЧЕНЬ долго и жрёт много памяти.

Получается такая ситуция:

вариант обучаемость замещение опыта скорость обучения потребление памяти
17-ый агенты хорошая либо уровни 1-4, либо 5-6 высокая низкая
18-ые агенты, замороженный энкодер посредственная хз (не доходил) очень высокая очень низкая
18-ые агенты, размороженный энкодер хорошая хз (не доходил) очень медленная очень высокая
18-ые агенты, чередование разморозки/заморозки посредственная хз (не доходил) медленно выше среднего

Выводы:

  1. уверенное продвижение вперёд пока может обеспечить только вариант, когда энкодер (какой-был он ни был: встроенный или факторизованный), обучается вместе с политкой (мозгами).
  2. 17-ые агенты были покинуты из-за проблемы замещения опыта. Проблему замещения опыта хотелось решить факторизацией энкодера с его заморозкой
  3. значит, надо решить проблему замещения как-то иначе нежели простой заморозкой