Прошёл почти месяц с записи #115. Там ставилась цель, чтобы агент проходил уровень с медведями. Это 4-ый уровень. На самом деле цель уже была достигнута 28-июня - см. 17e_study_8.

На 5-ом уровне палитра ощутимо меняется - это первый ночной уровень с медведями. Плюс там ещё вход в иглу начинает мигать. В итоге 5-ый уровень становится очередным барьером. Много экспериментов потрачено на то, чтобы его преодолеть, но пока безуспешно:

  • 17e_study_9
  • 17e_study_10
  • 17e_study_11
  • 17e_study_12
  • 17e_study_20.1 -> 17e_study_20.2 -> 17e_study_20.3 -> 17e_study_20.4

Кажется, что проблематика именно в смене палитры и представления иглу. Агент, натренированный на предыдущих запусках, просто теряется и не знает, что делать. Хотя вот тут видно, что он был близок, но замешкался: http://tensorboard-videos:6007/video/17e_ppo_tr_atari_mp_14/opt_21.1/209.

Вырисовывается картина, что агенту требуется некоторое кол-во взаимодействий с изменённой средой, чтобы начать там уверенно играть. Это вопрос к обобщению.