Одна из гипотез, почему агент испытвает трудности на 5-ом уровне - это grayscale режим, в котором всё смазано. С одной стороны grayscale ускоряет работу, т.к. меньше данных обрабатывать, с другой стороны - ухудшает обучение, т.к. некоторые объекты (птица против рыба) выглядят почти одинаково.

Поэтому был сделан переход использование полноцветных изображений: observation_space_shape = (3, 84, 84). Этот переход, действительно, помог. Кривая обучаемости агента на первых порых стала лучше. Для сравнения первая кривая - это на чернобелом, вторая - на полноцветом.

Также была проведена серия 21-ая экспериментов. В итоге на 4-ом шаге агент таки научился проходить и 5-ый и 6-ой уровни. Но! Агент разучился проходить 1-ый уровень. Всё дело в том, что на 4-ом шаге использовалось фокусное обучение, когда роллаут делался только на 5-ом уровне. В итоге агент забыл прошлый опыт.

Получается такая система ограничений (форма):

  1. скорость обучения. Высокая скорость - агент может впитать новый опыт, но может и забыть старый, низкая - агент деревенеет и не может новый опыт впитать
  2. фокусное обучение. Учишь агента фокусно решать конкретную проблему, например, пройти пятый уровень, - агент может забыть, как проходить первый. Нет фокусного обучения, агент может найти локальный оптимум и в нём застрять (типа разбирать иглу, меняя направление движения льдин, и тем самым продолжать банкет, но в иглу не заходить).