Начал работу над s02_denoising_ae_01.ipynb и столкнулся с тем, что тренинг на GPU по скорости такой же как и на CPU. Сначала грешным делом подумал, что что-то на Baki сломалось. Перепроверил, неполадок не обнаружил. После некоторых экспериментов родил ноутбук torch_perf_test.ipynb, который ясно раскрывает проблематику: 1) CPU быстрее, если соблюдены ДВА условия одновременно:

  • небольшой batch_size (до 100к)
  • в модели мало параметров (до неск. десятков тысяч) 2) если же или batch_size большой, или в модели много параметров (от 100к), (или и то и другое сразу), то GPU быстрее

Т.е. что-то типа диаграммы а-ля МакКинзи

Также сравнил baki (RTX 4080 SUPER) vs google colab (Tesla T4). Выводы: 1) модель CPU vs GPU подтверждается на google colab 2) google colab имеет небольшое преимущество перед baki на относительно небольших batch_size. Видимо сказывается, что на baki GPU воткнут в устарешвий PCI-E 3 (материнка HUANANZHI X99-F8D PLUS поддерживает 3 x PCI Express 3.0 x16，3 x PCI Express 3.0 x8), тогда как RTX 4080 Super “performs best on a Gen 4 or Gen 5 x16 slot”. Типа latency на загрузку данных и запуск kernel-ов выше. Но благодаря большему кол-ву CUDA cores baki уделывает google colab на боль-мень приличных объемах (что по данным, что по параметрам модели)