В продложение заметки №80. После прочтения [PintoWhyVisual] как-то вдруг стало совершенно очевидно, то да, таки только генеративность (top-down) и может спасти мир. В [PintoWhyVisual] подчёркивается, что и так все знают: “The core problem is that each object in the world can cast an infinite number of different 2-D images onto the retina as the object’s position, pose, lighting, and background vary relative to the viewer”. А потом ребята делают простой эксперимент: модель, которая показывает хорошие результаты, сливается на тех же данных, но просто под небольшим углом.

Мы встречаем нового человека, и нам не надо его разглядывать со всех возможных сторон, с разного удаления, под разным освещением. Мозг это сам делает, зная закономерности из прошлого опыта. Т.е. достаточно взглянуть и ты сразу человека можешь узнать в разных позах. Поэтому вот этот пресловутый zero-shot learning, и имеет место быть у нас. Мы видим какие-то проявления, через них в мозгу восстанавливаются модели, которые могут сгенерить эти проявления, и дальше просто задача выбора одной из моделей.

Ещё раз цитата из [MumfordNeurArc]:

assume that $X$ is a set of variables describing the world - called the hidden variables - and that $Y$ is the data we observe. We assume, moreover, that from experience we know the “prior” probability $pr(X=x)$ that the variables $X$ take on every possible set of values $x$ (e.g. you know it is very likely that your grandmother is wearing a bikini), and that we also know the conditional probability of very possible observation $y$ given the state of the world $x$, written $pr(Y=y X=x)$. Then if we have observations $y$, we will want to estimate the most likely a posteriory values $x$ of the hidden variables describing the world. Bayes says to do this by finding the $x$ that makes the conditional probabilty $pr(Y=y X=x)$ the largest, whcy by Bayes’s theorem is the $x$ that maximizes $pr(y x) \cdot pr(x)$. So if we think we Granny in a bikini at a great distance, we reject the conclusion, but if we see her to attired close up, we have to accept it as fact.

Но при этом забавно, что подневольно зная всё это, мы (и я в том числе) вновь в вновь пытаемся через дискриминативные модели найти решения. Но видимо, решения там нет.

Другими словами, если взять те же пресловутые цифры/буквы, то просто физически невозможно перечислить фичи, которые позволяют однозначно охаркетировать, например, цифру 2. Потому что цифра 2 - она генериться из многих параметров и этих цифр можно сгенерить сколь угодно много. Что делают дискриминативные модели (и в том числе feed-forward neural nets) - это попытка подобрать модель ФОРМЫ или нескольких ФОРМ двоек. Да, так можно сделать, например для рукописных цифр или цифр на печатной машинке. Но можно привести сразу начертания или способы представления двойки, которые модель не сможет поддержать.

Видимо в этом и кроется разгадка того, что, например, человек не может описать что есть счастье, дружба или любовь. Да, даже что такое стол - и то невозможно описать, т.к. всегда можно подобрать примеры, которые опровергают или не подходят. А вот с генеративностью становится легче. Стол - это то, что может сгенерить стол.

Короче, правда за генеративными моделями.