75) регуляризация
| название | что делаем | спец название для лин. регрессии (без нелинейности) | веса (prior) |
|---|---|---|---|
| L1 | $\lambda\lVert{x-y}\rVert$ | LASSO регрессия | веса ~Laplace |
| L2, Tikhonov | $\lambda(x-y)^2$ | Ridge регрессия | веса ~N |
| L1+L2 | $\lambda_1\lVert{x-y}\rVert+\lambda_2(x-y)^2$ | Elastic Net регрессия | микс |
Wiki: https://en.wikipedia.org/wiki/Lasso_(statistics)#Generalizations
L1: https://www.youtube.com/watch?v=NGf0voTMlcs (Lasso (L1) Regression)
L2: https://www.youtube.com/watch?v=Q81RR3yKn30 (Ridge (L2) Regression)
L1+L2: https://www.youtube.com/watch?v=1dKRdX9bfIo (Elastic Net Regression)
как вывести формулу той или иной регуляризации: https://www.youtube.com/watch?v=q7seckj1hwM
LASSO может замочить некоторые переменные, Ridge только сильно снизить их влияние (https://www.youtube.com/watch?v=NGf0voTMlcs). Происходит из-за поведения модуля вблизи нуля. Наглядно видно тут regularization_test.ipynb (https://www.youtube.com/watch?v=Xm2C_gTAl8c)
