Data Secrets

07 August 2023 09:28

Есть тут те, кому интересны все детали оптимизации в глубоком обучении?

Тогда вот эта статья "Understanding Optimization of Deep Learning" для вас. В одной из первых глав проводится обзор основных концептов глубокого обучения: нормализация, self-attention, активация, транформеры и тд. Подробные выкладки есть в разделе про прямой и обратный ход, отдельное внимание уделено популярным оптимизаторам и разнице между ними. Также разбирается явная и неявная оптимизация.

Из статьи можно подчерпнуть много знаний о том, как заставить сеть работать лучше + повторить и заново понять теорию.

😻 #advice