Шум как температура и прыжки между долинами в ландшафте потерь

Выполнила: Синицина Софья Андреевна

В работе исследуется влияние стохастичности обучения, операционально параметризуемой через прокси-температуру, на геометрию траектории оптимизации в ландшафте функции потерь нейронных сетей. В качестве прокси-температуры рассматривается отношение шага обучения к размеру мини-батча: Tproxy = η/B. Барьерные переходы интерпретируются операционально — как наблюдаемые внутренние подъёмы функции потерь вдоль фиксированного класса путей между состояниями модели.

Главный результат работы состоит в том, что линейное соединение двух состояний модели систематически недооценивает барьерную структуру поздней SGD-динамики. Путь, проходящий через реально наблюдаемые промежуточные состояния на траектории обучения, выявляет внутренние подъемы функции потерь, которые не фиксируются линейной интерполяцией. Полученные результаты показывают, что величина этого расхождения зависит от температурного режима обучения.