Семинар HDI Lab: How benign is benign overfitting?
Мы используем файлы cookies для улучшения работы сайта НИУ ВШЭ и большего удобства его использования. Более подробную информацию об использовании файлов cookies можно найти здесь, наши правила обработки персональных данных – здесь. Продолжая пользоваться сайтом, вы подтверждаете, что были проинформированы об использовании файлов cookies сайтом НИУ ВШЭ и согласны с нашими правилами обработки персональных данных. Вы можете отключить файлы cookies в настройках Вашего браузера.
Научный руководитель — Эрик Мулине
Заведующий лабораторией — Наумов Алексей Александрович
Ведущий аналитик — Шмидт Влада Анатольевна
Тел.: +7(495) 772-9590 *27361
e-mail: vkuznecova@hse.ru
Менеджер — Алямовская Елена Геннадьевна
Тел.: +7(495) 772-9590 *27632
e-mail: ealyamovskaya@hse.ru
Адрес: 109028, г. Москва, Покровский бульвар, д. 11
Офис T-926
Научный руководитель — Эрик Мулине
Заведующий лабораторией — Наумов Алексей Александрович
Ведущий аналитик — Шмидт Влада Анатольевна
Тел.: +7(495) 772-9590 *27361
e-mail: vkuznecova@hse.ru
Менеджер — Алямовская Елена Геннадьевна
Тел.: +7(495) 772-9590 *27632
e-mail: ealyamovskaya@hse.ru
Адрес: 109028, г. Москва, Покровский бульвар, д. 11
Офис T-926
31 января в 16:20
Докладчик: Лишуди Дмитрий, Стажер-исследователь: Международная лаборатория стохастичсеких алгоритмов и анализа многомерных данных факультета компьютерных наук.
Тема: "How benign is benign overfitting?"
Аннотация: На многих наборах данных нейросети при обучении с SGD достигают практически нулевой ошибки на тренировочных данных и хорошей обобщающей способности на тестовых, даже когда тренировочная разметка зашумлена. Такой эффект называется доброкачественное переобучение (benign overfitting). Тем не менее такие модели уязвимы к состязательным атакам. Первой причиной такой уязвимости являются плохая выборка. Так, с помощью теоретического и эмпирического анализа показывается, что шум в разметке данных — одна из причин состязательной уязвимости и устойчивым моделям не удается достичь нулевой тренировочной ошибки. Однако удаление неправильных меток не позволяет достичь устойчивости к состязательным атакам. В статье предполагается, что дело также и в субоптимальном обучении представлениям. С помощью несложной теоретической постановки показывается, что выбор представлений может значительно повлиять на состязательную устойчивость.
Ссылка на статью: https://arxiv.org/pdf/2007.04028.pdf
Шрифты HSE Sans и HSE Slab разработаны в Школе дизайна НИУ ВШЭ