Статья сотрудников Лаборатории компании Самсунг принята на ведущую конференцию NeurIPS

Устный доклад сотрудников Лаборатории на одной из крупнейших конференций по ИИ.

Левый столбец: качество ансамбля следует степенному закону, что позволяет предсказывать качество больших ансамблей с высокой точностью. Правый столбец: при изменении процедуры ансамблирования степенной закон не наблюдается.

Екатерина Лобачева, Надежда Чиркова

Статья “On Power Laws in Deep Ensembles” сотрудников Лаборатории компании Самсунг Екатерины Лобачевой, Надежды Чирковой, Максима Кодряна и Дмитрия Ветрова принята для устного доклада (spotlight) на конференцию Neural Information Processing Systems (NeurIPS) 2020. NeurIPS —  одна из главных мировых научных конференций по искусственному интеллекту, ежегодно собирающая ведущих специалистов в области на одной площадке. В этом году из-за пандемии конференция пройдет в онлайн-формате. Всего на NeurIPS’20 было подано 9454 статей, из них принято к публикации 1900 статей, включая 280 коротких (spotlight) и 105 полных (oral) устных докладов. В связи с большим количеством статей их основная часть представляется на конференции в виде постеров, чтобы каждый участник конференции мог выбрать свое подмножество интересных статей для ознакомления, а сетка устных докладов составляется из статей, получивших наиболее высокие оценки рецензентов.

Статья сотрудников ФКН посвящена изучению законов, согласно которым меняется качество ансамблей нейронных сетей. Ансамблирование — это простая процедура, подразумевающая обучение нескольких нейронных сетей и усреднение их предсказаний. Усреднение сокращает количество ошибок модели, а также помогает модели более точно оценить, уверена ли она в своих предсказаниях или лучше отказаться от предсказания и воспользоваться альтернативным источником информации. Например, при распознавании отпечатка пальца в смартфоне модель может в 99% случаев верно распознавать его, а в 1% случаев отказаться от предсказания и запросить у пользователя пароль. Чем больше нейросетей в ансамбле, тем выше качество, но медленнее вычисление предсказания (например, медленнее распознавание отпечатка). В статье “On Power Laws in Deep Ensembles” изучается, как меняется качество предсказания уверенности ансамбля при увеличении количества нейросетей, а обнаруженный закон помогает определить, какое минимальное количество нейросетей нужно, чтобы достичь желаемого уровня качества. Исследователи Лаборатории компании Самсунг планируют продолжить работу в данном направлении.

Исследование выполнено с использованием Суперкомпьютерного комплекса НИУ ВШЭ.