Академический воркшоп LRI — Искусственный интеллект и Наука о данных
Аннотация
Воркшоп посвящен данным, методам и подходам к оценке, лежащим в основе современных крупномасштабных систем искусственного интеллекта. Доклады лхваят предварительное обучение моделей «зрение—язык» и привязку объектов, обнаружение дипфейков, решение задач спортивного программирования с использованием больших языковых моделей, рассуждения больших языковых моделей в области STEM, стохастическую оптимизацию для глубокого обучения (включая методы выбора шага, не требующие настройки параметров, для обучения с использованием функции перекрёстной энтропии), а также интерпретируемость на основе концептов. Программа предлагает сфокусированный формат, ориентированный на обсуждение, и позволит рассмотреть, как создаются крупные модели, в каких задачах они успешны и какие ограничения по-прежнему сохраняются.
Спикеры
Бруно Баувенс
НИУ ВШЭ
Стохастический шаг Полака для перекрестной энтропии: новый взгляд
В докладе будет рассмотрен подход к построению алгоритма оптимизации без параметров, основанный на выборе величины шага для градиентного спуска посредством линеаризации. Будет показано, что данный шаг будет определяться как отношение значения функции потерь к квадрату нормы градиента. Будут рассмотрены проблемы применения такого шага в стохастической постановке с мини-батчами, главным образом связанные с тем, что функция перекрестной энтропии может быть достаточно вогнутой и приводить к чрезмерно большим оценкам подходящего шага. Будут рассмотрены существующие поправки к данному подходу, которые часто обосновывают теоретическими результатами в области выпуклой оптимизации, а также будут предложены дополнительные поправки. Кроме того, будут представлены результаты исследований, посвященных обучению ResNet с нуля на наборах данных CIFAR-10 и CIFAR-100. Будет показано, что рассматриваемые методы не будут улучшать ошибку на тестовой выборке, однако смогут ускорять процесс обучения небольших моделей.
В докладе будет рассмотрен подход к построению алгоритма оптимизации без параметров, основанный на выборе величины шага для градиентного спуска посредством линеаризации. Будет показано, что данный шаг будет определяться как отношение значения функции потерь к квадрату нормы градиента. Будут рассмотрены проблемы применения такого шага в стохастической постановке с мини-батчами, главным образом связанные с тем, что функция перекрестной энтропии может быть достаточно вогнутой и приводить к чрезмерно большим оценкам подходящего шага. Будут рассмотрены существующие поправки к данному подходу, которые часто обосновывают теоретическими результатами в области выпуклой оптимизации, а также будут предложены дополнительные поправки. Кроме того, будут представлены результаты исследований, посвященных обучению ResNet с нуля на наборах данных CIFAR-10 и CIFAR-100. Будет показано, что рассматриваемые методы не будут улучшать ошибку на тестовой выборке, однако смогут ускорять процесс обучения небольших моделей.
Василий Громов
НИУ ВШЭ
Структура семантических пространств при укрупненном представлении
В исследовании будет рассмотрен Hailonakea — геометрический объект, представляющий язык в семантическом пространстве. Для его исследования будут применены различные методы, включая топологический анализ данных, методы кластеризации, алгоритмы оценки внутренней размерности, а также анализ энтропии–сложности для изучения семантических траекторий. Будет показано, что естественные языки будут представлять собой самоорганизованные критические системы, а семантические траектории будут представлять собой хаотические временные ряды. Также будут выявлены характеристики, которые позволят отличать искусственный язык эсперанто от естественных языков. Будет выделена структура языков при укрупненном представлении, проведён её анализ и выполнено сравнение со структурой семантического пространства ботов (языковых моделей). Кроме того, будут представлены результаты, согласно которым некоторые характеристики Hailonakea не будут согласовываться с общепринятыми классификациями (генетической и ареальной), что позволит предположить возможность создания новой классификации языков.
В исследовании будет рассмотрен Hailonakea — геометрический объект, представляющий язык в семантическом пространстве. Для его исследования будут применены различные методы, включая топологический анализ данных, методы кластеризации, алгоритмы оценки внутренней размерности, а также анализ энтропии–сложности для изучения семантических траекторий. Будет показано, что естественные языки будут представлять собой самоорганизованные критические системы, а семантические траектории будут представлять собой хаотические временные ряды. Также будут выявлены характеристики, которые позволят отличать искусственный язык эсперанто от естественных языков. Будет выделена структура языков при укрупненном представлении, проведён её анализ и выполнено сравнение со структурой семантического пространства ботов (языковых моделей). Кроме того, будут представлены результаты, согласно которым некоторые характеристики Hailonakea не будут согласовываться с общепринятыми классификациями (генетической и ареальной), что позволит предположить возможность создания новой классификации языков.
Денис Деркач
НИУ ВШЭ
Большие языковые модели уровня постдокторантуры в STEM: потенциальное влияние ИИ на исследователей
В презентации будет рассмотрено современное состояние научных исследований, выполняемых с использованием больших языковых моделей. Будет проанализировано развитие новой парадигмы, формирующейся благодаря развитию LLM и недавним значительным прорывам в этой области и характеризующейся перспективными направлениями и потенциальными структурными изменениями. Также будут рассмотрены исторические подходы к ускорению научных исследований и проанализированы ограничения использования больших языковых моделей в научной деятельности. В завершение будут обозначены потенциальные направления дальнейшего развития.
В презентации будет рассмотрено современное состояние научных исследований, выполняемых с использованием больших языковых моделей. Будет проанализировано развитие новой парадигмы, формирующейся благодаря развитию LLM и недавним значительным прорывам в этой области и характеризующейся перспективными направлениями и потенциальными структурными изменениями. Также будут рассмотрены исторические подходы к ускорению научных исследований и проанализированы ограничения использования больших языковых моделей в научной деятельности. В завершение будут обозначены потенциальные направления дальнейшего развития.
Дмитрий Ильвовский
НИУ ВШЭ
Решение задач международного олимпиадного уровня по программированию с использованием больших языковых моделей
В докладе будет представлен обзор некоторых наиболее перспективных методов решения задач по спортивному программированию — таких, например, которые будут встречаться на соревнованиях типа ICPC, — с использованием современных больших языковых моделей и построенных на их основе агентных систем. Будут рассмотрены популярные открытые бенчмарки, обсуждены ключевые концепции и ограничения ряда существующих подходов, а также исследованы потенциальные способы преодоления этих ограничений.
В докладе будет представлен обзор некоторых наиболее перспективных методов решения задач по спортивному программированию — таких, например, которые будут встречаться на соревнованиях типа ICPC, — с использованием современных больших языковых моделей и построенных на их основе агентных систем. Будут рассмотрены популярные открытые бенчмарки, обсуждены ключевые концепции и ограничения ряда существующих подходов, а также исследованы потенциальные способы преодоления этих ограничений.
Ярослав Кошелев
LRI
Совершенствование привязки объектов при предварительном обучении PanguVL Затем будет представлен новый конвейер выборки высококачественных данных для двумерной привязки объектов из отдельных изображений. Его ключевой идеей будет автоматическая фильтрация данных на основе принципа циклической согласованности (cycle consistency).
Далее будут рассмотрены стратегии оценки качества данных и будет создан автоматический бенчмарк, показатель которого будет иметь высокую корреляцию с оценками, полученными от людей, и позволит автоматически выполнять поиск по сетке гиперпараметров оптимального конвейера подготовки данных. В совокупности эти усовершенствования позволили повысить возможности модели PanguVL в области привязки объектов.
В докладе будет представлена методология повышения качества привязки объектов — фундаментальной способности больших визуально-языковых моделей, которая позволит им интерпретировать визуальную модальность. Будет рассмотрена проблема надёжного обучения этой способности в моделях с миллиардным числом параметров на этапе предварительного обучения, которое будет требовать огромного корпуса синтетических данных и во многом зависеть от качества разметки на уровне объектов. Сначала будет исследовано влияние различных форматов данных на результаты последующего тестирования привязки объектов. Будет показано, что описания с привязкой к объектам (grounded captions) будут наиболее эффективным форматом для этапа предварительного обучения.
Далее будут рассмотрены стратегии оценки качества данных и будет создан автоматический бенчмарк, показатель которого будет иметь высокую корреляцию с оценками, полученными от людей, и позволит автоматически выполнять поиск по сетке гиперпараметров оптимального конвейера подготовки данных. В совокупности эти усовершенствования позволили повысить возможности модели PanguVL в области привязки объектов.
В докладе будет представлена методология повышения качества привязки объектов — фундаментальной способности больших визуально-языковых моделей, которая позволит им интерпретировать визуальную модальность. Будет рассмотрена проблема надёжного обучения этой способности в моделях с миллиардным числом параметров на этапе предварительного обучения, которое будет требовать огромного корпуса синтетических данных и во многом зависеть от качества разметки на уровне объектов. Сначала будет исследовано влияние различных форматов данных на результаты последующего тестирования привязки объектов. Будет показано, что описания с привязкой к объектам (grounded captions) будут наиболее эффективным форматом для этапа предварительного обучения.
Сергей Кузнецов
НИУ ВШЭ
Интерпретируемое обучение на основе концептов
В докладе будет рассмотрено исследование, в котором будут использоваться формальные модели концептов, такие как формальный анализ концептов (Formal Concept Analysis), структуры паттернов (Pattern Structures) и Concept Whitening, для объяснения работы моделей типа «черный ящик». Будет рассмотрен подход, основанный на согласовании выходов моделей с символически представленными, изначально интерпретируемыми концептами. Будут рассмотрены два типа паттерн-концептов: графовые паттерны, которые будут применяться к задачам обработки естественного языка (NLP), и паттерны в виде интервалов-кортежей, которые будут применяться для анализа числовых данных.
В докладе будет рассмотрено исследование, в котором будут использоваться формальные модели концептов, такие как формальный анализ концептов (Formal Concept Analysis), структуры паттернов (Pattern Structures) и Concept Whitening, для объяснения работы моделей типа «черный ящик». Будет рассмотрен подход, основанный на согласовании выходов моделей с символически представленными, изначально интерпретируемыми концептами. Будут рассмотрены два типа паттерн-концептов: графовые паттерны, которые будут применяться к задачам обработки естественного языка (NLP), и паттерны в виде интервалов-кортежей, которые будут применяться для анализа числовых данных.
Андрей Савченко
Sber AI Lab, НИУ ВШЭ
Обнаружение дипфейков в видеопотоках онлайн-конференций
В докладе будет представлен краткий обзор существующих методов, которые могут применяться для обнаружения дипфейков в видеопотоках онлайн-конференций. Будет рассмотрена проблема обнаружения управляемой искусственным интеллектом подмены личности в режиме реального времени во время видеоконференций, которой существующие методы, разработанные преимущественно для контента социальных сетей и вещательных платформ, не будут непосредственно соответствовать. Кроме того, будут рассмотрены возможности создания набора данных, который будет использоваться для обучения точной модели обнаружения.
В докладе будет представлен краткий обзор существующих методов, которые могут применяться для обнаружения дипфейков в видеопотоках онлайн-конференций. Будет рассмотрена проблема обнаружения управляемой искусственным интеллектом подмены личности в режиме реального времени во время видеоконференций, которой существующие методы, разработанные преимущественно для контента социальных сетей и вещательных платформ, не будут непосредственно соответствовать. Кроме того, будут рассмотрены возможности создания набора данных, который будет использоваться для обучения точной модели обнаружения.