Воркшоп «Наука в действии»

Аннотация

Воркшоп объединит исследователей и практиков, работающих над повышением надежности, эффективности и оцениваемости систем больших языковых моделей и агентов в прикладных сценариях. В рамках воркшопа будут представлены подходы к управлению процедурной памятью в больших языковых молелях-агентах, позволяющей формировать повторно используемые и адаптируемые навыки для решения корпоративных задач; методы получения надежных ответов языковыми моделями; стратегии классификации табличных данных с использованием больших языковых моделей; а также фреймворк для автоматической генерации оценщиков на основе больших языковых моделей с использованием трасс выполнения, упрощающий оценку агентных пайплайнов. Особое внимание будет уделено переходу от возможностей больших языковых моделей к надежным и измеримым компонентам, пригодным для практического применения. Рассмотрим такие подходы, как контролируемый перенос навыков, декодирование с учетом неопределенности, обучение с эффективным использованием данных и оценивание на основе трасс выполнения. Эти методы позволяют бизнесу внедрять агентов с большей уверенностью в их работе, снижать затраты на разметку данных и получать более прозрачные гарантии качества и производительности.