俄罗斯国家研究型高等经济大学 人工智能中心

估算和解释语言模型的机器学习新技术

项目目标

研究评估神经网络语言模型的质量、效率和性能的新方法。

相关性

目前,评估和解释神经网络语言模型的可能性似乎有限。现有的评估和解释方法局限于特定的目标任务,或评估语言模型对独立语言现象的敏感性(例如,只评估特定语言的句法特征、抗错字能力,或只评估检测恶意评论的能力)。

优势

- 该项目开发的评估和解释设备与各种型号的架构(GPT、BERT、T5 等)兼容。

- 所建议的仪器可以找出现有语言模型的不足之处,并为语言模型的教学和训练方法的开发确定新的方向。

- 语言模型的评估和解释方法将有助于创建适用于语言模型的各种自动化、客观的标准化测试。

- 利用多标准选择理论选择最佳模型。

实际应用场景:

  1.   用户需要根据自己的需要选择语言模型,他需要浏览模型目录及其特点,并独立选择最合适的模型。
  2.   用户在语言模型中以正式的形式明确提出自己的要求。
  3.   开发的平台会向用户提供满足其要求的模型列表。

该项目与合作伙伴共同实施