中国移动研究院发布通用大模型评测体系白皮书-凯发官网首页

       7月17日，由中国移动研究院、中国移动技术能力评测中心主办了“2023年大模型评测及应用研讨会”，会议旨在共同探讨大模型评测体系、应用实践、产业标准及合作生态等议题，推动大模型技术的广泛应用和发展。中国中文信息学会副理事长马少平、中国移动研究院副院长段晓东出席会议并致辞。

　　会上，中国移动研究院联合北京邮电大学、中国科学院计算技术研究所、北京市科学技术研究院、科大讯飞、百度、武汉大学和重庆理工大学等知名高校、科研机构和头部企业联合发布了《“弈衡”通用大模型评测体系白皮书》。该白皮书是行业中首个大模型评测领域白皮书，基于客观全面、公平公正和用户视角的三大原则，创新性地提出了“2-4-6”的“弈衡”通用大模型评测体系。该体系将评估场景划分为基础任务和应用任务，明确四项主要评测要素，并制定涵盖六大维度的50余个评测指标。“弈衡”评测体系可对国内外大模型开展有效评测分析，充分揭示大模型在应用中的固有问题，客观反映各模型在准确性、可靠性以及安全性等方面的差异，为大模型的评测实践和产业应用提供指导。

　　来自中国移动、北京邮电大学、中国科学院计算技术研究所、信通院、科大讯飞、百度等多家单位的领导和专家，围绕运营商大模型发展思路、cv大模型前沿技术、国内优秀大模型发展状况、大模型基础设施和生态、行业评测标准等主题，在会上发表了精彩演讲，为推动大模型技术发展奉献了一场知识盛宴，引起了线上线下与会观众的热烈反响。

　　此外，会上正式成立ccir大模型评测工作组，并发布“2023 ccir全国信息检索挑战杯”中国移动赛道赛题。