智源指数简介
http://cuge.baai.ac.cn/#/
智源指数是指中文语言理解和生成评测基准，智源指数包含高质量中文自然语言处理数据集、排行榜与在线评测平台，旨在构建全面系统的中文机器语言能力评测体系，形成多层次维度的评测方案，力求更加科学、规范、高质量地推进中文自然语言处理技术的标准评测。
排行榜
智源指数排行榜提供多层次维度的评测方案，提供数据集、任务、能力得分，以及智源指数总体得分。智源指数根据标准基线模型（mT5-small）的得分，对参与评测模型的得分进行归一化（括号中显示），最大程度消除不同数据集和评测指标的差异。
主要任务包括：
- 语言理解-词句级：中文分词、中文分词和词性标注、古诗文标记、命名实体识别、实体关系抽取
- 语言理解-篇章级：幽默检测、故事情节完形填空、阅读理解
- 信息获取及问答：反向词典、开放域问答、文档检索
- 语言生成：摘要生成、数据到文本生成
- 对话交互：知识驱动的对话生成
- 多语言：机器翻译、跨语言摘要
- 数学推理：数值计算
如何参与智源指数评测？
在智源指数框架介绍页面一键下载所有数据集，或在数据下载页面下载某个特定数据集；
生成测试集的预测结果文件。预测结果文件格式见对应数据集的readme文件；
将预测结果文件按照相应数据集的readme文件中所要求的正确提交文件名命名，压缩成zip格式。登录个人账号后即可在参与评测页面提交。
标签：中文,语言,指数,生成,智源,评测 来源： https://blog.csdn.net/yanqianglifei/article/details/122282264
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。