PDF文档信息
免费
名称:2025.07.29-《高质量数据集 质量评测规范》(征求意见稿).pdf

2025年7月29日,发布国家标准《高质量数据集质量评测规范(征求意见稿)》。

本文件规范了高质量数据集的质量评测,明确了指标要求、评测方法。本文件可为开展高质量数据集质量评测活动提供指导。

本规范确立了高质量数据集质量评测的统一技术准则,面向可直接用于人工智能模型开发与训练的数据集合,构建起覆盖说明文档、数据质量及模型应用三大维度的评测体系。本规范明确了各项评测指标的具体要求与计算评分方法,规定数据集需在说明文档、数据质量、模型应用三个维度均达到90分及以上,方可判定为符合高质量要求。通过建立标准化的评测框架,本规范旨在解决当前高质量数据集评测缺乏统一标准的问题,为数据集建设方、技术服务方和第三方评测机构提供科学、可操作的技术依据。

评测指标体系框架

本规范要求高质量数据集的质量评测须全面覆盖说明文档、数据质量和模型应用三个维度。说明文档指标聚焦于基本信息、内容特征、建设过程及应用说明的完整性;数据质量指标涵盖格式规范性、安全规范性、标注规范性、结构完整性、内容真实性、内容一致性、类型一致性和内容干净性;模型应用指标则包括内容多样性、规模完整性、内容时效性、标注准确性及模型适配性。三大维度相互支撑,共同构成质量评测的完整维度。

评测判定与评分机制

本规范采用百分制对各维度进行独立评分,并设定统一的90分合格阈值。数据集须同时满足说明文档、数据质量、模型应用三个维度的指标要求,方可视为符合高质量数据集的质量要求。各维度均依据加权求和公式计算得分,子指标权重可根据实际应用场景和评测需求灵活调整,默认建议采用等权重方式赋值。对于无监督机器学习场景,还明确了标注准确性指标的适用性调整规则。

《高质量数据集 质量评测规范》(征求意见稿)第1页
第 1 页
《高质量数据集 质量评测规范》(征求意见稿)第2页
第 2 页
《高质量数据集 质量评测规范》(征求意见稿)第3页
第 3 页
已加载前 3 页,共 30 页
免责声明: 本站文档均来自互联网及网友上传分享,本站只负责收集和整理,文档内容版权归原创作者所有,其原创性及文中陈述文字和内容仅代表作者个人观点,仅供个人学习研究,严禁用于商业用途,下载后请于24小时内删除。转载是为传递及宣传国家与地方政府规划、建设与管理等相关政策和经验;本站部分资源采取捐赠下载,本站不以此盈利,所获捐赠将支付分享者及网站服务器和带宽支出。如果您对原创归属及转载有异议,或涉及版权问题,请点击"举报",我们将补齐出处或者删除;转载本站内容请注明出处。
提问