2025年7月29日,发布国家标准《高质量数据集质量评测规范(征求意见稿)》。
本文件规范了高质量数据集的质量评测,明确了指标要求、评测方法。本文件可为开展高质量数据集质量评测活动提供指导。
本规范确立了高质量数据集质量评测的统一技术准则,面向可直接用于人工智能模型开发与训练的数据集合,构建起覆盖说明文档、数据质量及模型应用三大维度的评测体系。本规范明确了各项评测指标的具体要求与计算评分方法,规定数据集需在说明文档、数据质量、模型应用三个维度均达到90分及以上,方可判定为符合高质量要求。通过建立标准化的评测框架,本规范旨在解决当前高质量数据集评测缺乏统一标准的问题,为数据集建设方、技术服务方和第三方评测机构提供科学、可操作的技术依据。
本规范要求高质量数据集的质量评测须全面覆盖说明文档、数据质量和模型应用三个维度。说明文档指标聚焦于基本信息、内容特征、建设过程及应用说明的完整性;数据质量指标涵盖格式规范性、安全规范性、标注规范性、结构完整性、内容真实性、内容一致性、类型一致性和内容干净性;模型应用指标则包括内容多样性、规模完整性、内容时效性、标注准确性及模型适配性。三大维度相互支撑,共同构成质量评测的完整维度。
本规范采用百分制对各维度进行独立评分,并设定统一的90分合格阈值。数据集须同时满足说明文档、数据质量、模型应用三个维度的指标要求,方可视为符合高质量数据集的质量要求。各维度均依据加权求和公式计算得分,子指标权重可根据实际应用场景和评测需求灵活调整,默认建议采用等权重方式赋值。对于无监督机器学习场景,还明确了标注准确性指标的适用性调整规则。