2025年7月29日,发布国家标准《高质量数据集格式要求(征求意见稿)》。
本文件规定了高质量数据集的元数据及其表示方法。本文件适用于指导建设、管理和加工高质量数据集。
本规范旨在为人工智能模型开发与训练所依赖的高质量数据集建立统一的格式规范,重点规定其元数据的组成与表示方法。本规范以JSON格式为基准,系统定义了数据集层面的元数据、数据内容元数据以及标注信息元数据三个层次。通过对数据标识、内容、标注、版本、授权及来源等全链路信息进行标准化描述,本规范致力于解决当前数据集格式不统一、接口读取困难的突出问题,从而为数据集的规范化建设、高效管理与跨平台流通提供技术依据。
本规范要求数据集必须包含全局唯一的数据标识,并记录原始创建时间、最后修改时间及数据版本号,以便进行全生命周期追溯。同时,为保障数据合规流通,必须明确其授权类型、来源类型及具体来源详情,并如实标注数据是否为生成数据。此外,还可选填关联数据标识,用于建立与其他数据集的关联关系。
本规范将数据内容元数据细化为模态类型与具体内容两部分,要求明确数据集对应的模态(如文本、图像等),并对内容采用UTF-8编码文本或相对存储路径进行表示。在标注信息方面,本规范定义了标签、标注方式、所用工具及标注人员类型等元数据项,以完整记录数据的标注过程,适应不同监督学习任务的需求。