PDF文档信息
免费
名称:2025.07.29-《高质量数据集 格式要求》(征求意见稿).pdf

2025年7月29日,发布国家标准《高质量数据集格式要求(征求意见稿)》。

本文件规定了高质量数据集的元数据及其表示方法。本文件适用于指导建设、管理和加工高质量数据集。

本规范旨在为人工智能模型开发与训练所依赖的高质量数据集建立统一的格式规范,重点规定其元数据的组成与表示方法。本规范以JSON格式为基准,系统定义了数据集层面的元数据、数据内容元数据以及标注信息元数据三个层次。通过对数据标识、内容、标注、版本、授权及来源等全链路信息进行标准化描述,本规范致力于解决当前数据集格式不统一、接口读取困难的突出问题,从而为数据集的规范化建设、高效管理与跨平台流通提供技术依据。

数据集总体元数据构成

本规范要求数据集必须包含全局唯一的数据标识,并记录原始创建时间、最后修改时间及数据版本号,以便进行全生命周期追溯。同时,为保障数据合规流通,必须明确其授权类型、来源类型及具体来源详情,并如实标注数据是否为生成数据。此外,还可选填关联数据标识,用于建立与其他数据集的关联关系。

数据内容与标注信息的规范

本规范将数据内容元数据细化为模态类型与具体内容两部分,要求明确数据集对应的模态(如文本、图像等),并对内容采用UTF-8编码文本或相对存储路径进行表示。在标注信息方面,本规范定义了标签、标注方式、所用工具及标注人员类型等元数据项,以完整记录数据的标注过程,适应不同监督学习任务的需求。

《高质量数据集 格式要求》(征求意见稿)第1页
第 1 页
《高质量数据集 格式要求》(征求意见稿)第2页
第 2 页
《高质量数据集 格式要求》(征求意见稿)第3页
第 3 页
已加载前 3 页,共 29 页
免责声明: 本站文档均来自互联网及网友上传分享,本站只负责收集和整理,文档内容版权归原创作者所有,其原创性及文中陈述文字和内容仅代表作者个人观点,仅供个人学习研究,严禁用于商业用途,下载后请于24小时内删除。转载是为传递及宣传国家与地方政府规划、建设与管理等相关政策和经验;本站部分资源采取捐赠下载,本站不以此盈利,所获捐赠将支付分享者及网站服务器和带宽支出。如果您对原创归属及转载有异议,或涉及版权问题,请点击"举报",我们将补齐出处或者删除;转载本站内容请注明出处。
提问