💐⬜🤐     

海立方网站

语料即大模型训练所需数据，是大模型训练的基础，也是决定大模型性能和专业性的关键因素。商汤科技大装置事业群高级总监张行程告诉记者，中文高质量语料相对缺乏是国内外大模型面临的共同问题。中文语料库不仅规模较小，且其电子化和网络化程度明显不足。此外，受版权、隐私等限制，许多优质中文语料库也无法公开获取。

高质量中文语料的供给是中国大模型本土化的关键。“我们希望行业能加强企业间合作以及产业上下游协同，共同推动高质量中文数据集的共享、开放，鼓励数据提供方将高质量中文语料库在一定范围内公开，为各行各业大模型技术创新和应用奠定坚实的基础，形成中国特色的AI大模型创新路径，不断提高国际竞争力。”张行程说。

今年初开始实施“数据入表”政策。张纪臣认为，随着“数据入表”政策的实施，出版企业的数字资源经过确权、评估、标准化后入表，成为出版企业的数据资产。在此基础上构建大模型训练使用方与出版企业共赢的商业模式，能发挥中国价值核心数据在人工智能时代的智能服务话语权。“这样一来，‘数据入表’可能成为加速数据有效流动、共享并实现共赢的关键一步。”他说。

机器在对语言水平这一抽象概念进行评估时，必须依赖预先设定的人类价值判断和标准。电子科技大学智能语言学习与测评实验室与字节跳动合作开发了一款语言水平考试产品。实验室负责人陈大建说，在研发阶段，实验室负责对自行收集的用户音频数据进行标注，其标注内容主要是基于音频所体现的英语能力水平进行分类和标记。标注人员由学校四五十名大学英语教师组成，且均为应用语言学专业的硕博士。

中国出版集团中国图书进出口总公司下属中图科信数智技术(北京)有限公司总经理李沄沨认为，从正式出版物如文献、学术专著等入手，依托先进的提取工具和解析技术，将出版物语料化、碎片化、标准化，加工成高质量的语料数据，有别于一般的数据加工。“我们已经实现了大规模和批量开展数据语料化的技术和工具软件，能够更深层次地解析数据，并形成独立的图片、表格、公式数据集，为大模型人工智能服务提供价值更高、标准程度更好的语料供给，使出版数据在人工智能时代焕发出新活力。”他说。