时报早知道
  • 合合信息大模型“加速器”赋能“百模大战”,高效解锁高质量语料资源

  • 作者:现代时报网   信息来源:现代时报网 
  • 2024-09-09 10:26 收藏
  • 合合信息 大模型 语料资源
  • 大模型技术正随着科技革新实现广泛应用,满足多行业图像处理需求。7月4日至7日,来自华南理工大学、上海交通大学、清华大学、复旦大学、上海人工智能实验室及合合信息等顶尖高校、研究机构与企业的专家,齐聚一堂,共同探讨大模型在图像领域的最新进展与应用挑战。

    面对大模型集可能于2026年前遭遇“高质量语料数据”枯竭的预测,合合信息在本次大会上展示了其创新性的大模型“加速器”解决方案,为确保大模型能够于数据荒漠中发掘宝贵“水源”提供了助力。

    当前大模型数据集主要为英文,中文语料占比较低;无线表、跨页表格、复杂公式等元素的处理仍是大模型语料处理中的另一个“拦路虎”。 文档解析技术是支撑大模型语料训练的关键技术之一,面临着从海量文档中高效提炼“智慧燃料”的艰巨任务。合合信息的文档解析引擎具备强大的“动能”,最快1.5秒可解析百页长文档中的文本、表格、图像等非结构化数据,也是当前市面上同类文档解析引擎中具有优秀的处理速度产品之一;同时,引擎还具备优秀的文档“理解力”,可智能还原文档阅读顺序,加速了模型在预训练、开发、使用落地等多方面的流程。

    以法律行业为例,经典离婚案件判决书详尽地列出了离婚双方的各项诉求、提交的证据以及法院基于这些材料作出的裁决理由,这些记录中蕴含着丰富的法律推理逻辑与情感分析的实际案例素材。同时,专注于离婚法及家庭法领域的学术论文,则通过深入研究离婚制度的历史发展脉络、司法实践中遇到的具体争议点以及相应的解决策略,为法律领域提供了宝贵的理论支持与分析视角。此外,由法院等权威机构发布的关于离婚案件的司法解释和指导意见,以其准确的语言表达和严密的逻辑结构,成为了法律高质量语料库中不可或缺的重要组成部分。合合信息的文档解析引擎,凭借其卓越的版面解析能力,能够迅速穿透这些障碍,】精准提取文本、表格、图像等非结构化数据,为模型训练与应用提供源源不断的纯净“燃料”。

    此外,“加速器”还集成了行业领先的acge文本向量化模型,有效解决了大模型在处理复杂语料时可能出现的“已读乱回”现象,确保大模型在正确的轨道上稳健前行。其强大的多语言识别与多类型支持能力,更是为金融、医学、财经、媒体等多个行业提供了高效、准确的文档解析服务,助力大模型快速接轨各领域“专业课”。

    尤为值得一提的是,合合信息大模型“加速器”在图表识别与内容理解方面同样表现出色,能够精准“洞察”研报、论文中的各类图表,将其转化为大模型易于理解的markdown格式,进一步释放数据和图表的价值潜能。

    合合信息智能创新事业部总经理唐琪表示,大模型“加速器”已广泛应用于多个领域,显著提升了模型的理解力与训练效率。未来,随着技术的不断成熟与应用的深入拓展,大模型加速器将助力更多行业级知识库的建立,让智能技术惠及社会的每一个角落,真正实现“智能触手可及”的美好愿景。