蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上

专题:2026北京智源大会

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第1张图片

  6月12日至13日 ,2026第八届北京智源大会在北京中关村国际创新中心举行 。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第2张图片

  李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充 ,其在生成速度和可编辑性方面展现出显著优势。

蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上-第3张图片

  他解释到,扩散模型在图像生成领域已是主流范式 ,应用非常广泛 。正向过程是通过对图像逐步添加噪声直至变为白噪声 ,反向过程是从白噪声中逐步去噪,恢复出原始图像。

  而在语言领域,当前主流范式是“Next Token Prediction”。“就像打字机一样 ,我前面打出一个字,后面接着就依赖前面去产生下一个字 。扩散语言模型则将图像领域的范式迁移到语言中,可以像印刷机一样批量 、成批地输出词元 。 ”

  李建国以今年2月发布的LLaDA 2.1模型(可编辑扩散生成)与蚂蚁百灵2.0模型(100B参数)对比为例。LLaDA的生成速度约为1000 token/秒 ,而百灵2.0约为200 token/秒,速度相差4倍以上。

  他指出,从核心特性看 ,有两个速度,一个是传统的AR模型,一次只输出一个token ,即使采用投机采样方法(如MTP)也只能做到2-3个 。另外一个速度,就是扩散语言模型,起步平均能做到5-6个 ,在代码生成、智能体等场景中 ,实际观察可超过10个,最高可达15个。

  此外,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误 ,可以通过“悔改”机制只修改错误的那一个位置,而无需重新生成整个序列 。

  新浪声明:所有会议实录均为现场速记整理,未经演讲者审阅 ,新浪网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

标签:

相关推荐

  • 高考有几天/现在高考有几天

    高考有几天/现在高考有几天

    高考都是考几天高考的考试天数全国不统一,主要分为2天、3天和4天三种情况,具体取决于所在省份的高考模式。以下是详细说明:新高考3+1+2省份:考3天此类省份的高考通常安排在6月7日至9日,共3天。例如河南、四川、广西等省份均采用这一模式。026年高考时间为6月7日至9日三天,部分省份或科目可能延至10日。具体安排如下:全国统一考试时间及科目根据现有信息,...

    2026/06/13
  • 运城疫情最新消息今天新增了15例(运城疫情最新消息2021)

    运城疫情最新消息今天新增了15例(运城疫情最新消息2021)

    现在出入运城最新规定022年11月17日11时今天出入山西运城最新通知今明出入山西运城最新政策规定通知:出运城-:非必要不前往风险地区,按目的地疫情防控政策执行。运城对外来人员隔离最新规定如下:严格实行主动报告登记。请公众对疫情保持高度关注,及时了解国内疫情动态。现在运城市可以正常的出入,只要持5日内的核酸证明,也就可以去公共的场合。这可能是唯一的要求,从...

  • 下一次油价调整最新消息(下次油价调整是几月几号)

    下一次油价调整最新消息(下次油价调整是几月几号)

    92汽油降了多少钱一升〖壹〗、本轮5月21日24时油价上调落地后,全国92号汽油均价约为75元/升,受运输成本、区域政策等因素影响,不同地区费用略有差异。国内不同主流地区的92号汽油具体售价分别为:北京78元/升,上海74元/升,广东广州76元/升,四川成都82元/升,湖北79元/升,海南89元/升,新疆58元/升。〖贰〗、自2025年7月15日24时起,...

  • 疫情的最新消息(疫情最新消息伊犁情况)

    疫情的最新消息(疫情最新消息伊犁情况)

    四川疫情!刚刚发布最新消息,昨日新增12例〖壹〗、四川7月16日0-24时新增12例本土病例(7例确诊+5例无症状),另新增14例境外输入病例(3例确诊+11例无症状)。〖贰〗、新增确诊病例情况总体数据:当日新增确诊病例169例,其中境外输入病例12例,本土病例157例。〖叁〗、昨日(3月31日0时至24时)四川新增1例本土确诊病例、2例本土无症状感染...

  • 西安疫情是武汉后最严重一回/西安防疫最新规定 最近14天有去过武汉

    西安疫情是武汉后最严重一回/西安防疫最新规定 最近14天有去过武汉

    西安封城了西安封城期间,非特殊情况一般不能出去。具体说明如下:小区层面:封城时小区大门紧锁,24小时有人执勤,严格限制人员出入。这意味着居民连小区都难以出去,从小区这一基础单元就进行了管控,最大程度减少人员流动。例如石家庄封城时就是如此,西安大概率也会采取类似严格的小区管控措施。道路层面:即便能出小区,马路上到处设有卡点。封城背景与时间时间点:西安封城发生...

  • 【31省区市新增确诊2例,31省区新增确诊327例】

    【31省区市新增确诊2例,31省区新增确诊327例】

    2月24日31省份增82例本土确诊涉13省市〖壹〗、月23日0—24时,31个省(自治区、直辖市)和新疆生产建设兵团报告新增本土确诊病例85例,分布于多个省份,主要与局部地区疫情反弹及境外输入关联的本土传播有关。〖贰〗、月23日0—24时,31个省和新疆生产建设兵团报告新增本土病例85例。新增本土无症状感染者24例。2月8日—23日,葫芦岛市累计报告本土确...

  • 江苏镇江确诊病例父亲核酸阳性/江苏镇江新增一例父亲

    江苏镇江确诊病例父亲核酸阳性/江苏镇江新增一例父亲

    镇江新区肺炎确诊病例(上海张江肺炎病例)月4日晚收到浙江省疾控中心协查函。2月5日镇江新区工作人员上门发现其发热后,即收治于镇江市第一人民医院新区分院。2月6日,市级核酸检测阳性,经市级专家组诊断、省级复核确认为新型冠状病毒感染的肺炎确诊病例,现在镇江市传染病医院隔离治疗。近来患者体温正常,病情平稳。浙江省杭州市新增2例新冠肺炎轻型确诊病例据杭州发布微信公...

  • 五华疫情最新消息今天/五华县新型冠状病毒最新消息

    五华疫情最新消息今天/五华县新型冠状病毒最新消息

    广东五华公棚2025章程〖壹〗、赛程安排借鉴借鉴其他公棚的秋季赛事,赛程一般安排如下:100公里收费站:多在9月至10月间进行,位于广东境内。训放结束后会逐羽扫描清棚,并通过网络视频探视,同时开始收费。180-230公里热身赛:计划在10月至11月间开展,司放地选取在广东或福建境内。〖贰〗、参赛资格与报名:规程会明确参赛鸽的年龄、性别、品种等要求,以及报名...

  • 上海新增2例本地病例(上海新增2例本地新冠肺炎)

    上海新增2例本地病例(上海新增2例本地新冠肺炎)

    上海新增2例本土确诊,这两名人员是如何被感染的?上海市2例新型冠状病毒肺炎病例得到确诊,市、区有关部门立即开展流行病学调查、人员调查、抽样、检测和隔离控制。这两名患者已被转移到上海市公共卫生临床中心进行隔离治疗,病情稳定。浦东机场的海外货机运营商,男性,32岁,居住在浦东新区盐朝公路798号锦江之星。上海新增2例本土确诊病例,她们是母女关系。022年6月1...

  • 吉利集团李书福:“安全健康、可持续”是汽车企业的命根子

    吉利集团李书福:“安全健康、可持续”是汽车企业的命根子

    专题:2026重庆国际车展-2026中国汽车重庆论坛  2026中国汽车重庆论坛于6月12日-13日举行,吉利控股集团董事长李书福通过视频发表演讲。  李书福表示,什么叫企业传承?简单来说,企业传承就是把企业的核心价值观、管理制度、治理体系有效完整地传递给下一代掌舵人以及全体管理层成员,保证企业生命力旺盛、文化健康、运营高效、战略稳健清晰。  他指出...

    2026/06/13
返回顶部