谷歌自研训练底座 Pathways 在云上线,面向客户开放大模型分布式训练系统

谷歌在 2026 年 11 月 9 日正式宣布,内部用来训练 Gemini 的自研分布式训练系统 Pathways,在 Google Cloud 正式全面对外开放,它不是普通的模型,而是一套面向 JAX、运行在 TPU 集群上的底层调度运行时,过去长期只供给谷歌 DeepMind 内部,现在云客户可以直接调用这套底座,用来跑超大模型预训练、强化学习、多阶段流水线任务;对比传统 SPMD 锁步并行方案,Pathways 使用单控制器全局数据流图,能够跨多个 TPU Pod 统一调度,支持故障自动迁移、多任务混跑异步派发,大幅提升昂贵加速器的利用率,降低大规模训练因为单点硬件故障全盘回滚的概率,开放之后,科研团队和企业不用从零搭建复杂分布式调度层,就能在谷歌云 AI 超算上拉起跨机房、上万芯片级别的训练任务,但这套系统目前绑定谷歌 TPU,优先适配 JAX,不是通用训练框架,也不能随便拿到本地离线部署,对想要自研前沿基础大模型的团队门槛会降低,同时也代表谷歌把自己最核心的 AI 基础设施拿出来对外商业化,直接和其他云厂商的大模型训练集群服务竞争。

Pathways 基础信息总表

项目详情
正式开放时间2026-11-09,Google Cloud 正式 GA
原始用途谷歌内部,支撑 Gemini 系列大模型训练
运行依赖谷歌 TPU 集群,适配 JAX
部署环境GKE、Cluster Director、Slurm
核心范式单客户端全局数据流图执行,替代传统多控制器 SPMD
典型负载大模型预训练、RLHF 强化学习、多主机超大模型推理、交互式科研任务
开放形式云内托管服务,不对外独立开源离线包

和传统分布式训练方案差异

  • 传统 SPMD / DDP / FSDP:所有加速器同步锁步,适合均匀的数据并行;一旦流水线各阶段速度不一致,大量芯片空等;任意一块硬件故障,整个训练任务大概率需要回滚重启。
  • Pathways:把全部计算描述成一张全局数据流图,由运行时自动分配算子、搬运张量;支持异步派发,前后阶段可以重叠执行;硬件故障时自动把任务重映射到健康虚拟设备,不用全盘重来;支持多任务分时共享集群,拉高整体利用率。
  • 定位区分:它不是替代 PyTorch、Ray,而是底层调度运行时,可以和上层工具互补;谷歌强调二者处在不同层级。

关键能力分项说明

跨 Pod 统一虚拟化

对外呈现为一套连续虚拟设备,开发者只用一个 JAX 客户端编程,不用手动拆分、管理分散的 TPU 切片,代码编写逻辑更简单,算力可以跨多个机房调度。

原生容错机制

大规模训练里 TPU、主机、链路中断很常见,Pathways 使用虚拟设备抽象,局部故障只会迁移对应子任务,不需要终止整个超长预训练作业,对于动辄持续数周的前沿模型训练收益很高。

异步流水线与混跑

特别适合 RLHF 这类异构流水线:采样、奖励模型打分、策略更新可以并行重叠运行,不用等整条链路走完再启动下一轮,减少昂贵算力闲置。

多租户资源共享

支持在同一个 TPU 集群里面同时跑多个不同规模的训练、调试、推理任务,小的交互式调试任务和大型预训练任务可以共存,提升集群日常利用率。

在谷歌云上使用 Pathways 的操作流程

  1. 开通 Google Cloud,申请 AI 超算资源,选择支持 Pathways 的 TPU 机型。
  2. 使用 JAX 编写模型与训练流程,按照 Pathways 的数据流范式组织计算图。
  3. 在 GKE / Cluster Director 提交任务,由系统自动完成资源分配、算子放置、张量通信调度。
  4. 启动训练,后台自动处理设备之间的数据搬运、依赖同步、故障检测与重映射。
  5. 通过云监控查看集群利用率、任务吞吐,中途可以提交交互式调试、增量评估任务。

当前明显限制

  • 硬件绑定强:只面向谷歌 TPU,不支持 NVIDIA GPU,无法直接拿到本地自建集群部署。
  • 框架限制:优先面向 JAX,PyTorch 生态没有原生适配,迁移成本很高。
  • 不开源独立版本:这次是云上商用开放,不是开源放出整套代码,不能脱离谷歌云独立部署。
  • 上手门槛依然高:适合有大规模模型训练经验的团队,小模型训练用这套底座收益并不明显。
  • 按云资源计费:单独没有许可费,但 TPU 算力、存储、网络流量按照谷歌云标准计费。

适合与不适合的场景清单

✅:超大基础模型持续预训练、跨多集群长周期训练

✅:复杂 RLHF、多阶段智能体训练流水线

✅:需要频繁调试、交互式实验的前沿科研

✅:超大模型多主机分布式推理

❌:小规模模型、单卡训练、常规业务微调

❌:希望跑在自有 GPU 机房、本地离线部署

❌:重度依赖 PyTorch 生态,不愿意迁移 JAX

后续推进节奏

  1. 短期:稳定云托管服务,修复大规模集群下通信、调度的边界 Bug,完善配套监控与排错工具。
  2. 中期:持续优化和新一代 TPU 的协同,简化 JAX 迁移成本,增加更多预构建训练模板。
  3. 长期:作为谷歌云 AI 超算的核心底层,持续承接更大规模跨地域训练任务,吸引基础模型、智能体研发团队。

最终影响判断

谷歌开放 Pathways,本质是把自家训练 Gemini 的核心底层基础设施变成云商品,补齐谷歌云在前沿大模型训练赛道上的关键产品;它最大价值不是让所有人轻松训大模型,而是降低有能力的团队搭建万卡级分布式调度、容错训练底座的成本;但它锁死在谷歌 TPU 和云环境,生态封闭,很难直接普惠整个行业;如果这套底座持续稳定跑通,会吸引一批 JAX 生态的基础模型团队迁移到谷歌云,也会倒逼其他云厂商升级自家分布式训练容错、跨集群调度能力。

【相关 FAQ】

问题 1:刚刚对外开放、作为谷歌 AI 训练底座的 Pathways,是什么类型的系统?

回答 1:刚刚对外开放、作为谷歌 AI 训练底座的 Pathways,是一套大模型分布式训练运行系统,也是谷歌用来训练 Gemini 的底层调度底座,现在在谷歌云面向客户商用开放。

问题 2:对外开放的谷歌 AI 训练底座 Pathways,能不能直接在 NVIDIA GPU 集群本地部署?

回答 2:不能,对外开放的谷歌 AI 训练底座 Pathways 当前只适配谷歌自家 TPU,没有原生 GPU 支持,并且只能在 Google Cloud 内部使用,没有独立离线部署包。

问题 3:使用谷歌对外开放的 AI 训练底座 Pathways,开发模型优先要用哪个框架?

回答 3:使用谷歌对外开放的 AI 训练底座 Pathways,优先搭配 JAX 框架开发,它原生面向 JAX 的数据流图设计,PyTorch 没有原生适配。

问题 4:谷歌把 AI 训练底座 Pathways 对外开放之后,和传统分布式训练方案相比最大优势是什么?

回答 4:谷歌对外开放的 AI 训练底座 Pathways,最大优势是单控制器全局调度、异步流水线叠加故障自动迁移,硬件局部出错不用全盘重启,同时提升 TPU 集群的算力利用率。

【参考资料】

[2026-11-11](谷歌 AI 训练底座 Pathways 正式开放,大模型分布式训练系统对外开放)品玩

[2026-11-10](谷歌宣布 Pathways 在云端正式全面开放)36 氪

[2026-11-10](谷歌宣布 Pathways 在云端正式全面开放)钛媒体

[2026-11-09](Google Announces Pathways General Availability on Google Cloud)Tech Bytes

[2026-11-09](Google makes Pathways generally available on Google Kubernetes Engine)WorldNL Magazine

【免责声明】

以上仅为公开产业资讯整理;谷歌 AI 训练底座 Pathways 的功能、适配范围、计费规则、可用区域会随谷歌云策略持续调整;该系统依赖谷歌 TPU 与云环境,不存在独立开源离线版本;大规模训练成本高、技术门槛高,内容不构成云算力采购、基础模型研发投入的投资建议。

本文来自作者[钦澜寻标]投稿,不代表环球品牌网立场,如若转载,请注明出处:https://www.865171.cn/qyzx/202611/439.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 钦澜寻标
    钦澜寻标 2026年11月14日

    我是环球品牌网的签约作者“钦澜寻标”!

  • 钦澜寻标
    钦澜寻标 2026年11月14日

    希望本篇文章《谷歌自研训练底座 Pathways 在云上线,面向客户开放大模型分布式训练系统》能对你有所帮助!

  • 钦澜寻标
    钦澜寻标 2026年11月14日

    本站[环球品牌网]内容主要涵盖:品牌服务领域

  • 钦澜寻标
    钦澜寻标 2026年11月14日

    本文概览:谷歌在 2026 年 11 月 9 日正式宣布,内部用来训练 Gemini 的自研分布式训练系统 Pathways,在 Google Cloud 正式全面对外开放,它不是普通的模型,而是一套面向 JAX、运行在 TPU 集群上的底层调度运行时,过去长期只供给谷歌 DeepMind 内部,现在云客户可以直接调用这套底座,用来跑超大模型预训练、强化学习、多阶段流水线任务;对比传统 SPMD 锁步并行方案,Pathways 使用单控制器全局数据流图,能够跨多个 TPU Pod 统一调度,支持故障自动迁移、多任务混跑异步派发,大幅提升昂贵加速器的利用率,降低大规模训练因为单点硬件故障全盘回滚的概率,开放之后,科研团队和企业不用从零搭建复杂分布式调度层,就能在谷歌云 AI 超算上拉起跨机房、上万芯片级别的训练任务,但这套系统目前绑定谷歌 TPU,优先适配 JAX,不是通用训练框架,也不能随便拿到本地离线部署,对想要自研前沿基础大模型的团队门槛会降低,同时也代表谷歌把自己最核心的 AI 基础设施拿出来对外商业化,直接和其他云厂商的大模型训练集群服务竞争。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们