谷歌在 2026 年 11 月 9 日正式宣布,内部用来训练 Gemini 的自研分布式训练系统 Pathways,在 Google Cloud 正式全面对外开放,它不是普通的模型,而是一套面向 JAX、运行在 TPU 集群上的底层调度运行时,过去长期只供给谷歌 DeepMind 内部,现在云客户可以直接调用这套底座,用来跑超大模型预训练、强化学习、多阶段流水线任务;对比传统 SPMD 锁步并行方案,Pathways 使用单控制器全局数据流图,能够跨多个 TPU Pod 统一调度,支持故障自动迁移、多任务混跑异步派发,大幅提升昂贵加速器的利用率,降低大规模训练因为单点硬件故障全盘回滚的概率,开放之后,科研团队和企业不用从零搭建复杂分布式调度层,就能在谷歌云 AI 超算上拉起跨机房、上万芯片级别的训练任务,但这套系统目前绑定谷歌 TPU,优先适配 JAX,不是通用训练框架,也不能随便拿到本地离线部署,对想要自研前沿基础大模型的团队门槛会降低,同时也代表谷歌把自己最核心的 AI 基础设施拿出来对外商业化,直接和其他云厂商的大模型训练集群服务竞争。
Pathways 基础信息总表
| 项目 | 详情 |
|---|---|
| 正式开放时间 | 2026-11-09,Google Cloud 正式 GA |
| 原始用途 | 谷歌内部,支撑 Gemini 系列大模型训练 |
| 运行依赖 | 谷歌 TPU 集群,适配 JAX |
| 部署环境 | GKE、Cluster Director、Slurm |
| 核心范式 | 单客户端全局数据流图执行,替代传统多控制器 SPMD |
| 典型负载 | 大模型预训练、RLHF 强化学习、多主机超大模型推理、交互式科研任务 |
| 开放形式 | 云内托管服务,不对外独立开源离线包 |
和传统分布式训练方案差异
- 传统 SPMD / DDP / FSDP:所有加速器同步锁步,适合均匀的数据并行;一旦流水线各阶段速度不一致,大量芯片空等;任意一块硬件故障,整个训练任务大概率需要回滚重启。
- Pathways:把全部计算描述成一张全局数据流图,由运行时自动分配算子、搬运张量;支持异步派发,前后阶段可以重叠执行;硬件故障时自动把任务重映射到健康虚拟设备,不用全盘重来;支持多任务分时共享集群,拉高整体利用率。
- 定位区分:它不是替代 PyTorch、Ray,而是底层调度运行时,可以和上层工具互补;谷歌强调二者处在不同层级。
关键能力分项说明
跨 Pod 统一虚拟化
对外呈现为一套连续虚拟设备,开发者只用一个 JAX 客户端编程,不用手动拆分、管理分散的 TPU 切片,代码编写逻辑更简单,算力可以跨多个机房调度。
原生容错机制
大规模训练里 TPU、主机、链路中断很常见,Pathways 使用虚拟设备抽象,局部故障只会迁移对应子任务,不需要终止整个超长预训练作业,对于动辄持续数周的前沿模型训练收益很高。
异步流水线与混跑
特别适合 RLHF 这类异构流水线:采样、奖励模型打分、策略更新可以并行重叠运行,不用等整条链路走完再启动下一轮,减少昂贵算力闲置。
多租户资源共享
支持在同一个 TPU 集群里面同时跑多个不同规模的训练、调试、推理任务,小的交互式调试任务和大型预训练任务可以共存,提升集群日常利用率。
在谷歌云上使用 Pathways 的操作流程
- 开通 Google Cloud,申请 AI 超算资源,选择支持 Pathways 的 TPU 机型。
- 使用 JAX 编写模型与训练流程,按照 Pathways 的数据流范式组织计算图。
- 在 GKE / Cluster Director 提交任务,由系统自动完成资源分配、算子放置、张量通信调度。
- 启动训练,后台自动处理设备之间的数据搬运、依赖同步、故障检测与重映射。
- 通过云监控查看集群利用率、任务吞吐,中途可以提交交互式调试、增量评估任务。
当前明显限制
- 硬件绑定强:只面向谷歌 TPU,不支持 NVIDIA GPU,无法直接拿到本地自建集群部署。
- 框架限制:优先面向 JAX,PyTorch 生态没有原生适配,迁移成本很高。
- 不开源独立版本:这次是云上商用开放,不是开源放出整套代码,不能脱离谷歌云独立部署。
- 上手门槛依然高:适合有大规模模型训练经验的团队,小模型训练用这套底座收益并不明显。
- 按云资源计费:单独没有许可费,但 TPU 算力、存储、网络流量按照谷歌云标准计费。
适合与不适合的场景清单
✅:超大基础模型持续预训练、跨多集群长周期训练
✅:复杂 RLHF、多阶段智能体训练流水线
✅:需要频繁调试、交互式实验的前沿科研
✅:超大模型多主机分布式推理
❌:小规模模型、单卡训练、常规业务微调
❌:希望跑在自有 GPU 机房、本地离线部署
❌:重度依赖 PyTorch 生态,不愿意迁移 JAX
后续推进节奏
- 短期:稳定云托管服务,修复大规模集群下通信、调度的边界 Bug,完善配套监控与排错工具。
- 中期:持续优化和新一代 TPU 的协同,简化 JAX 迁移成本,增加更多预构建训练模板。
- 长期:作为谷歌云 AI 超算的核心底层,持续承接更大规模跨地域训练任务,吸引基础模型、智能体研发团队。
最终影响判断
谷歌开放 Pathways,本质是把自家训练 Gemini 的核心底层基础设施变成云商品,补齐谷歌云在前沿大模型训练赛道上的关键产品;它最大价值不是让所有人轻松训大模型,而是降低有能力的团队搭建万卡级分布式调度、容错训练底座的成本;但它锁死在谷歌 TPU 和云环境,生态封闭,很难直接普惠整个行业;如果这套底座持续稳定跑通,会吸引一批 JAX 生态的基础模型团队迁移到谷歌云,也会倒逼其他云厂商升级自家分布式训练容错、跨集群调度能力。
【相关 FAQ】
问题 1:刚刚对外开放、作为谷歌 AI 训练底座的 Pathways,是什么类型的系统?
回答 1:刚刚对外开放、作为谷歌 AI 训练底座的 Pathways,是一套大模型分布式训练运行系统,也是谷歌用来训练 Gemini 的底层调度底座,现在在谷歌云面向客户商用开放。
问题 2:对外开放的谷歌 AI 训练底座 Pathways,能不能直接在 NVIDIA GPU 集群本地部署?
回答 2:不能,对外开放的谷歌 AI 训练底座 Pathways 当前只适配谷歌自家 TPU,没有原生 GPU 支持,并且只能在 Google Cloud 内部使用,没有独立离线部署包。
问题 3:使用谷歌对外开放的 AI 训练底座 Pathways,开发模型优先要用哪个框架?
回答 3:使用谷歌对外开放的 AI 训练底座 Pathways,优先搭配 JAX 框架开发,它原生面向 JAX 的数据流图设计,PyTorch 没有原生适配。
问题 4:谷歌把 AI 训练底座 Pathways 对外开放之后,和传统分布式训练方案相比最大优势是什么?
回答 4:谷歌对外开放的 AI 训练底座 Pathways,最大优势是单控制器全局调度、异步流水线叠加故障自动迁移,硬件局部出错不用全盘重启,同时提升 TPU 集群的算力利用率。
【参考资料】
[2026-11-11](谷歌 AI 训练底座 Pathways 正式开放,大模型分布式训练系统对外开放)品玩
[2026-11-10](谷歌宣布 Pathways 在云端正式全面开放)36 氪
[2026-11-10](谷歌宣布 Pathways 在云端正式全面开放)钛媒体
[2026-11-09](Google Announces Pathways General Availability on Google Cloud)Tech Bytes
[2026-11-09](Google makes Pathways generally available on Google Kubernetes Engine)WorldNL Magazine
【免责声明】
以上仅为公开产业资讯整理;谷歌 AI 训练底座 Pathways 的功能、适配范围、计费规则、可用区域会随谷歌云策略持续调整;该系统依赖谷歌 TPU 与云环境,不存在独立开源离线版本;大规模训练成本高、技术门槛高,内容不构成云算力采购、基础模型研发投入的投资建议。
本文来自作者[钦澜寻标]投稿,不代表环球品牌网立场,如若转载,请注明出处:https://www.865171.cn/qyzx/202611/439.html
评论列表(4条)
我是环球品牌网的签约作者“钦澜寻标”!
希望本篇文章《谷歌自研训练底座 Pathways 在云上线,面向客户开放大模型分布式训练系统》能对你有所帮助!
本站[环球品牌网]内容主要涵盖:品牌服务领域
本文概览:谷歌在 2026 年 11 月 9 日正式宣布,内部用来训练 Gemini 的自研分布式训练系统 Pathways,在 Google Cloud 正式全面对外开放,它不是普通的模型,而是一套面向 JAX、运行在 TPU 集群上的底层调度运行时,过去长期只供给谷歌 DeepMind 内部,现在云客户可以直接调用这套底座,用来跑超大模型预训练、强化学习、多阶段流水线任务;对比传统 SPMD 锁步并行方案,Pathways 使用单控制器全局数据流图,能够跨多个 TPU Pod 统一调度,支持故障自动迁移、多任务混跑异步派发,大幅提升昂贵加速器的利用率,降低大规模训练因为单点硬件故障全盘回滚的概率,开放之后,科研团队和企业不用从零搭建复杂分布式调度层,就能在谷歌云 AI 超算上拉起跨机房、上万芯片级别的训练任务,但这套系统目前绑定谷歌 TPU,优先适配 JAX,不是通用训练框架,也不能随便拿到本地离线部署,对想要自研前沿基础大模型的团队门槛会降低,同时也代表谷歌把自己最核心的 AI 基础设施拿出来对外商业化,直接和其他云厂商的大模型训练集群服务竞争。