TPU

系统比较 NVIDIA GPU、Google TPU、AMD GPU、Cerebras WSE、AWS Trainium 与 Groq LPU 的设计理念、计算与内存架构、扩展方式和软件栈。

本文从 PJRT、IFRT、SPMD、MPMD、单控制器和多控制器等概念出发，介绍 Google Pathways 的系统动机与核心设计。

学习 Dwarkesh Podcast 上 Reiner Pope 两期黑板课：第一期用 Roofline 和 batch size 解释 token 成本、MoE 机架布局、KV cache 与长上下文定价；第二期从逻辑门、MAC、mux 和 systolic array 讲到 GPU/TPU/FPGA/CPU 的架构哲学。

Bjarke Hammersholt Roune（前 Google TPUv3 软件技术负责人）关于如何设计 AI 芯片的完整思考，涵盖脉动阵列、数值格式、结构化稀疏、并行化、网络拓扑、软件流水线等核心主题。

《How to Scale Your Model》完整中文翻译，覆盖 Roofline 分析、TPU/GPU 架构、分片矩阵乘法、Transformer 并行策略、LLaMA 训练与推理、性能分析等全部内容

JAX Pallas 文档完整中文版，覆盖快速入门、Grid/BlockSpec、软件流水线、TPU 内核编写（矩阵乘法、稀疏计算、分布式、SparseCore）、Mosaic GPU 内核编写（Blackwell 矩阵乘法、集合通信）、设计笔记等全部内容

在 GKE 上对 TPU v6e 2×2 集群进行 ICI 带宽实测，验证 device_put 跨 mesh 走 ICI 直连不经 Host，实测单条 Link 单向 93 GB/s、psum 4-device 聚合 445 GB/s，并分析标称 800 GB/s 与实际带宽的差距

深入拆解 TPU 的 3D Torus + OCS 光交换架构如何将 9,216 颗芯片连成一张无交换机网络，对比 NVIDIA 从 NVLink8 到 NVLink576 的交换机扩展路线，以及 Feynman 架构拥抱 OCS 的未来展望

对比 NVIDIA A100B300 七款 GPU 与 Google TPU v2v7x 七代 TPU 的算力、HBM 显存与带宽、互联带宽，梳理两大阵营的演进脉络

用 4×4 的具体数字，逐 cycle 追踪激活值和部分和在脉动阵列中的流动，理解 TPU MXU 如何通过权重固定、激活流过、对角波前推进来完成矩阵乘法