GPU

Ultra-Scale Playbook 简体中文交互版，包含完整章节、附录和 16 个互动实验，覆盖 DP、TP、SP、CP、PP、EP、GPU 内核与混合精度。

系统比较 NVIDIA GPU、Google TPU、AMD GPU、Cerebras WSE、AWS Trainium 与 Groq LPU 的设计理念、计算与内存架构、扩展方式和软件栈。

学习 Dwarkesh Podcast 上 Reiner Pope 两期黑板课：第一期用 Roofline 和 batch size 解释 token 成本、MoE 机架布局、KV cache 与长上下文定价；第二期从逻辑门、MAC、mux 和 systolic array 讲到 GPU/TPU/FPGA/CPU 的架构哲学。

Bjarke Hammersholt Roune（前 Google TPUv3 软件技术负责人）关于如何设计 AI 芯片的完整思考，涵盖脉动阵列、数值格式、结构化稀疏、并行化、网络拓扑、软件流水线等核心主题。

《How to Scale Your Model》完整中文翻译，覆盖 Roofline 分析、TPU/GPU 架构、分片矩阵乘法、Transformer 并行策略、LLaMA 训练与推理、性能分析等全部内容

JAX Pallas 文档完整中文版，覆盖快速入门、Grid/BlockSpec、软件流水线、TPU 内核编写（矩阵乘法、稀疏计算、分布式、SparseCore）、Mosaic GPU 内核编写（Blackwell 矩阵乘法、集合通信）、设计笔记等全部内容

深入拆解 TPU 的 3D Torus + OCS 光交换架构如何将 9,216 颗芯片连成一张无交换机网络，对比 NVIDIA 从 NVLink8 到 NVLink576 的交换机扩展路线，以及 Feynman 架构拥抱 OCS 的未来展望

对比 NVIDIA A100B300 七款 GPU 与 Google TPU v2v7x 七代 TPU 的算力、HBM 显存与带宽、互联带宽，梳理两大阵营的演进脉络