Posts

Ultra-Scale Playbook 简体中文交互版，包含完整章节、附录和 16 个互动实验，覆盖 DP、TP、SP、CP、PP、EP、GPU 内核与混合精度。

FineWeb 长篇技术报告简体中文版，保留正文、插图和交互图表，涵盖网页文本提取、过滤、MinHash 去重、消融实验和 FineWeb-Edu。

系统比较 NVIDIA GPU、Google TPU、AMD GPU、Cerebras WSE、AWS Trainium 与 Groq LPU 的设计理念、计算与内存架构、扩展方式和软件栈。

以 Anthropic Performance Take-Home 为例，介绍如何把 147,734-cycle 的串行树遍历优化到 959 cycles，并总结 VLIW 指令调度中可迁移的性能优化方法。

本文从 PJRT、IFRT、SPMD、MPMD、单控制器和多控制器等概念出发，介绍 Google Pathways 的系统动机与核心设计。

学习 Dwarkesh Podcast 上 Reiner Pope 两期黑板课：第一期用 Roofline 和 batch size 解释 token 成本、MoE 机架布局、KV cache 与长上下文定价；第二期从逻辑门、MAC、mux 和 systolic array 讲到 GPU/TPU/FPGA/CPU 的架构哲学。

Bjarke Hammersholt Roune（前 Google TPUv3 软件技术负责人）关于如何设计 AI 芯片的完整思考，涵盖脉动阵列、数值格式、结构化稀疏、并行化、网络拓扑、软件流水线等核心主题。

《How to Scale Your Model》完整中文翻译，覆盖 Roofline 分析、TPU/GPU 架构、分片矩阵乘法、Transformer 并行策略、LLaMA 训练与推理、性能分析等全部内容

JAX Pallas 文档完整中文版，覆盖快速入门、Grid/BlockSpec、软件流水线、TPU 内核编写（矩阵乘法、稀疏计算、分布式、SparseCore）、Mosaic GPU 内核编写（Blackwell 矩阵乘法、集合通信）、设计笔记等全部内容

在 GKE 上对 TPU v6e 2×2 集群进行 ICI 带宽实测，验证 device_put 跨 mesh 走 ICI 直连不经 Host，实测单条 Link 单向 93 GB/s、psum 4-device 聚合 445 GB/s，并分析标称 800 GB/s 与实际带宽的差距