GPU on Pengcheng's Bloghttps://pengchengneo.github.io/tags/gpu/Recent content in GPU on Pengcheng's BlogHugo -- gohugo.iozh-CN© 2026 PengchengTue, 06 Oct 2026 00:00:00 +0000Ultra-Scale Playbook 简体中文版：在 GPU 集群上训练大语言模型https://pengchengneo.github.io/posts/ultrascale-playbook-cn/Tue, 06 Oct 2026 00:00:00 +0000https://pengchengneo.github.io/posts/ultrascale-playbook-cn/Ultra-Scale Playbook 简体中文交互版，包含完整章节、附录和 16 个互动实验，覆盖 DP、TP、SP、CP、PP、EP、GPU 内核与混合精度。AI 芯片架构全景：GPU、TPU、Trainium、WSE 与 LPUhttps://pengchengneo.github.io/posts/ai-chip-architectures-zh/Mon, 24 Aug 2026 00:00:00 +0000https://pengchengneo.github.io/posts/ai-chip-architectures-zh/系统比较 NVIDIA GPU、Google TPU、AMD GPU、Cerebras WSE、AWS Trainium 与 Groq LPU 的设计理念、计算与内存架构、扩展方式和软件栈。(手写笔记) Reiner Pope 两期黑板课：从 Token 经济学到 AI 芯片底层https://pengchengneo.github.io/posts/reiner-pope-blackboard-lectures/Mon, 25 May 2026 00:00:00 +0000https://pengchengneo.github.io/posts/reiner-pope-blackboard-lectures/学习 Dwarkesh Podcast 上 Reiner Pope 两期黑板课：第一期用 Roofline 和 batch size 解释 token 成本、MoE 机架布局、KV cache 与长上下文定价；第二期从逻辑门、MAC、mux 和 systolic array 讲到 GPU/TPU/FPGA/CPU 的架构哲学。设计 AI 芯片的硬件与软件https://pengchengneo.github.io/posts/designing-ai-chip-cn/Fri, 22 May 2026 00:00:00 +0000https://pengchengneo.github.io/posts/designing-ai-chip-cn/Bjarke Hammersholt Roune（前 Google TPUv3 软件技术负责人）关于如何设计 AI 芯片的完整思考，涵盖脉动阵列、数值格式、结构化稀疏、并行化、网络拓扑、软件流水线等核心主题。How to Scale Your Model：大模型扩展完整指南https://pengchengneo.github.io/posts/scaling-book-cn/Wed, 29 Apr 2026 00:00:00 +0000https://pengchengneo.github.io/posts/scaling-book-cn/《How to Scale Your Model》完整中文翻译，覆盖 Roofline 分析、TPU/GPU 架构、分片矩阵乘法、Transformer 并行策略、LLaMA 训练与推理、性能分析等全部内容Pallas：JAX 内核语言完整指南https://pengchengneo.github.io/posts/pallas-jax-kernel-language-cn/Sun, 19 Apr 2026 00:00:00 +0000https://pengchengneo.github.io/posts/pallas-jax-kernel-language-cn/JAX Pallas 文档完整中文版，覆盖快速入门、Grid/BlockSpec、软件流水线、TPU 内核编写（矩阵乘法、稀疏计算、分布式、SparseCore）、Mosaic GPU 内核编写（Blackwell 矩阵乘法、集合通信）、设计笔记等全部内容AI 集群互联拓扑——从 TPU 3D Torus + OCS 到 NVLink 全光互联的未来https://pengchengneo.github.io/posts/tpu-gpu-interconnect-topology/Wed, 15 Apr 2026 00:00:00 +0000https://pengchengneo.github.io/posts/tpu-gpu-interconnect-topology/深入拆解 TPU 的 3D Torus + OCS 光交换架构如何将 9,216 颗芯片连成一张无交换机网络，对比 NVIDIA 从 NVLink8 到 NVLink576 的交换机扩展路线，以及 Feynman 架构拥抱 OCS 的未来展望GPU vs TPU 全家桶横评：从 A100 到 B300，从 TPU v2 到 v7xhttps://pengchengneo.github.io/posts/nvidia-gpu-comparison/Tue, 14 Apr 2026 00:00:00 +0000https://pengchengneo.github.io/posts/nvidia-gpu-comparison/对比 NVIDIA A100<del>B300 七款 GPU 与 Google TPU v2</del>v7x 七代 TPU 的算力、HBM 显存与带宽、互联带宽，梳理两大阵营的演进脉络