Systolic Array

2026

(手写笔记) Reiner Pope 两期黑板课：从 Token 经济学到 AI 芯片底层

2026年5月25日·4 分钟

AI Hardware LLM Inference AI Chip TPU GPU Roofline Systolic Array

学习 Dwarkesh Podcast 上 Reiner Pope 两期黑板课：第一期用 Roofline 和 batch size 解释 token 成本、MoE 机架布局、KV cache 与长上下文定价；第二期从逻辑门、MAC、mux 和 systolic array 讲到 GPU/TPU/FPGA/CPU 的架构哲学。

设计 AI 芯片的硬件与软件

2026年5月22日·24 分钟

AI Hardware AI Chip Systolic Array TPU GPU Hardware Design

Bjarke Hammersholt Roune（前 Google TPUv3 软件技术负责人）关于如何设计 AI 芯片的完整思考，涵盖脉动阵列、数值格式、结构化稀疏、并行化、网络拓扑、软件流水线等核心主题。

脉动阵列：逐 Cycle 拆解 TPU MXU 的矩阵乘法

2026年4月12日·7 分钟

TPU TPU MXU Systolic Array

用 4×4 的具体数字，逐 cycle 追踪激活值和部分和在脉动阵列中的流动，理解 TPU MXU 如何通过权重固定、激活流过、对角波前推进来完成矩阵乘法

↑