JAX Pallas 文档完整中文版,覆盖快速入门、Grid/BlockSpec、软件流水线、TPU 内核编写(矩阵乘法、稀疏计算、分布式、SparseCore)、Mosaic GPU 内核编写(Blackwell 矩阵乘法、集合通信)、设计笔记等全部内容
编译器通过一行@jax.jit 将8行代码就优化到了250 VLIW bundles. 本文通过HLO/LLO追踪了 TPU 编译器的优化之旅
基于 Pallas GMM FP8 blockwise 量化内核开发的实战问答,涵盖量化粒度、子通道循环、分阶段 tiling、编译链路、精度对齐方法论等核心话题。