SGLang

SGLang-JAX 是基于 JAX 和 XLA 构建的开源推理引擎，支持 continuous batching 和 speculative decoding，在 TPU 上实现高效原生推理。