We Made Our Best Voice Model Free. Here's the GPU Math Behind It.
Fish Audio 通过重构 S2.1 Pro 语音模型的服务栈，将 GPU 利用率从约 50% 提升至 90% 以上，使原本需要四块 H200 的请求量现在一块即可承载。核心技术包括：针对 TTS decode 小矩阵形状定制的 FP8 CUDA 内核（比 torch.compile-fused cuBLAS 快 2.1–4.3 倍）、Continuous Batching（并发 1 到 64 吞吐量提升约 52 倍，仅增加 37ms 延迟）、Kubernetes 与 Slurm 弹性调度填充空闲算力，以及自建网络与存储基础设施。所有推理变更均需通过正确性与性能双重门槛。这些优化带来的单位经济效益使 Fish Audio 能够将完整的 S2.1 Pro 模型免费开放，并开源了 fish-scales-ops 内核库。
