如何在一张 GPU 上服务 100 个微调模型
文章介绍如何在单张 GPU 上高效服务大量 LoRA 微调模型。将适配器合并进基座会为每个变体生成 15.2GB 的完整模型副本，而分开保存适配器只需约 40MB，共享基座后 100 个变体仅占 19.3GB。作者对比了四种部署形态（合并独立 endpoint、启动时注册、请求时解析、托管按租户），并在 Runpod 上用 Qwen 1.5B 训练三个 LoRA 适配器做实验。结果显示共享 endpoint 复用 worker 池，显著减少冷启动与显存浪费；同时强调应分开记录等待时间与执行时间，并通过镜像缓存优化冷启动延迟。
