Wiki 知识库

全部文档 / 标签: 机密计算

2 篇
清除

把 GLM-5.3-Flash 变成一个 Jev 式的 System One 模型

本文介绍一种无需微调的方法,把现成的 LLM(GLM-5.3-Flash)变成类似 Jev 的专用决策模型(System One 模型)。核心做法是给选项编号、预填答案、通过读取选项索引上的概率分布,让模型在一次前向传播中给出类型化决策及其置信度。文章详细说明了 vLLM 部署中的三个实现细节(allowed_token_ids、logprob_token_ids、tokenizer 分词),并在 29 个公开数据集上与 Jev、Laya 进行基准对比:文本决策准确性与 Jev 相当,延迟相近但成本较高;由于具备视觉能力,还能做图像上的类型化决策,这是 Jev 和 Laya 做不到的。文章还讨论了推理模式的准确性收益与成本代价、选项数量与重命名对结果的影响,并开源了实现与基准代码。

技术 › LLM yibie 2026-09-2814.3 KB 2.8K 17 87

在安全边界内运行私有本地 AI 的四种架构

文章指出企业 AI 部署并非只有'公有 API 或自建推理平台'的二选一,私有 AI 实际是一个从客户端设备到完全物理隔离的连续谱系。作者提出四种隔离层级:1) 使用 LiteRT、Gemini Nano 等在移动 NPU 和浏览器上进行零外泄客户端推理;2) 通过 Confidential Computing(机密虚拟机与 NVIDIA H100 TEE)对云端 CPU/GPU 内存硬件级加密;3) 在私有 VPC 内用 GKE + vLLM/JetStream 自托管开源模型权重,实现权重与日志的完全掌控;4) 使用 Google Distributed Cloud Air-Gapped 为主权工作负载提供物理断网部署。工程关键在于按威胁模型和延迟预算匹配硬件边界。

技术 › 网络安全 Sergio Villani 2026-09-2612.8 KB 30.4K 208 84