Wiki 知识库

全部文档 / 标签: 边缘推理

2 篇
清除

在安全边界内运行私有本地 AI 的四种架构

文章指出企业 AI 部署并非只有'公有 API 或自建推理平台'的二选一,私有 AI 实际是一个从客户端设备到完全物理隔离的连续谱系。作者提出四种隔离层级:1) 使用 LiteRT、Gemini Nano 等在移动 NPU 和浏览器上进行零外泄客户端推理;2) 通过 Confidential Computing(机密虚拟机与 NVIDIA H100 TEE)对云端 CPU/GPU 内存硬件级加密;3) 在私有 VPC 内用 GKE + vLLM/JetStream 自托管开源模型权重,实现权重与日志的完全掌控;4) 使用 Google Distributed Cloud Air-Gapped 为主权工作负载提供物理断网部署。工程关键在于按威胁模型和延迟预算匹配硬件边界。

技术 › 网络安全 Sergio Villani 2026-09-2612.8 KB 30.4K 208 84

BestBlogs早报·09-06|蚂蚁数科 Harness 验收,Uber 成本治理,UrbanGround 测长程

本期早报围绕 Agent 从生成能力走向稳定交付的实践路径展开三条精讲:一是蚂蚁数科的 Harness 工程实践,通过约束层、状态写入、目标对齐与对抗验证建立 AI Coding 验收闭环,存量项目缺陷率显著下降;二是 Uber 的智能体成本治理,在周请求量增长9.4倍的情况下,通过成本乘数拆解、模型路由、上下文治理和缓存策略保持总支出稳定;三是 UrbanGround 在真实三维香港沙盒中评测多模态模型的长程导航能力,揭示局部识别与完整任务完成间的巨大断层。速览部分涵盖自建数据中心、ML 训练数据加载、上下文清理、边缘推理、开源代码治理、AI 电话代理等主题。

技术 › Agent ginobefun 2026-09-0623.3 KB 7.5K 3 84