作者基于 Grok Bot 0.70.2 桌面客户端协议，开发并开源了一套非官方 Node.js SDK（grok-bot-sdk），用于在本地环境中与自己账号下的 Bot 通信。文章以 MacBook Touch Bar 集成为真实案例，介绍了 SDK 的设计动机、与现有方案的区别，以及登录、读取 Bot 名单、头像离线计算、发消息、接收 SSE 回复等技术细节。SDK 采用 MIT 协议开源，零外部依赖，要求 Node.js 22.13 以上，目前可通过 GitHub 直接安装。
本文是 API 设计系列的第二部分，讲解三种突破传统请求-响应模式的 API 设计方案。SSE 是服务端单向推送通道，基于纯 HTTP，内置自动重连和 Last-Event-ID 断点续传，适合实时仪表盘和通知流；WebSockets 提供全双工双向通信，但连接有状态，需通过粘性会话或发布/订阅架构解决扩展问题，适合聊天和协作编辑；GraphQL 让客户端精确指定所需字段，解决过度获取和获取不足问题，但存在缓存困难和 N+1 查询等权衡。文章最后给出选型建议：单向推送用 SSE，双向低延迟通信用 WebSockets，灵活嵌套数据查询用 GraphQL，实际系统常组合使用。
作者对 OpenAI 发布的 Agents API 公测版进行了端到端实测，通过两次 POST /v1/agents/sessions 调用，体验了托管沙箱中的文件读写和 Skill 任务执行。文章介绍了 Agents API 开放的 Codex 背后托管 Agent Harness 的能力，以及 Agent 的三个层次（模型与 Harness、沙箱执行环境、工具与工作流），并详细记录了 Session 创建、SSE 事件流、Agent 在沙箱中的真实执行过程，包括命令失败后的自主恢复、CSV 数据校验与 JSON 输出，以及通过 Artifacts API 取回任务产物的完整流程。
作者基于在硅谷大厂面试上百人的经验，介绍 AI 推理的完整内部流程：用户发送请求后，需经过 HTTPS 鉴权、模板化分词、路由排队与 KV 容量管理，Prefill 处理完未缓存的 Prompt 后才输出首个 Token，随后进入 Decode + sampling 循环，经增量反分词、SSE 分块返回客户端。作者强调 AI 推理不只是 GPU 速度问题，首 Token 延迟取决于并发排队与 Prefill 的均衡，持续输出取决于 Decode，需优化 KV Cache 以在有限硬件资源下服务更多用户。文中还提到帮团队成员规划了从 SDE 转型 AI infra 的 12 周学习路线。
