What Comes After the Prompt
文章探讨了超越传统提示词的多模态交互技术,提出“任务”概念,通过结合语音、屏幕、文本等多种信息源,让代理更高效地完成复杂工作。该方法减少交互循环,提升并行工作能力,并通过存储执行痕迹逐步转化为可重用的技能,为未来全模型交互奠定基础。
文章探讨了超越传统提示词的多模态交互技术,提出“任务”概念,通过结合语音、屏幕、文本等多种信息源,让代理更高效地完成复杂工作。该方法减少交互循环,提升并行工作能力,并通过存储执行痕迹逐步转化为可重用的技能,为未来全模型交互奠定基础。
作者分享了利用AI结合Three.js和WebGL技术,将运动、机械和对称性转化为交互式3D体验的开发流程。通过提供过往代码和参考,AI生成新应用的概念和UI设计,最终实现了包含齿轮、陀螺仪等结构的Web应用。
文章指出在交互和视频制作中,单纯向 AI Agent 描述动画效果往往效率低下且容易产生误解。为了解决这个问题,文章推荐了一个简短的视频教程,该视频整理并演示了 13 类常见的 Motion 动效名称(如 Push Slide, Staggered Entrance, FLIP 等)。掌握这些标准术语,可以帮助用户更准确地向 AI、设计师或开发者表达需求,大幅提升沟通效率。
Memfold AI 致力于引领个人计算交互的革命,提出从“人在应用中”转向“人通过代理与计算机交互”的愿景。文章详细介绍了创始团队在 IIT Madras 和 Microsoft Research 的背景,以及他们训练 Indic LLM 和构建 Agent 系统的经验。公司已获 Peak XV 等机构投资,正在寻找具有高度主观能动性的人才,共同打造并验证这一全新的计算界面。
文章介绍了腾讯新推出的操作系统级 AI 助手 Marvis(马维斯)。作者体验了其独特的“AI 办公室”UI 设计,该设计将不同的 Agent 视为员工,直观展示任务进度。作者测试了让 Computer Agent 分析电脑启动项并进行优化的流程,认为虽然目前存在限制,但其可视化的交互方式降低了 Agent 使用门槛。
文章深入分析了 Codex 的最新演变,指出其定位已从单纯的代码编写工具转变为具备跨 App 协作能力的“数字同事”。作者详细探讨了 Computer Use、评论式交互、Automations 自动化任务及移动端管理等新功能,并对比了 Codex 与 Claude Code 的差异化分工。文章认为,AI 工具的竞争维度正从“代码质量”扩展到“真实工作流的完成能力”,强调透明度与可控性是未来数字同事的核心。
文章展示了作者开发的系列交互式科学应用 Demo,包括黑洞时空扭曲可视化、达芬奇扑翼机机制实现以及科幻彗星探测器等。作者结合了 GPT Images、Nano Banana 2 进行设计,并使用 Gemini 3.1 Pro 编写代码。文章还分享了设计灵感和前端控件交互示例,旨在打造儿时向往的科学杂志风格的互动体验。
Compound Engineering v3.3.0 版本发布,核心更新在于优化 Agent 的交互模式。新版 Agent 会在执行耗时任务前先展示其理解(Stated、Inferred、Out-of-scope),从而在早期纠正错误假设,降低返工成本。此外,文档审查和代码审查技能变得更加智能,减少了不必要的用户打断,能够自动修复更多问题,旨在让 Agent 更易于纠正且更值得信赖。
文章探讨了 Anthropic 推出的 Claude Design 对设计行业,特别是 Figma 构成的巨大挑战。Claude Design 摒弃了传统的空白画布模式,转而采用“意图优先”的设计逻辑。它不仅通过自动化减少了繁琐的机械操作,缩短了迭代周期,还内置了设计系统一致性维护能力。这种从“工具”到“系统”的转变,降低了非设计师进行高质量设计的门槛,迫使设计工作流的核心从“如何执行”转向“如何清晰表达意图”。
UX 领域先驱 Jakob Nielsen 指出,AI 将交互范式从“基于命令”转变为“基于意图”,用户角色从操作者变为监督者。文章重新定义了 AI 时代的可用性指标,提出了包含意图层、编排层和直接操作层的三层设计模型。作者强调“刻意认知摩擦”以应对信任校准,并展望了未来从“生成”走向“探索潜在空间”的交互愿景。
文章探讨了 Hermes Agent 的 /background 功能,解决了传统 AI 工具阻塞会话的痛点。通过创建独立的后台会话,该功能允许用户在执行耗时任务(如日志分析、代码审查)时,继续保持前台交互,从而将 Hermes 从单一的聊天工具转变为真正的并行工作运行时。
文章深入剖析了Stripe落地页成功背后的心理学机制——“加工流畅性”。这是一种认知偏差,即大脑倾向于认为易于理解的信息更可信。Stripe通过极简设计、大量留白、显著的社会证明和简洁的文案,让用户在3秒内建立信任。文章还对比了大多数初创企业落地页因信息过载而导致信任流失的问题,并提供了5条实用的设计优化建议。
作者在 Claude 发布生成式 UI 后,利用 Code Pilot 复刻并优化了该功能。文章详细介绍了如何通过代码围栏、sandbox iframe、流式渲染等技术,实现 AI 在聊天中实时绘制交互式图表、架构图和小工具。内容涵盖了多种实用玩法及解决流式体验、视觉闪烁等技术细节的实现方案。
作者尝试使用 AI 模拟著名设计师 Jony Ive 的风格,对其应用 sumbuddy.app 的 UI 进行重设计。AI 提出了关于统一画布、微交互质感、版式美学及空间韵律等七条详细建议,强调界面应消隐无形,注重直觉与物理感的融合。