Wiki 知识库

全部文档 / 标签: 分布式系统

18 篇
清除

System Design Essentials - Part 3

本文是System Design Essentials系列的第三部分也是最后一部分,聚焦系统设计中的优化技术。文章详细介绍了缓存概念、缓存命中与失效,以及五种缓存策略:Cache Aside、Read Through、Write Through、Write Around和Write Back。此外还讲解了幂等性、幂等键、去重机制及其在分布式系统中的重要性,并分析了分布式系统的优势与挑战(一致性、可用性、容错性、延迟),最后深入解释了一致性哈希的原理及其在服务器扩缩容时减少请求重映射的作用。

技术 › 后端 Anurag 2026-10-0615.7 KB 15K 355 75

为分布式 Agent Harness 打造可编程事件循环

本文介绍了 Comma 的分布式 Agent 框架 Salix 中的 Loop 机制:由 Agent 自己编写的小型 C 程序,编译为 eBPF 后在集群中 7x24 持续运行,充当外层事件循环,负责廉价地过滤和监控海量事件,仅在值得关注的情形下唤醒昂贵的内层模型 Agent 循环。文章阐述了为何选择 eBPF(内存占用小、可安全运行不可信代码、等待近乎零成本),并介绍了底层用户态 eBPF 运行时 Spinfoam:基于 async-ebpf,协程式异步、完全抢占式调度,并通过 Lean 形式化证明保证内存安全。实测 10,000 个监控 Loop 单线程运行,每个仅占约 64KB 内存。

技术 › Harness Engineering Heyang Zhou 2026-10-0119.7 KB 23.3K 287 84

System Design Essentials - 1

本文是系统设计基础三部曲系列的第一篇,介绍了软件系统设计中的核心构建模块,包括客户端-服务器架构(二层与三层架构)、垂直扩展与水平扩展的区别、数据库基础及CRUD操作、ACID与BASE两种事务模型、CAP定理及其在分布式系统中的权衡、关系型数据库(SQL)与非关系型数据库(NoSQL)的特点与适用场景,以及数据库主从复制的读写分离模式。每个概念都配有简明解释、图示、解决的问题及背后的权衡,适合系统设计入门学习和面试准备。

技术 › 后端 Anurag 2026-09-2221.6 KB 235.3K 1.6K 62

从 CRDTs 到本地优先的同步引擎(上)

本文是 zx_loro 在 local-first 线上会议分享的文字版(上篇)。作者团队从 CRDT 库 Loro 出发构建了 local-first 团队 AI agent 控制面 Lody,并在实践中总结出'CRDTs are not enough'的观点。文章介绍了本地优先软件的理念(秒开、离线可用、多端协作、数据归用户所有),指出统一同步引擎应吸纳请求失败、权限管理、持久化等必要复杂度,并分析了 CRDT 库(Loro、Yjs、Automerge)只覆盖纯计算而不涉及网络与持久化的局限。作者分享了团队自研新 CRDT Flock 实现目录级 metadata 同步,以及在浏览器本地存储、全文搜索、端到端加密等方面的实践经验。

技术 › 后端 leon7hao / 陈子轩(zx_loro) 2026-09-2212.3 KB 12.7K 64 77

Serialization and Deserialization: The Universal Language of Backend Engineering

本文系统讲解了序列化与反序列化在后端工程中的核心作用。作者以 React 前端与 Node.js 后端通信为例,说明跨网络传输数据时必须将内存中的对象转换为可传输的标准化格式。文章对比了文本格式(JSON、YAML、XML)与二进制格式(Protobuf、Avro、MessagePack)的优劣,深入剖析了 JSON 作为行业标准的语法规则,并通过一个完整的 Node.js 请求生命周期示例,演示了从客户端序列化、网络传输、服务端反序列化、业务处理到响应返回的全流程,最后给出了错误处理、数据校验等实践建议。

技术 › 后端 Anurag Jha 2026-08-3024.9 KB 37.1K 636 66

Latency Patterns for Faster Applications

本文探讨了AI与非AI应用中的延迟优化模式。作者指出延迟是指从用户操作到首个有用结果出现的时间,用户感知的是完整关键路径而非单个组件。文章将延迟优化归纳为四大类共19种模式:一是本地化,包括同置、复制、分区和缓存;二是减少工作量,包括算法优化、选择性数据处理、初始化复用、请求合并和运行时调优;三是并发执行,包括避免同步、独立并发、渐进式响应、并发预算和对冲请求;四是预测性优化,提前处理可预测的工作。这些模式既适用于传统应用,也适用于涉及LLM调用、MCP服务器和Agent协调的现代AI应用路径。

技术 › 后端 Bilgin Ibryam 2026-08-3011.5 KB 18.4K 316 78

Multi-Agent System 的并发控制协议与算法笔记

本文是 multiagent system(MAS)设计系列笔记的第二篇,探讨现代 MAS 中的并发控制协议与算法。作者指出许多看似'沟通失败'或'协作失败'的问题,本质上是 stale read、lost update、write-write race 等经典并发异常。文章介绍了 raft.build 提出的 Held Draft 协议,通过版本号校验让 agent 在提交前感知新信息,但也分析了其最坏情况下 n² 级的计算复杂度。最后按工作结构给出了 sequencer、DAG、OCC、lock、CRDT 等不同场景下的适用机制对照表,并附有交互式 live demo 与丰富的论文参考文献。

技术 › Agent chengyongru 2026-08-217.8 KB 12.7K 68 75

Multiagent 协作问题的初步整理

本文对 multiagent 协作问题进行了初步整理和定义。通过分析多篇论文,指出简单的多提示词工作流往往不如单 agent 高效,而分布式协作中存在“沟通-推理鸿沟”、专家利用不足及死锁等问题。文章强调,真正的 multiagent 系统需引入明确的工程协议来解决协调难题。

技术 › Agent chengyongru 2026-08-177.7 KB 64.9K 216 74

Jeff Dean 离开 Google:从 MapReduce 到 Discovery Loop,他如何把规模变成基础设施

Google 首席科学家 Jeff Dean 宣布离职,结束 27 年职业生涯。他将与 Sanjay Ghemawat 等人创办 Discovery Loop,致力于自动化科学与工程发现。文章回顾了 Dean 从构建分布式系统、MapReduce、Bigtable 到引领 Google Brain 和 TensorFlow 的历程,阐述了他如何将底层复杂性封装成基础设施,并试图将这种规模思维带入自动化发现领域。

技术 › LLM Mr Panda 2026-08-0618.4 KB 3.5K 1

谷歌 Gemini 背后的男人,永远的代码之神

文章讲述了谷歌人工智能负责人 Jeff Dean 的传奇生平。从高中编写流行病软件,到与桑杰在 DEC 结缘,再到加入谷歌挽救索引危机。他们通过 MapReduce、Bigtable 和 Spanner 等创新,奠定了现代分布式系统与大数据的基石,展现了应对大规模硬件故障的非凡工程能力。

技术 › 后端 向 向阳乔木 2026-08-0643.3 KB 49.1K 43

后端工程师进阶路线:40个核心概念与六个成长阶段

本文为准备系统设计面试的后端工程师提供了一份详尽的学习指南。作者将零散的技术知识点整合为六个递进阶段:从Web基础、数据库管理,到构建生产级应用、系统扩缩容,再到分布式系统思维与架构设计。文章强调技术概念间的内在联系,旨在帮助开发者通过系统性的学习路径,从初学者成长为合格的软件架构师。

技术 › 后端 Tech Fusionist 2026-07-134.7 KB 110.6K 620

多Agent场景下数据读写不同步的解决方案

本文探讨了在多Agent系统中,子Agent之间数据读写不同步的问题。根本原因在于单Agent场景设计的默认数据库一致性配置(如Milvus的Bounded级别)无法满足多Agent毫秒级的读写需求。文章详细解释了Milvus的写入机制和四档一致性级别,并通过实验证明将一致性级别从默认的Bounded切换为Strong可以有效解决“写后读空”的问题。

技术 › Agent 尹珉 2026-05-0715.4 KB 9.1K 66 83

Agent 集群管理:AI 系统的下一道难题

文章探讨了 AI 领域从单一 Agent 向 Agent Swarm(集群)演进的必然趋势,指出真正的挑战在于如何管理长期运行的子 Agent,而非简单的任务委托。作者通过对比 Hermes 和 OpenClaw 等系统,提出了 Swarm Manager 的核心架构要求:统一的身份识别(ID 与 Run ID)、基于事件推送的完成机制、基于队列的并发控制以及包含“转向”在内的全生命周期管理能力。

技术 › Agent Aparna Dhinakaran 2026-05-0413.9 KB 17.2K 277 81

The Harness Is the Backend

文章探讨了当前 AI 架构中 Harness(编排层)与后端基础设施分离带来的问题,指出这种分离导致了 Agent 的随机性与后端的确定性之间的调试复杂性。作者提出将后端抽象为 Worker、Trigger 和 Function 三个基本元素,介绍了名为 'iii' 的架构,使 Agent 作为 Worker 直接参与后端系统,而非通过外部集成层调用,从而实现真正的统一基础设施。

技术 › Harness Engineering Mike Piccolo 2026-04-2937.6 KB 350.4K 951 75

2026年系统设计课程Top 5推荐

本文是作者基于对30多门课程的测试与评估,为2026年工程师精选出的5个最佳系统设计学习资源。文章涵盖了ByteByteGo、DesignGurus、Udemy及Exponent等平台,详细对比了它们在内容质量、实战案例、AI模拟面试等方面的优劣,旨在帮助开发者掌握可扩展性、微服务等核心架构技能,以应对FAANG级别的高难度面试。

技术 › 后端 Javarevisited 2026-01-2133.4 KB 93.5K 1.3K 73