Wiki 知识库

全部文档 / 标签: 去重

3 篇
清除

System Design Essentials - Part 3

本文是System Design Essentials系列的第三部分也是最后一部分,聚焦系统设计中的优化技术。文章详细介绍了缓存概念、缓存命中与失效,以及五种缓存策略:Cache Aside、Read Through、Write Through、Write Around和Write Back。此外还讲解了幂等性、幂等键、去重机制及其在分布式系统中的重要性,并分析了分布式系统的优势与挑战(一致性、可用性、容错性、延迟),最后深入解释了一致性哈希的原理及其在服务器扩缩容时减少请求重映射的作用。

技术 › 后端 Anurag 2026-10-0615.7 KB 15K 355 75

别再手刷AI热点了:我把多个来源做成了一个自动情报系统

作者分享了从想法到上线不足一天完成的 AI 热点情报系统 AIDayHot 的实践过程。系统核心流程为:多来源采集 → 领域筛选 → 72小时时效过滤 → 链接指纹去重 → 看板展示 → 定时邮件推送。文章重点讲解了几个关键决策:第一版不做用户系统,只做公开看板和管理后台;数据源优先使用官方 API 或 RSS,避免硬爬;通过链接指纹实现去重保证数据质量;定时调度独立于 Vercel 部署,避免套餐限制并解耦系统。作者强调信息过剩时代稀缺的是可靠筛选,产品第一版应保证核心闭环稳定而非功能堆砌。

技术 › 工具与效率 云析 2026-09-197.8 KB 1.7K 12 73

Reducer Engineering: Cutting What Your Model Has To Read (Full Guide)

本文介绍了在多智能体流水线中,通过引入确定性Reducer层来优化成本与延迟的实践。作者以40个Claude Haiku worker并行处理、Claude Sonnet汇总的架构为例,指出原始输出包含大量重复、格式错误和冗余信息,导致昂贵的合成模型浪费在数据清洗上。通过代码实现去重、过滤和分组,成本降低86%,延迟降低78%,并意外发现23处矛盾。文章强调结构化归约不仅是成本优化,更是质量保障,并提供了代码示例、防护措施和操作指南。

技术 › LLM Gipp 2026-08-119.1 KB 330.8K 323 82