Wiki 知识库

全部文档 / 作者: Ahmad / 标签: 硬件

2 篇
清除

LLM 原理与实践指南 (2026 版)

这是一份关于大语言模型(LLM)的实践指南。文章从基础循环机制出发,详细解释了文本如何转化为 Token,以及 Transformer、注意力机制、KV Cache 和 RoPE 等核心概念的工作原理。作者强调理解模型内部的推理机制(如 Prefill 和 Decode 阶段)对于硬件选型、显存估算和本地部署的重要性。文章涵盖了 Token 化、上下文窗口、量化、模型服务及本地 AI 硬件数学计算等关键主题,旨在为深入理解 LLM 提供直观的基础。

技术 › LLM Ahmad 2026-05-23112.1 KB 457.9K 1.1K 83

LLM 推理引擎与本地硬件指南 (2026 版)

文章阐述了选择 LLM 推理引擎的正确逻辑:先确定硬件策略、负载形态和服务模式,再选引擎。文章解析了推理引擎的核心功能(调度、内存管理、批处理)及性能瓶颈(显存带宽、KV Cache、互联),并详细对比了 llama.cpp、MLX、ExLlama、vLLM、TensorRT-LLM 等主流引擎的适用场景与优缺点。

技术 › LLM Ahmad 2026-05-2141.6 KB 1.3M 2K 91