📚 Wiki 知识库

🏷️ 本地AI

4 篇

LLM 推理引擎与本地硬件指南 (2026 版)

文章阐述了选择 LLM 推理引擎的正确逻辑:先确定硬件策略、负载形态和服务模式,再选引擎。文章解析了推理引擎的核心功能(调度、内存管理、批处理)及性能瓶颈(显存带宽、KV Cache、互联),并详细对比了 llama.cpp、MLX、ExLlama、vLLM、TensorRT-LLM 等主流引擎的适用场景与优缺点。

技术LLM ✍ Ahmad🕐 2026-05-21

Hugging Face 百大热门 AI 硬件配置分析

文章基于 Hugging Face 上近 30 万用户的硬件数据,分析了 AI 开发者的主流设备选择。关键发现包括:VRAM 容量比算力更重要(RTX 3060 12GB 最受欢迎);Apple 在 SoC 领域占主导,NVIDIA 统治独立显卡;AMD Ryzen 在 DIY 组装市场(尤其是 CPU+GPU 组合)超越 Intel;M4 芯片普及速度极快。数据揭示了本地 AI 硬件的高度碎片化特征。

技术硬件 ✍ clem🕐 2026-05-06

Windows 的 Hermes Web-UI 保姆级安装避坑指南

本文是一篇针对 Windows 环境下安装 Hermes Web-UI 的保姆级教程。作者针对现有教程步骤跳跃或过时的问题,详细记录了从配置 Node.js 环境、安装 Web-UI 到启动服务的全过程。文中重点分享了后台运行技巧、与 Hermes Agent 的联动注意事项,以及常见报错的排查方法(如端口占用、无反应等),旨在帮助用户在本地搭建美观好用的 AI 聊天界面。

技术Hermes ✍ Suu🕐 2026-04-28