Wiki 知识库

全部文档 / 标签: 本地大模型

6 篇
清除

我花了半个月,给前女友Vibe Coding了一个「微信AI助手」

作者用Codex花半个月时间Vibe Coding了一个微信AI助手,解决前女友被100多个工作群消息淹没的问题。助手定时读取电脑端微信新增消息,通过规则与本地大模型筛选,将消息按'待你处理'、'你需知道'、'群聊摘要'三类整理成摘要并推送到手机。文章分享了开发过程中的踩坑经验:从关键词过滤翻车到改为'人+事情+状态'的摘要逻辑,以及未接通话、群聊@等细节的处理难点。目前Windows版已跑通完整流程,计划首批试用后整理部署教程并开源。

技术 › Agent 里奥Leo 2026-09-128.5 KB 31.4K 43 70

我把 584 篇精品文章交给开源 Agent,36 分钟后拿到了两套写作模板

作者分享了一次 AI Agent 实战经验:通过 DeepSeek Harness 安装开源项目 FrontierAgent,并接入 Apodex 本地部署的大模型或官方 API,对 584 篇精品文章进行分析。文中详细介绍了安装 DeepSeek Harness 并接入 DeepSeek、Codex、Grok Build 模型的步骤,配置 FrontierAgent 的 Apodex API 环境,以及使用 react 和 agent_team 两种模式运行任务。36 分钟后,Agent 分析出两套写作模板:三分钟大白话科普类和实操干货教程类。文章还介绍了 Apodex 开源大模型从 Qwen3.5 基座到 Agent 专项训练的演进过程,为自媒体写作提供了 AI 辅助创作的新思路。

技术 › Agent AI少年 2026-09-0510.0 KB 77.6K 318 71

第一次下载本地大模型,如何看懂 Hugging Face 上的各种参数?

本文面向第一次在 Hugging Face 下载本地大模型的用户,讲解如何理解各种参数和名词。作者提出把整条链路分为五层:硬件资源、模型本身、权重精度与量化、文件格式、推理框架。文章依次解释了显存与统一内存的区别、参数量与文件大小的估算、Dense 与 MoE 架构差异、Base/Instruct/VL 等版本选择、BF16/FP8/4bit 等精度概念、GGUF 格式与量化方案、Safetensors 分片与配置文件、Hugging Face 页面阅读顺序,以及 MLX、llama.cpp、Ollama、LM Studio 等工具的关系,帮助新手不再凭文件名猜测下载。

技术 › LLM 雪瑜 2026-09-0118.8 KB 19.3K 196 86

没有 AIPC 的家庭是支离破碎的:AIPC 是什么、如何选择

文章介绍了 AIPC(能在本机处理 AI 工作负载的个人电脑)的概念与工作原理,通过扫描件 OCR 的例子说明本地 AI 任务从输入到输出的完整链路及各环节的交接问题。对比了 AMD Ryzen AI Max+ 395 Mini PC 与 NVIDIA DGX Spark 两类设备的架构、内存与软件生态差异,并讨论了在没有 AIPC 时如何利用闲置电脑跑本地模型,以及噪声、散热和何时应购买独立 AIPC 的考量。作者认为随着本地大模型能力逼近闭源云端模型,专业人士应考虑部署一台可 24 小时运行的 AIPC。

技术 › LLM Roland.W 2026-08-219.9 KB 21.7K 25 52

本地大模型小白从0到1完整入门教程

本文是一篇面向新手的本地大模型运行与部署全攻略。文章首先对比了云端与本地模型在隐私和成本上的差异,随后用通俗易懂的语言拆解了模型命名、参数量(B)、量化压缩(Q4_K_M)等核心概念。教程详细指导了如何根据显存计算并选择合适的硬件与模型,并推荐了LM Studio与ComfyUI等无代码软件。最后,针对文本对话、图像及视频生成三大场景,提供了具体的模型选型建议与实战评测方法,帮助小白零基础快速玩转本地AI生态。

技术 › LLM 黄小木 2026-08-0620.3 KB 186.2K 291 89

阿里开源 Zvec:像 SQLite 一样极简的嵌入式向量数据库

阿里开源了一款名为 Zvec 的向量数据库项目,主打“纯本地、内嵌式”极简体验,号称向量界的 SQLite。该项目基于 C++ 编写,支持零配置安装,性能强悍(毫秒级搜索数十亿向量),同时兼容稠密、稀疏向量及全文检索。它非常适合本地大模型、RAG 和个人知识库开发,彻底免去了部署繁琐的后端向量服务。

技术 › 后端 智享 2026-07-082.1 KB