Wiki 知识库

From Big Tech SWE to AI Infra (Part 2): What I Learned in My First Year

Yichi Zhang 2026-10-25 7.8 KB 48.4K 995 𝕏 文章列表

作者分享从大厂软件工程师转向 AI 基础设施方向一年的学习历程与心得。毕业加入大厂后，因工作缺乏主动性空间和创造感，三个月后决定转向 AI infra。通过学习基础知识、深入研读 SGLang 源码、参与社区贡献，逐步加入 SGLang-Omni 项目并进入一家 AI infra 创业公司。作者认为这一年是高回报率的一年，但也指出 AI 领域竞争激烈、节奏快，转行需权衡个人追求。文章最后强调了开源的重要性，认为强大的 AI 工具不应只掌握在少数公司手中，呼吁更多人参与开源社区。

AI InfraSGLang职业转型开源大厂学习路径LLM推理优化职业发展

相关文档

推理是训练的 12 倍，可一块卡生成时只跑出 5% 的算力

文章基于 YC Paper Club 播客，剖析 LLM 推理成本真相：按两年模型寿命摊算，推理总算力约为训练的 12 倍。decode 阶段 MFU 仅 5%，瓶颈在显存带宽而非算力。DeepSeek 通过 KV cache 保留 72 小时、radix attention、零开销调度等手段将缓存命中率做到 96%，实现 38 美元一卡时、80% 毛利。文章还讨论了 SSM 等被低估的模型结构、服务商质量参差（同一模型不同服务商差距超开源闭源差距）以及开源推理生态的规模，指出推理成本优化才是 LLM 竞争的胜负手。

技术 › LLM Saito 2026-10-26
LLM推理优化DeepSeekSGLangKV缓存MoE量化开源模型推理解码算力成本

Build your own Jev (100% local)：用开源 LLM 构建本地决策引擎

文章介绍如何将开源 LLM 变成快速、本地的决策引擎，而无需重新训练。核心思想是：当应用已知所有可能的答案时，不必让模型生成文本或 JSON，而是通过 next-token scoring 一次性为每个候选答案返回分数和概率分布。作者讲解了固定答案打分与结构化输出的区别、LLM 第一个输出 token 的生成原理，并使用 SGLang 的 /v1/score 接口，结合 Qwen 和 DeepSeek 模型进行实测，与普通文本生成进行了基准对比。文中还提到概率的含义与校准问题。

技术 › LLM Avi Chawla 2026-09-20
LLMSGLang推理优化next-token scoring决策引擎QwenDeepSeek本地部署结构化输出softmax

Software Engineer to AI Engineer: Best Move 2026

本文探讨软件工程师如何转型为AI工程师。作者指出AI工程师日常工作中约80%仍是传统软件工程，核心是将现有AI模型（如GPT、Claude）集成到真实产品中。软件工程师已具备编程、API、数据库、系统设计等基础，只需补齐六大AI专项技能：理解LLM工作原理、调用LLM API、保证输出可靠性（提示工程与结构化输出）、掌握RAG与向量数据库、学习编排与Agent、以及LLMOps生产化运维。作者建议通过构建作品集、在团队中主动承担AI功能、使用AI工具提升效率来加速转型，强调转型并非抛弃既有技能，而是在其上叠加AI层。

技术 › LLM Tech With Tim 2026-09-10
AI工程师职业转型LLMRAGAgentLLMOps提示工程软件工程职业发展

How to Become an AI Engineer in 2026

本文是一份实用的指南，旨在帮助读者在2026年成为一名AI工程师。文章指出，传统的学习路径已不足以应对当前需求，AI工程师的角色已演变为构建可靠、可扩展的生产级AI系统。文章详细介绍了AI工程师的核心职责、所需技能（如Python、SQL、机器学习、LLM与Agent、数据工程、MLOps等），并提供了一个分四阶段的学习路径：基础、现代AI技能、生产与工程技能、专业化与作品集。此外，还列出了必备工具与框架（如LangChain、CrewAI、向量数据库等）以及建议的实战项目，帮助读者构建有竞争力的作品集。

技术 › LLM Swati Gupta 2026-08-15
AI工程师学习路径LLMAgentRAGMLOps技能工具项目职业发展

使用 SGLang 和 Torch Profiler 对 LLM 推理进行性能分析

本文详细介绍了如何使用 SGLang 内置的 Torch Profiler 对大语言模型（Qwen3.5-0.8B）进行推理性能分析。作者阐述了如何通过追踪 CPU 和 GPU 端事件来定位计算瓶颈，并结合屋顶线模型证实单批次解码主要受限于内存带宽。文中展示了如何利用 Perfetto UI 分析 Prefill 阶段的性能追踪数据，将其底层计算操作与模型的混合架构（如 Gated DeltaNet 和全注意力机制）精准映射，帮助读者深入理解 LLM 的底层执行流程。

技术 › LLM Jino Rohit 2026-08-09
LLMSGLangTorch Profiler性能分析推理优化PerfettoGPUQwen

PagedAttention & RadixAttention

本文深入探讨了 PagedAttention 和 RadixAttention 两种技术。PagedAttention 通过类似操作系统的分页机制管理 GPU 内存，解决 KV Cache 的内部和外部碎片问题，显著提升并发处理能力。RadixAttention 则利用基数树索引缓存的前缀状态，实现跨请求的计算和内存复用，进一步优化推理性能。

技术 › LLM prasanna 2026-07-28
vLLMSGLangPagedAttentionRadixAttentionKV Cache内存管理推理优化LLM

2026年AI工程师全攻略（无CS学位）

本文阐述了在2026年如何无需计算机学位成为一名AI工程师。文章指出，当前的招聘市场更看重实际构建能力而非学历背景，并明确区分了AI工程师（系统集成与落地）与机器学习研究员（模型训练）的区别。作者提供了一套完整的学习路径（技术栈），包括Python、SQL、API集成、向量搜索、RAG及Agent框架等，并建议通过构建RAG应用、工具使用Agent及全栈部署产品这三个具体项目来证明能力，从而获得工作机会。

技术 › LLM CyrilXBT 2026-07-06
AI工程师学习路径RAGAgent职业发展PythonAPI集成LLM技能提升项目管理

如何成为一名机器学习工程师：完全指南

本文是一份详细的机器学习（ML）工程师学习路径指南。作者首先纠正了被动观看视频的学习误区，提出“两遍学习法”以建立深刻的技术理解。文章明确了ML工程师与数据科学家及研究员的区别，强调工程实现能力。随后，作者将学习路径分为两个阶段：第一阶段利用 3Blue1Brown 的视频构建数学直觉，涵盖神经网络、梯度下降、反向传播及 Transformer 架构；第二阶段（文中截断处未完）预告将通过 Andrej Karpathy 的课程来提升代码实现能力。

技术 › 机器学习 Arman Hezarkhani 2026-01-21
机器学习学习路径神经网络Transformer深度学习职业发展LLM3Blue1BrownKarpathy教程

Agent Evaluation：难以被 AI 取代的职业方向及 Hugging Face 学习资料推荐

作者认为 Agent Evaluation 是少数仍需人力判断、未来难以被 AI 彻底取代的职业方向，并推荐了 Hugging Face 公开的 Training Agent 课程作为入门资料。课程共六节：1）Agentic Evaluations，讲解如何评估 Agent 及 benchmark 与真实体验的差异；2）Agent 强化学习的难点，包括环境搭建与 reward 设计；3）用 Agent 执行轨迹做 SFT 微调；4）将大模型能力蒸馏给小 Agent；5）SFT 后用 GRPO 继续 RL 训练；6）用 OpenEnv 搭建真实环境并训练 coding agent。视频公开在 YouTube，代码全部开源。

技术 › Agent 美研芒格君 (@Kay2289123) 2026-10-28
Agent EvaluationHugging Face强化学习SFT蒸馏GRPO课程推荐LLMAgent 训练开源