本文介绍如何将开源 LLM（Qwen3-4B）改造为决策模型，构建小规模训练平台并产出 Gero-4B。作者在 MacBook（M5 Pro, 24GB）上使用 Apple MLX 进行 LoRA 微调，分三个阶段：架构改造（将 LM head 替换为共享线性打分层）、结构训练（学习题目格式）、强化学习训练（实现校准的置信度输出）。核心设计是每个选项独立分支的打分架构，通过自定义 KV cache 共享前缀表示，并利用注意力掩码隔离各分支，从结构上消除位置偏差。最终模型输出数值化、校准良好的概率分布，可直接用于自动化决策（如高置信度自动处理、低置信度转人工）。文章附有完整可运行的代码实现。
本文系统梳理了AI推理工程所需的核心数学知识路线图。内容涵盖：浮点数表示（FP32/FP16/BF16/FP8/INT8等格式的位分配与精度/范围权衡）、舍入误差累积、溢出与下溢、机器epsilon、灾难性消除及稳定softmax与log-sum-exp技巧；量化数学，包括scale与zero-point线性映射、对称/非对称量化、粒度选择、范围裁剪、激活离群值处理及基于Hessian的曲率方法；以及线性代数计算成本分析，如矩阵乘法的浮点运算量与内存读写开销估算。作者强调在性能分析前能手算层耗时是推理工程中最有价值的习惯。
文章阐述了状态机理论及其在软件开发中的应用。作者指出Agent框架从链条到循环再到图形的演变，本质上是有限状态机（FSM）的体现。通过将分散的逻辑迁移到明确的转换函数中，状态机能消除不可能状态，避免竞态条件，并提供类型级安全保障。文章展示了基于查找表和Switch语句的实现方式，强调了其在代码审查、测试及系统可靠性方面的优势。
文章详细阐述了掌握人工智能和机器学习所需的三大数学支柱：统计学与概率、线性代数以及微积分。作者不仅解释了每个领域的核心概念（如贝叶斯定理、矩阵分解和梯度优化），还强调了它们在 AI 模型（如神经网络、回归）中的实际应用。最后，作者分享了一条个性化的学习路线图，推荐了 3Blue1Brown、Coursera 课程及《统计学习导论》等优质资源，帮助读者从直观理解过渡到理论实践。
本文旨在消除从事 AI/ML 工作对数学博士学位的恐惧，提供了一份精准的线性代数学习路线图。文章分为五个阶段：从标量、向量、矩阵等基础概念，到特征值、SVD（奇异值分解）等核心机器学习数学工具，再到连接微积分的梯度与雅可比矩阵。作者强调了掌握这些概念对于理解神经网络、PCA、推荐系统及 LoRA 微调等技术的重要性。
本文展示了如何在没有任何高级库的情况下，仅使用 x86-64 汇编语言从零构建一个微型的神经网络来解决 XOR 问题。作者详细讲解了数据内存布局、前向传播、基于 x87 FPU 实现的 Sigmoid 激活函数、损失计算、手动求导的反向传播算法以及权重更新的汇编代码实现。
本文是一篇硬核技术教程，详细记录了如何不依赖任何外部库，仅使用纯 C 语言从零构建一个可用的 GPT（Generative Pre-trained Transformer）模型。文章涵盖了从随机数生成、数据分词、模型架构定义，到手动实现反向传播、Adam 优化器及推理采样的全过程。通过手写矩阵乘法、注意力机制和神经网络层，帮助读者深入理解 LLM 的底层原理。
