Is ENGRAM free lunch? Does it not impact AI model quality?
文章深入分析Engram技术：将序列嵌入存储到可卸载至DRAM的嵌入表中，节省HBM内存、减少FLOPs，从而降低AI推理成本。在参数和训练预算相同的对照实验中，Engram-27B相比MoE-27B不仅没有降低性能，反而显著提升（MMLU从57.4升至60.4）。作者指出Engram参数分配存在约20-25%的最优区间，过高会挤占MoE专家参数损害性能，且不能完全替代FFN（FFN负责概念运算）。结论认为Engram确实是一种'免费午餐'，DeepSeek、美团LongCat、Qwen等已采纳该技术。
