读 2.83% 的 key 就够了
一位18岁大学生仅用iPhone 16e和Kaggle笔记本，开发出稀疏注意力机制ALHR（Adaptive Learnable Hierarchical Routing）。该方法通过给key矩阵构建静态二叉树，配合预算预测器、邻居搜索和树下降三步推理，让每个query只读取所需key。在1024 token的MQAR测试中，仅读取2.83%的key即可达到92.1%准确率（稠密基线94.9%），KV压缩35.3倍。训练分三段：先训稠密教师模型，再用其注意力矩阵标注top-k key训练树模块，最后无教师联合训练。目前因未做kernel优化比稠密注意力慢约10倍，代码由Claude Sonnet 5.5生成，Apache-2.0开源。
