GPT 等大型语言模型（LLM）的成功离不开 Softmax 注意力机制，但这一机制也存在着成本高等一些缺点。 近日，上海人工智能实验室和 OpenNLPLab 的一个研究团队提出了一种新的大型语言模型 TransNormerLLM，其中完全抛弃了基于 Softmax 的注意力机制，而是使用了新提出 ...

2017 年，杨植麟等人提出一种解决 Softmax 瓶颈的简单有效的方法——Mixture of Softmaxes（MoS）。但该方法成本高昂，于是最近杨植 ...