不用换模型、不用堆参数，靠 SUGAR 模型性能大增！ 在深度学习领域中，对激活函数的探讨已成为一个独立的研究方向。例如 GELU、SELU 和 SiLU 等函数凭借其平滑梯度与卓越的收敛特性，已成为热门选择。 尽管这一趋势盛行，经典 ReLU 函数仍因其简洁性、固有稀疏 ...