当前研究仍面临诸多挑战。现有稀疏模型的规模远小于前沿人工智能系统,且大部分计算过程仍难以解释。研究人员正探索两条优化路径:一是从现有密集模型中提取稀疏结构,二是开发更高效的解释性训练技术。这些努力旨在逐步扩大可解释模型的范围,为人工智能系统的分析、调试和评估提供标准化工具。
OpenAI的新论文介绍了他们在破解大模型「黑箱」上的一次重要突破,通过训练结构更简单、连接更稀疏的神经网络,为构建既强大又透明的模型提供全新方向。 破解大模型「黑箱」的钥匙找到了? 刚刚,在理解大模型复杂行为的道路上,OpenAI又迈出了关键一步。 他们从自己训练出来的稀疏模型里,发现存在结构小而清晰、既可理解又能完成任务的电路(这里的电路,指神经网络内部一组协同工作的特征与连接模式,是AI可解 ...