LIVE INDEX / 最新文章
"知识诞生"的奥秘:MIT研究揭示大语言模型如何跨越时间、空间和规模形成语义特征

"知识诞生"的奥秘:MIT研究揭示大语言模型如何跨越时间、空间和规模形成语义特征

这项研究探索了大语言模型内部可解释特征的形成过程,分析了它们在训练过程中(时间)、模型层级间(空间)和不同规模模型(尺度)的行为变化。研究团队使用稀疏自编码器技术,成功识别出特定语义概念在神经激活中出现的时间点和位置。研...