哈希游戏- 哈希游戏平台- 哈希游戏官方网站

　　我认为，我们将会见到一些非常小但思维非常出色且可靠的模型。甚至可以对 GPT-2 参数进行某种设置，使得大多数人会认为 GPT-2 很“聪明”。当前模型之所以如此庞大，是因为我们在训练过程中非常浪费——我们要求它们记住整个互联网的内容，令人惊讶的是，它们确实可以做到，比如背诵常见数字的 SHA 哈希值，或者记住非常生僻的事实。（实际上，LLM 在记忆方面非常出色，质上比人类好很多，有时只需要一次更新就能记住很多细节并保持很长时间）。试想一下，如果在闭卷考试中，根据互联网任意段落的前几句话要求你背诵整个段落。这就是当前模型的标准（预）训练目标。要做得更好很难，因为思维的展示在训练数据中与知识“纠缠”在一起。