近期，一项发表在《自然》杂志上的研究揭示了人工智能发展中的一个令人深思的现象:随着大型语言模型（LLMs）的不断升级，它们在回答问题时越来越倾向于"自信满满"地给出答案，即便这些答案可能是错误的。这种现象引发了对AI可靠性和使用风险的广泛讨论。
研究团队由西班牙瓦伦西亚人工智能研究所的José Hernández-Orallo及其同事组成。他们深入分析了AI模型在演进过程中错误回答的变化趋势，以及这些错误与人类对问题难度感知的关系，以及人们识别错误回答的能力。
研究结果显示，随着模型的不断完善，尤其是通过人类反馈学习等精细调整方法，AI的整体性能确实有所提升。然而，一个意外的发现是，随着正确答案数量的增加，错误答案的比例也同步上升。Hernández-Orallo形象地描述道:"它们几乎对所有问题都给出回答，这意味着更高的正确率也伴随着更多的错误答案。"
图源备注：图片由AI生成，图片授权服务商Midjourney
研究团队主要关注了OpenAI的GPT、Meta的LMA和开源模型BLOOM等主流AI模型。通过对比这些模型的早期版本和后期精炼版本，他们分析了它们在各类问题上的表现。结果显示，虽然模型在简单问题上的表现有所提升，但在面对困难问题时，它们并没有表现出明显的回避倾向。以GPT-4为例，它几乎会对所有问题作答，而在很多情况下，错误回答的比例不断增加，有时甚至超过60%。
更令人担忧的是，研究发现这些模型有时连简单问题也会答错，这意味着用户难以找到一个可以高度信赖AI回答的"安全区"。当研究团队请志愿者判断这些答案的正确性时，结果更加令人不安:参与者对错误答案的错误分类率高达10%到40%之间，无论是简单问题还是复杂问题。Hernández-Orallo总结道:"人类无法有效监督这些模型。"
为了应对这一挑战，Hernández-Orallo建议AI开发者应该着重提升模型在简单问题上的表现，并鼓励聊天机器人在面对困难问题时适当表示不确定或拒绝回答。他强调:"我们需要让用户明白:我可以在这个领域使用它，但在那个领域就不应该使用它。"
虽然让AI能回答各种复杂问题看似令人印象深刻，但Hernández-Orallo指出，这种做法并不总是有益。他甚至对某些模型在简单计算问题上的错误表示困惑，认为这是可以且应该解决的问题。
南卡罗来纳大学的计算机科学家Vipula Rawte指出，一些模型确实会表示"我不知道"或"我没有足够的信息"。特别是针对特定用途（如医疗）的AI系统往往会进行更严格的调整，以防止超出知识范围。然而，对于那些致力于开发通用聊天机器人的公司来说，承认不知道并不总是一个理想的功能。
这项研究揭示了AI发展中的一个重要悖论:随着模型变得更加复杂和强大，它们可能在某些方面变得更不可靠。这一发现对AI开发者、使用者和监管者都提出了新的挑战。
未来，AI开发需要在提高性能和保持谨慎之间找到平衡。开发者可能需要重新考虑如何评估AI模型的性能，不仅要关注正确答案的数量，还要考虑错误答案的比例和影响。同时，提高用户对AI局限性的认识也变得越来越重要。
对于普通用户来说，这项研究提醒我们在使用AI工具时需要保持警惕。尽管AI能够提供便利和效率，但我们仍然需要运用批判性思维，特别是在处理重要或敏感信息时。