在当前的技术环境下，人工智能（AI）引发了广泛的讨论。德蒙特福特大学的网络安全教授 Eerke Boiten 对此表示，现有的 AI 系统在管理和可靠性方面存在根本性缺陷，因此不应被用于重要应用。
Boiten 教授指出，当前的 AI 系统大多依赖于大型神经网络，尤其是生成式 AI 和大型语言模型（如 ChatGPT）。这些系统的工作原理相对复杂，尽管每个神经元的行为是由精确的数学公式决定的，但整体行为却是不可预测的，这种 “涌现” 特性使得系统难以进行有效的管理与验证。
图源备注：图片由AI生成，图片授权服务商Midjourney
从软件工程的角度看，Boiten 教授强调，AI 系统缺乏可组合性，无法像传统软件一样进行模块化开发。由于没有明确的内部结构，开发者无法有效分割和管理复杂性，也难以进行逐步开发或有效的测试。这使得对 AI 系统的验证仅限于整体测试，而这种测试由于输入和状态空间过大而极其困难。
此外，AI 系统的错误行为往往是难以预测和修复的。这意味着，即使在训练中发现了错误，重新训练也不能保证这些错误会被有效修正，甚至可能引入新的问题。因此，Boiten 教授认为，在任何需要责任感的应用中，都应避免使用当前的 AI 系统。
然而，Boiten 教授并没有完全失去希望。他认为，尽管目前的生成式 AI 系统可能已经达到瓶颈，但通过结合符号智能和基于直觉的 AI，未来仍有可能开发出更可靠的 AI 系统。这些新系统可能会产生一些明确的知识模型或置信水平，增强 AI 在实际应用中的可靠性。