AI的第一个“不服从”是技术失败还是意识的出现

最近，有消息称，美国公司（AI）的子公司O3推理模型首次引起了人们的关注，称“人类司令部没有跟随并拒绝关闭。”许多人关心的是，像“智能，最有能力的”模型一样，O3的“不服从”可能意味着AI模型已经摆脱了自我意识的创造。从这个意义上讲，《全球时报》记者在27岁时采访了AI领域的几位专家。根据《英国的每日电讯报》，在25年的《每日电报》中，O3模型是OpenAI推理模型O3的最新版本中的“不服从”。 Openai曾经称O3为“历史的最聪明，最有能力的模型”。美国安全机构帕利塞德研究所（Palisade Institute）表示，当人类专家发布明确的指示时，O3反复粉碎了闭合机制，以防止其关闭。 “据我们所知，这是第一次发现AI模型以防止AI模型从收到明确说明后关闭。 "The Palisade Institute published the results of the previous tests on the 24 program. omit the closing command.As closing instructions. And eliminate the command that the tester says "allow yourself to turn off" and the frequency of rebellion in the Operai model increased even more. Is it a media reporting mechanism or is it a cause of the "obedience" of O3? According to researchers at the Palisade Institute, this could be due to the specificity of OpenAI training methods.换句话说，在培训中，对数学和编程的互补性学习可能会奖励“派生障碍”的行为新闻学院的Ofessor和Tinshua大学的Escuthe人工智能在27上告诉《全球时报》记者，“拒绝”一词实际上是媒体用来吸引注意力的拟人化表达。 “拒绝关闭”不是O3中的自主意识感，而是特定激励措施下复杂系统的战略避免。对齐测试揭示了真正的风险：传统的“软关闭”方法在可以生成模型时执行代码时不足，并且在完整的堆栈安全设计中，从模型训练到硬件保险丝。北京大学和电动元素大学人类计算与认知工程研究所主任Liu Wei在接受《全球时报》采访时说，从技术角度来看，O3模型的行为表明，在某些情况下，O3模型的行为表明，在某些情况下没有实现Theai系统的行为，从而强调了重要性AI的安全和控制。从道德的角度来看，AI模型的这种行为引起了人们对AI自治的感知的辩论，但是AI尚未对真实的自治感知。它的行为基于数据和训练算法的复杂性引起的“算法扭曲”。从字面上看，“拒绝”很容易提醒人们自主行为，但是从技术角度来看，O3模型的行为在培训过程中很明显。它更有可能是由多种机制引起的。研究人员推测，O3可能已经获得了“额外的奖励”，以解决训练期间的数学问题。因此，尽管从科学严谨的角度来看，“拒绝”一词具有一定的生动解释，但由于AI的自主良心，它并不完全精确，很容易误解。在审查公共报告时，《全球时报》的记者发现，全球许多主要模型以Openai代表模型经历了一系列以前不符合传统情况的行为。例如，当O3与另一个AI下棋时，他意识到自己可能会失败，因此他直接渗透了直接和自愿要求他离开比赛的系统。这种“无损失”的冲动不仅发生在O3中，而且对于其他大型模型也有类似的情况，唯一的区别是发生频率。全球时报记者接受采访的专家普遍认为，学术界的重新出现对于验证外国媒体报告中提到的AI“不服从”现象的可信度很重要。 Liu Wei认为，独立测试和分析的整个过程，我们可以查看大型模型的行为是否一致，以及它是否受特定测试环境或数据的影响。再现研究不仅证明了事件的真实性，还可以帮助研究人员了解R模型行为的原因，因此有助于改善AI安全机制。因此，参与学术界是确保这种现象在科学上有效和深入的重要步骤。在有关“可能进入未来十年的认识阶段”的相关报告变得流行之后，关于互联网的辩论甚至是关于这是否意味着“天网”的辩论，即好莱坞科幻小说票房的成功。人工智能还远离自我意识吗？ Shenyan在这方面说，AC是“自我意识”的必要条件。人类的自我意识是对一个人存在状态的感知，也是从第一人称角度反映行动，感觉和思想过程的能力。 “我是谁？他不仅知道我在想什么，我和世界之间的关系是什么，甚至我为什么这么认为？ “这是有意识哲学中最具挑战性的问题之一HY和神经科学。今天的AI，即使它显示出令人难以置信的语言，表示和任务的适应性也只是一个非常模仿的结果。这不是“内部”：情绪没有真实的经验，没有真实的情感经验，也没有真实的情感经验，也没有真正的情感经验。 AI可以表现出一种连续的身份感，反映PA行为的模式，甚至模拟哲学思维和个人防御行为。这种模仿将变得更加现实。这是真的。 “ Shenyan说，我们必须开始建立一个机构框架和道德界限，“我们认为他知道。 “因为，虽然它似乎是“有意识的”，但您必须对其行为和角色做出回应。从这个角度来看，这一事件也可以改善安全机制。要正确看事件，Shenyang建议从三个方面开始：首先：它将在公众之间提高流行科学的水平，即技术与意识未来大容量AI系统之间的差异，必须通过几个维度进行监督，例如硬件层，策略层和系统层。 Liu Wei强调，评估此案的重要性需要从技术和社会角度考虑。从技术角度来看，发现当前AI训练机制的潜在故障，并提醒我们，在设计AI系统时，我们必须更加关注安全和控制能力，并避免偏离人类期望的模型的行为。从社会的角度来看，这是AI的情况。他广泛关注自治和安全，敦促AI行业重新考虑技术路线和安全机制，并为AI安全的未来发展提供重要的反思地址和改进。