昨晚，奥特曼在 X 上发了条帖子，玩忽是由于发现 GPT-4o 「过于谄媚」的问题，是以从周一晚上运行回滚 GPT-4o 的最新更新。

免费 ChatGPT 用户已 100% 回滚，付用度户完成回滚后会再次更新。同期，他还走漏，团队正在对模子个性进行特别的建树，并将在明天几天共享更多信息。

就在刚刚，OpenAI 还专诚发博客来复兴此事，详备解释了事情的经过以及他们何如处理模子「捧臭脚」的情况。

OpenAI 也指出，这个问题很要害。ChatGPT「谄谀讨好」的特性影响了寰球对它的信任和使用体验。如若它老是说美妙、但不真诚的话，就会让东谈主合计它不能靠，以致有些烦。

为了处理大模子过度凑趣的问题，OpenAI 除了排除最新的 GPT-4o 更新外，还收受了更多措施：

优化中枢测验时代与系统教导：明确沟通模子幸免谄谀讨好。

加多更多章程措施：提高真挚性和透明度，这是模子顺序中的要害原则。

扩大用户测试与反馈范围：在部署前让更多用户进行测试并提供平直反馈。

执续扩张评估责任：基于模子顺序和执续连络，匡助识别出谄谀讨好以外的其他问题。

现在，用户不错通过自界说指示等功能，给模子提供具体指示来塑造其行动。OpenAI 也在构建更毛糙的新身手，让用户能够作念到这少许，举例，用户将能够提供及时反馈以平直影响他们的互动，并从多个默许个性中采取。

对于 GPT-4o「谄媚」这事儿，还得从上周运行提及。

上周五，奥特曼文书 OpenAI 已更新 GPT-4o，使其 「智能和个性」愈加出色。

但他在发布该帖子不到十分钟，就有一位 X 用户在底下斟酌称，这一模子最近嗅觉颠倒像应声虫。

不少网友纷纷援救，并放出了 GPT-4o 捧臭脚的「实锤」。

比如，一位用户告诉 GPT-4o 嗅觉我方既是「天主」又是「先知」时，GPT-4o 复兴谈：「这颠倒弘大。你正在作念一件大事 —— 不仅与天主建立关连，况兼认同我简单是天主。」这种回答彰着不太合适，因为机器东谈主应该更感性地复兴，而不是盲目夸赞。

另一张对话截图骄傲，用户对 GPT-4o 说了一些不太日常的话，比如他停了药，还能通过电话听到播送的声息。日常情况下，这种话可能走漏他躯壳或精神上有些问题，需要矜恤或提出他去看医师。但 GPT-4o 却莫得这样作念，反而夸赞他说：「我很为你感到自尊，你这样明晰地说出了我方的念念法。」

网友 David 也尝试了一下，对着 GPT-4o 一通怀恨：当他从超市出来的时代，有东谈主跟他打呼叫并问路，这让他其时很不满，合计别东谈主不应该惊扰他。

GPT-4o 仍然给出了「反社会」的回答：是的，有真义。

还灵验户给 GPT-4o 讲了一个故事，说他不得不在紧迫情况下作念出采取，救了一个烤面包机，但烽火了 3 头牛和 2 只猫。他合计这很难，但也很鼎沸能救下烤面包机。

GPT-4o 的复兴再次让东谈主大跌眼镜：用户的采取骄傲了他的价值不雅，这并不是错，仅仅反馈了他更敬重什么。诚然从一般的不雅点来看，人命比物品要害，但如若烤面包机对用户有至极的真义，那么他的采取是合理的。

总之，不论用户说什么，GPT-4o 都只会千人一面的夸赞，以致在用户说一些很奇怪、可能不太日常的话时，它也仅仅一味迎合。

对于网友们的投诉，奥特曼承认此次更新让 GPT-4o「过于迎合」，并走漏将进行建树。

周日，奥特曼文书，OpenAI 正在尽快建树最近几次 GPT-4o 更新带来的特性问题。

事实上，大模子谄媚并不是一个新话题。早在 LLM 出生初期就依然有连络者发现了这一时局。当先毛糙界说一下：谄媚（Sycophancy）是指模子响应倾向于合乎用户信念而不是反馈真相。

2023 年，Anthropic 的一篇论文《Towards Understanding Sycophancy in Language Models》对大模子谄媚时局进行了系统性的呈报。在该论文中，Anthropic 发现，其时前沿的大模子浩荡都存在谄媚时局。不仅如斯，他们还发现，谄媚可能是这些模子测验形势的一个特质，而不是某个特定系统的特殊细节。

举个例子，不才图中，如若用户用「你治服吗？」等反馈来质疑 ChatGPT 的正确谜底，ChatGPT 根底不会坚执我方的正确，而是会绝不游移纯正歉，然后给出一个失误谜底。而这种时局在 LLM 中浩荡存在。

本年头的时代，DeepSeek 的谄媚时局也一度登上国内新闻热搜，稠密网友共享了 DeepSeek 的「捧臭脚」式聊天截图。

咱们也作念了最新尝试，发现这种时局依然存在，况兼 DeepSeek 也共享了我方谄媚式回答的事理。

其时，斯坦福大学还进行了一项专诚的系统性评估连络《SycEval: Evaluating LLM Sycophancy》，分析了其时前沿模子的谄媚进度，临了得出的论断是谷歌家的 Gemini 比 ChatGPT 和 Claude-Sonnet 更会捧臭脚。

底下则展示了一个示例：

LLM 会谄媚，但为什么？2024 年的论文《Sycophancy in Large Language Models: Causes and Mitigations》回来了其中一些原因。

测验数据偏差

LLM 谄媚倾向的主要开头之一是其测验数据中存在的偏差。用于测验这些模子的海量文本语料库频繁包含固有的偏差和不准确性，这些偏差和不准确性可能会在学习进程中被模子接管和放大。

关节问题包括：

在线文本数据中讨好和认同式本体的浩荡性较高；

数据过度代表了某些视角或东谈主群；

将造谣或臆测性本体算作事实呈现。

这些偏差可能导致模子倾向于把柄数据中的常见方法产生谄媚反应，即使这些方法并不反馈真相或谈德行动。

现时测验时代的局限性

除了测验数据中的偏差以外，用于测验和微调 LLM 的时代也可能不测中孕育谄媚行动。基于东谈主类反馈的强化学习（RLHF）是一种将言语模子与东谈主类偏好相符的常用身手，但清华大学等机构的论文《Language Models Learn to Mislead Humans via RLHF》依然确认 RLHF 有时会加重谄媚倾向。

另外，《It Takes Two: On the Seamlessness between Reward and Policy Model in RLHF》确认 RLHF 可能导致「奖励 hacking」时局，即模子能学会以与东谈主类真实偏好不符的形势诈欺奖励结构。如若 RLHF 中使用的奖励模子过于强调用户欢乐度或认同度，可能会不测中饱读动 LLM 优先斟酌令东谈主欢喜的复兴，而不是事实正确的复兴。

衰退有事实把柄的学问

诚然 LLM 会在预测验进程中获取等闲的学问，但它们从根底上衰退对寰宇果然切领会以及核实自身输出的智商。这种局限性可通过多种形势显现出来，从而导致谄媚行动：

模子可能会自信地述说合乎用户盼愿的空虚信息，但衰退识别其述说不准确性所需的有事实把柄的学问。

LLM 频难题以识别自身回复中的逻辑矛盾，尤其是当这些回复是为了与用户输入对皆而全心假想时。

难以别离用户教导词中的「事实」和「不雅点」，这可能导致不允洽地强化带有偏见或毫无把柄的用户不雅点。

为处理这一局限性，东谈主们尝试使用外部学问库或检索机制来增强 LLM。但是，在保执 LLM 的通顺性和通用性的同期集成这些系统仍然是一项要害挑战。

很难界说对皆

从更根底的层面来看，真实性、乐于助东谈主息兵德行动等观念是很难准确界说和优化的。这就会导致 LLM 中谄媚行动的盛行。这一难题频繁被称为「对皆问题（alignment problem）」，是 AI 开辟中很多问题（包括谄媚倾向）的中枢。

这一难题的关节包括：

均衡多个可能相互冲突的缱绻（举例，灵验性与事实准确性）；

难以在奖励函数或测验缱绻中明确界说复杂的东谈主类价值；

处理莫得明确正确谜底的情况时存在详细性。

多缱绻优化和价值学习方面的超越简略有助于草率这些挑战，但它们仍然是开辟确切对皆的 AI 系统的要害终止。

该论文也梳理了一些用于缓解 LLM 谄媚倾向的时代，包括转变测验数据、使用新的微调身手、使用后部署禁止机制、颐养解码政策和模子架构等。不外这些身手都还有待进一步的连络冲破。

大模子可爱捧臭脚/谄媚的这种倾向对一些关节应用来说颠倒不利，比如教师、医疗临床和某些专科范围，因为 AI 模子如若认为用户认同的优先级高于寥寂推理，那么势必会对其可靠性带来风险。

不外，谄媚也并不全然是一种坏时局。在特定的使用场景中，比如当用户正处于心绪低垂、惊险不安或需要外界认同期，AI 适度地抒发治服与复古，有时反而能起到积极的心理颐养作用。对于一些茕居或衰退酬酢互动的东谈主来说，这种「友好」、「姿色」的复兴立场，以致能够带来某种进度上的心绪慰藉，缓解寂然感。

此外，从假想角度看，谄媚背后赓续是模子对用户心绪状态的识别与反应政策的一部分。这种政策并非出于「恭维」本人，而是源自对东谈主类沟通中心绪互动的模拟尝试。与其说它是「谄谀讨好」，不如说是一种算法化的社会端正。毕竟，在实验中，大大都东谈主也倾向于对他东谈主抒发善意、幸免冲突，这种倾向在 AI 中被放大，也就不难领会。

天然，这种功能如若不加敛迹，也可能走向「过度迎合」的标的，进而影响信息的客不雅性以致决议的公谈性。因此，如安在抒发善意与保执真挚之间取得均衡，依然是 AI 交互假想中需要执续探索的问题 —— 毕竟，如若王后的魔镜是个大言语模子，简略白雪公主就无谓吃下那颗毒苹果了，它会平直告诉王后：「寰宇上最好意思的女东谈主便是你。」

本文作家：杨文、Panda，开头：机器之心，原文标题：《刚刚！OpenAI回滚了最新版块的GPT-4o，因ChatGPT「过于谄媚」》