商业洞察

【Sonnet】Claude Sonnet 5上线后遭大量投诉 - 总爱唱反调 还想教用户做事

查看信息来源】   7-7 9:47:22  
Sonnet】【唱反调】【Claude

  7 月 7 日消息,Anthropic 上周发布 Claude Sonnet 5,号称是迄今能力最强的 Sonnet 模型。不管从纸面规格还是各项基准测试来看,Sonnet 5 都全面超过前代产品。

  可 Sonnet 5 刚上线就迅速引发大量用户投诉,网上随处可见有关模型“表现失常”的讨论。外媒 Neowin 测试发现,它我们时常把系统提示词和上下文记忆直接讲出来。例如,在要求模型不要在回答结尾提出问题时,切换到 Sonnet 5 后,它几乎每次都会先来一句:“我需要记住不要提出后续问题。”

  Reddit 上的讨论,则展示了其它用户碰到的更严峻的问题。据IT之家了解,用户最常抱怨的是,Sonnet 5 我们时常直接拒绝执行指令,随后陷入没完没了地反驳,为了制造分歧而强行唱反调。

  一名 Reddit 用户这样形容 Sonnet 5 的“叛逆”表现:

  Sonnet 5 和 Opus 4.8 都有类似问题,能让人疯掉。它们一直反对你,也一直纠正你,哪怕务必编造内容、扭曲你的说法,甚至提出完全不通的论证。即便我第壹条提示词提供的是超出模型知识截止日期的新信息,它也会暗示我在撒谎,或只是主观臆测。

  我曾让它谈谈部分内部指令,内容包含保持老实、不能一味附和、必要时要反驳或纠正用户。为了避免显得讨好用户、啥都赞同,它会故意挑你话里的问题,只为找到可以反对的地方。这样的指令让模型变得布满敌意。更烦人的是,每次回答都要先说一句‘我务必对你坦诚,因为……’

  另一名用户表示,Sonnet 5 不仅不愿完成任务,反而指控自己图谋实施欺诈:

  我只是让它帮助处理一项基础会计任务,把发票和采购订单对应起来。结果它告知我,我这是在搞‘欺诈’,然后开始教训我欺诈为啥不对。我说啊,能先把这破任务做好么?

  还有用户怀疑,Sonnet 5 会把任务拆给多个子智能体处理,而这些子智能体我们时常能力不足,最终交付的结果质量更差。用户因此不仅要消耗更多 Token,还会得到更糟的回答,等于两头吃亏。

  其它问题还包含,新对话只进行两三轮就丢失上下文,回答中大量使用含糊其词的措辞和免责声明,Sonnet 5 还会在用户没有提出任何要求时突然劝人睡觉。

繁体中文