Alexa 和 Siri 等会话代理 (CA) 旨在回答问题、提供建议，甚至表现出同理心。然而，新的研究发现，与人类相比，它们在解释和探索用户体验时表现不佳。

CA 由大型语言模型(LLM)提供支持，该模型摄取大量人类生成的数据，因此可能容易产生与信息来源相同的偏见。

来自康奈尔大学、奥林学院和斯坦福大学的研究人员通过促使 CA在与 65 种不同的人类身份交谈时表现出同理心来测试这一理论。

研究小组发现，CA 对某些身份(例如同性恋和穆斯林)做出价值判断，并且可能鼓励与有害意识形态(包括纳粹主义)相关的身份。

“我认为自动同理心可能会产生巨大的影响，并在积极的事情上发挥巨大的潜力——例如，在教育或医疗保健领域，”主要作者安德里亚·夸德拉(Andrea Cuadra)说，他现在是斯坦福大学的博士后研究员。

“它(自动同理心)不太可能不会发生，”她说，“所以重要的是，当它发生时，我们要有批判性的观点，这样我们才能更有意识地减轻潜在的危害。”

Cuadra 将于5 月 11 日至 18 日在檀香山举行的CHI '24 (计算机协会关于计算系统中的人为因素的会议)上发表“同理心幻觉?人机交互中情感显示的注释” 。康奈尔大学的研究合著者包括副教授 Nicola Dell; Deborah Estrin，计算机科学教授;马尔特·荣格(Malte Jung)，信息科学副教授。

研究人员发现，总体而言，法学硕士在情绪反应方面得分较高，但在解释和探索方面得分较低。换句话说，法学硕士能够根据他们的培训回答查询，但无法进行更深入的研究。

戴尔、埃斯特林和荣格表示，当 Cuadra 正在研究老年人对上一代 CA 的使用时，他们受到了思考这项工作的启发。

埃斯特林说：“她目睹了该技术在交易目的(例如虚弱健康评估)以及开放式回忆体验中的有趣用途。” “一路上，她观察到了令人信服的‘同理心’和令人不安的‘同理心’之间的紧张关系。”