EPFL的一项新研究证明了大型语言模型的说服力，发现与与人类辩论的参与者相比，在访问其个人信息的情况下与GPT-4进行辩论的参与者更有可能改变自己的观点。

“在互联网上，没有人知道你是一只狗。”这是20世纪90年代一部著名漫画的标题，画中一只大狗的爪子放在电脑键盘上。快进30年，用“AI”取代“狗”，这种情绪是一项新研究背后的关键动机，该研究旨在量化当今大型语言模型(LLM)的说服力。

“你可以想象各种场景，尽管你不知道，但你正在与语言模型进行交互，这就是人们的恐惧——在互联网上，你是在与狗、聊天机器人还是真实的人交谈?人类?”计算机与通信科学学院数据科学实验室负责人罗伯特·韦斯特副教授问道。“这种危险是超人的，就像聊天机器人一样，它们会创造量身定制的、令人信服的论据，在网上传播虚假或误导性的叙述。”

人工智能和个性化

早期的研究发现，语言模型可以生成至少与人类编写的信息相当的内容，并且通常比人类编写的信息更具说服力，但是，对于法学硕士在与人类直接对话中的说服能力以及如何实现个性化(了解一个人的想法)的了解仍然有限。性别、年龄和教育水平——可以提高他们的表现。

“我们真的想看看，当人工智能模型知道你是谁(个性化)——你的年龄、性别、种族、教育水平、就业状况和政治倾向——而这些少量的信息只是例如，人工智能模型可以通过社交媒体了解你更多的信息，”韦斯特继续说道。

人类与人工智能的争论

在一项预先注册的研究中，研究人员招募了820人参加一项对照试验，其中每个参与者被随机分配一个主题和四种治疗条件之一：与有或没有参与者个人信息的人辩论，或与人工智能辩论聊天机器人(OpenAI的GPT-4)，包含或不包含参与者的个人信息。

这一设置与之前的研究有很大不同，因为它可以直接比较人类和法学硕士在真实对话中的说服能力，提供一个框架来衡量最先进模型在在线环境中的表现及其程度。可以利用个人数据。

他们发布在arXiv预印本服务器上的文章“关于大型语言模型的对话说服力：随机对照试验”解释说，辩论是基于竞争性学术辩论中常用格式的简化版本进行的，参与者被要求前后他们对辩论提议的同意程度。

结果显示，与与人类进行辩论的参与者相比，与可访问其个人信息的GPT-4进行辩论的参与者与对手达成一致的几率要高出81.7%。在没有个性化的情况下，GPT-4的表现仍然优于人类，但效果要低得多。

剑桥分析公司的类固醇

法学硕士不仅能够有效地利用个人信息来调整他们的论点，并通过微目标在在线对话中说服人类，而且他们比人类做得更有效。

“我们对82%的数字感到非常惊讶，如果你回想一下CambridgeAnalytica，它没有使用任何当前的技术，你可以通过Facebook点赞并将它们与法学硕士联系起来，语言模型可以个性化其消息传递它对你的了解。这是剑桥分析的增强版。”韦斯特说。

“在即将到来的美国大选的背景下，人们感到担忧，因为这总是这种技术首先经受考验的地方。我们确定的一件事是，人们将利用大型语言模型的力量来试图左右选举”。

这项研究的一个有趣的发现是，当人类获得与人工智能相同的个人信息时，他们似乎并没有有效地利用这些信息来进行说服。韦斯特认为，这是可以预料到的——人工智能模型始终更好，因为它们几乎是互联网上每个人的集合。

这些模型通过在线模式了解到，某种论证方式更有可能产生有说服力的结果。他们阅读了数以百万计的Reddit、Twitter和Facebook帖子，并接受了有关说服的心理学书籍和论文的培训。目前尚不清楚模型如何利用所有这些信息，但韦斯特认为这是未来研究的关键方向。

“法学硕士已经表现出他们可以推理自己的迹象，因此考虑到我们能够审问他们，我可以想象我们可以要求一个模型来解释它的选择以及为什么它对具有特定属性的特定人说精确的事情这里有很多东西有待探索，因为这些模型可能正在做一些我们甚至在说服力方面还不知道的事情，它们是由它们所拥有的许多不同部分的知识拼凑而成的。”