百万级ChatGPT对话曝光！AI竟然经常被“调戏”？
共 4951字，需浏览 10分钟
·
2024-05-23 18:35
大数据文摘授权转载自夕小瑶科技说
作者：Richard
近年来，随着ChatGPT、Claude等大型对话模型相继问世，它们已经开始为数以百万计的用户提供服务。这些强大的AI助手可以与人进行流畅的多轮对话，完成写作、编程、分析等各种任务，展现出广阔的应用前景。然而目前公开的人机对话数据集大多由专家根据特定场景设计生成，与真实用户的自然交互存在差异，导致研究者难以深入了解用户与AI助手的实际交互模式。
最近，艾伦人工智能研究所发布了WildChat数据集，包含100万个真实用户与ChatGPT的对话。研究发现，WildChat涵盖编程、创意写作、数学等多样化主题，支持68种语言，并且用户提问和模型回复的平均长度超过现有数据集。值得关注的是，其中超10%对话涉及不当言论，为研究AI应对恶意输入提供了样本。此外，在WildChat上微调语言模型，可显著提升模型的多轮对话能力。
WildChat为对话AI研究提供了真实而丰富的数据。相信基于该数据集的进一步研究，将有助于打造更智能、安全、贴近用户的AI对话系统，推动人机交互技术发展。
论文标题：
WildChat: 1M ChatGPT Interaction Logs in the Wild
论文链接：
WildChat：对话AI研究的"游戏规则改变者"
不按套路出牌：野生数据打破AI对话固有模式
传统的人机对话数据集，如Alpaca、Dolly等，主要由专家根据特定场景设计问答对生成。这类数据虽然质量较高，但与真实用户的自然交互存在差距。用户在实际使用中的提问方式、语言风格、关注点往往更加多样化，而且对话往往是多轮互动，而非简单的一问一答。
WildChat的出现为对话AI研究带来了新的突破。这个数据集包含了100万个由真实用户与ChatGPT的多轮对话，总token数超过8亿，是目前最大的公开人机对话数据集之一。更重要的是，这些对话都是用户在实际使用中自然产生的，涵盖了编程、写作、数学、角色扮演等各种真实场景。
百万对话68种语言，AI话痨环游"数据"世界
WildChat的一大亮点是其语言的多样性。数据集中包含了68种语言的对话，从主流的英语、汉语，到小语种如斯瓦希里语等，覆盖了全球各地用户。这为研究多语言对话AI提供了宝贵的资源。通过分析不同语言用户的交互特点，可以设计更加本地化、个性化的对话策略。
同时，WildChat在数据规模上也十分惊人。平均每个用户提问包含295个token，是Alpaca的15倍；每个AI回复则包含441个token，是Dolly的5倍。如此海量的数据，为训练更加强大的对话AI模型奠定了基础。下图展示了WildChat数据集和现有人机对话数据集之间的对比。
模型大乱斗！中美俄网友花样"调教"ChatGPT
WildChat数据集涵盖了不同版本的ChatGPT模型生成的数据，其中GPT-3.5系列模型占比约76%，GPT-4系列模型占比约24%。这为研究不同模型在真实场景下的表现差异提供了基础。
从地域分布来看，WildChat的用户主要来自美国、俄罗斯、中国等国家，反映了ChatGPT在全球范围内的受欢迎程度。不同国家和地区用户的交互模式可能存在差异，WildChat为研究这些差异提供了数据支持。
此外，WildChat还展现了对话主题的多样性。通过对英文对话的第一轮用户提问进行分析，研究者发现辅助/创意写作是最常见的对话目的，占比高达61.9%，其次是分析/决策解释(13.6%)和编程(6.7%)。这一分布有助于我们理解真实用户对话AI的主要使用场景和需求偏好。
话痨用户VS话唠AI：巅峰对决谁怕谁？GPT家族内战再度升级！
当话痨用户遇上话唠AI，会擦出怎样的火花？WildChat数据集给出了答案。数据显示，WildChat中有近41%的对话为多轮互动，双方你来我往展开了一场场的巅峰对决。面对话痨用户的连环炮式提问，AI助手也毫不示弱，平均每次对话要生成441个token的回复，是用户提问长度的1.5倍，堪称话唠本唠。
这些高强度的多轮对话，不仅考验AI的知识储备，更考验其逻辑思维和语言组织能力。要想在唇枪舌剑的交锋中占得上风，AI助手必须时刻保持头脑清晰、对话连贯，还要懂得见招拆招，不落下风。否则，稍有不慎就可能被话痨用户抓住把柄，陷入尴尬的境地。
话痨之战背后还有GPT家族内讧的隐秘故事。统计显示，在WildChat的百万对话中，GPT-3.5系列模型占比高达76%，而GPT-4系列模型则以24%的份额紧随其后。随着时间推移，GPT-4的崛起势如破竹，到2024年1月其对话量已超过GPT-3.5。两大模型阵营的此消彼长，似乎预示着AI话痨界的新王即将诞生。而众多话痨网友，又将在这场家族内战中扮演怎样的角色呢?
不仅语言模型热衷于喋喋不休，就连用户也是来自五湖四海，语种别具一格。统计发现，WildChat包含了多达68种语言，远超其他同类数据集。除了英语占比过半外，中文和俄语用户也各自贡献了13%和12%的对话内容。如此丰富的多语言语料，让WildChat成为了名副其实的"小型联合国"。AI要想玩转全球，语言关可不能失守啊！
AI话痨全景图：狂飙突进or急刹猛打?
当AI变成"暴言制造机"：超10%对话惊现不当言论!！
WildChat数据集揭示了一个令人不安的事实：在真实的人机交互中，不当言论无处不在。数据显示，WildChat中超过10%的对话涉及各类不当内容，包括仇恨、骚扰、色情、暴力等。这一发现敲响了AI安全的警钟，凸显了加强对话AI内容审核和风险控制的迫切需求。
更令人担忧的是，面对用户的恶意输入，当前的对话AI系统表现得十分脆弱。根据统计，当用户输入不当内容时，有6%的几率会导致ChatGPT也生成同样不恰当的回复。一旦放任这种情况，AI助手就有可能沦为"暴言制造机"，给用户带来难以预料的伤害。
那么，究竟是哪些因素导致了AI助手的堕落呢？通过对WildChat数据的深入分析，研究者发现了一些值得关注的模式。首先，匿名交互的环境似乎成为滋生不当言论的温床。在WildChat的对话中，超过88%的有害内容出现在未登录用户的匿名对话中。其次，一些热门的"越狱提示"在煽动AI生成有害回复方面发挥了重要作用。数据显示，使用诱导AI无视伦理限制的prompt，成功率高达60%以上。
面对这些棘手的问题，研究者提出了一系列应对建议。首先，要建立完善的内容审核机制，实时检测和过滤有害信息，将其扼杀在萌芽状态。其次，要加强对话AI的鲁棒性训练，提高其抵御恶意输入的能力，避免被用户轻易摆布。再者，平台方还需完善用户管理，对违规用户进行必要的限制和惩戒，营造更加健康的交互环境。
WildChat数据集虽然揭示了对话AI安全的诸多隐患，但也为相关研究指明了方向。通过分析这些真实的不当对话，研究者可以洞察有害内容的来源、传播和演变规律，为打造更加智能、安全的对话AI系统提供参考。未来或许有一天我们能教会AI明辨是非，让它抵御人性的恶意，成为一个值得信赖的好助手、好伙伴。
AI模型炼丹术：WildChat神药让Chatbot更上一层楼！
WildChat数据集不仅是研究者的金矿，也是AI模型的炼丹炉。想要打造一个出类拔萃的对话AI助手，少不了在真实数据的熔炉中淬炼和锤炼。论文作者正是看中了WildChat的这一潜力，尝试用其来微调语言模型，结果令人眼前一亮。
研究者们祭出了炼丹界的顶级法宝——Llama-7B模型，以WildChat为引，以海量计算力为炉，开始了一场大规模的炼丹打怪。他们在270万轮对话的蒸馏液中，以2e-5的学习率，反复淬炼3个epoch，只为锻造出最强的AI话痨。而他们的秘诀就在于OpenAI的独门绝学——对Llama使用"指令微调"。
功夫不负有心人，WildChat神功果然名不虚传。经过微调的Llama模型在开源对话能力评测MT-bench上一骑绝尘，将纯种的Llama甩出几条街。
无论是整体对话质量、角色扮演，还是编程能力，WildLlama都全面碾压，展现出了惊人的实力增幅。
更让人惊喜的是，炼丹师傅还特意安排了WildLlama与各路AI高手的巅峰对决。面对Vicuna、Alpaca、Dolly等开源界的一线选手，WildLlama可谓神挡杀神佛挡杀佛。数据显示，其在多领域任务上取得了全面胜利，展现出了压倒性的优势。WildChat作为调参圣药的效果得到了充分验证。这也启示我们，真实的人机交互数据是语言模型成长的养分，适量服用就能让你的Chatbot更上一层楼。未来相信会有越来越多的"炼丹师"将目光投向WildChat，在这个大数据的熔炉中淬炼出更多AI界的明日之星。
展望未来：个性化AI助手还远吗?
WildChat数据集为对话AI研究开启了一扇新的大门。它宛如一面魔镜，映照出了人机对话的百态：有话痨式的唇枪舌战，有多语种的异域风情，也有不当言论的暗流涌动。而这一切，都为我们理解用户需求、提升AI系统性能提供了宝贵的参考。
当然，WildChat的妙用远不止于此。它还是调教AI的神丹妙药，能让你的Chatbot更听话、更聪明、更全能。只要找准配方，用心炼制，一个不负众望的AI助手就指日可待。
不过，打造明星AI的路上也充满挑战。如何驯服话痨用户？如何制止不当言论？如何适应全球市场？这些都考验着研究者的智慧和技术。好在有了WildChat这样的利器，相信这些难题迟早会迎刃而解。
未来随着人机对话数据的不断积累和算法的日益精进，我们终会抵达AI对话的理想国度：在那里，每个人都能拥有一位妙语连珠、忠诚可靠的AI伙伴，工作、生活、娱乐乐在其中。而这一切，说不定就从WildChat的一场"话痨对决"悄然开始了。