虚构词语欺骗AI文本生成图像工具

对抗性图像是包含精心制作的图案以欺骗计算机视觉系统的图片。这些图案会导致原本强大的人脸或物体识别系统错误识别它们通常能识别的事物或面孔。

这种故意的欺骗行为具有重要意义，因为恶意用户可以利用它来绕过安全系统。

它还引发了关于其他类型计算智能的有趣问题，例如文本到图像系统。用户输入一个词或短语，经过特殊训练的神经网络会利用它来生成逼真的图像。但是，这些系统是否也容易受到对抗性攻击，如果会，又是如何发生的呢？

今天，我们得到了答案，这要归功于纽约哥伦比亚大学人工智能研究员拉斐尔·米利埃（Raphaël Millière）的工作。米利埃发现了一种利用虚构词汇欺骗文本到图像生成器的方法，这些词汇旨在触发特定的响应。

不良后果

这项工作再次引发了安全问题。“对抗性攻击可以被有意和恶意地部署，以欺骗神经网络错误分类输入或生成有问题输出，这可能会产生真实的负面后果，”米利埃说。

近几个月来，文本到图像系统已经发展到用户可以输入一个短语，例如“宇航员骑马”，并获得令人惊讶的逼真图像作为响应的程度。这些系统并不完美，但仍然令人印象深刻。

无意义的词汇可以诱使人类想象某些场景。一个著名的例子是刘易斯·卡罗尔的诗歌《贾伯沃基》：“'那是光亮的，黏滑的野猪们，在沼泽里盘旋和跳跃……”对于大多数人来说，阅读它会唤起奇幻的图像。

米利埃想知道文本到图像系统是否也同样容易受到攻击。他使用了一种名为“通俗混杂词提示”（macaroni prompting）的技术，通过结合不同语言中真实词汇的部分来创造无意义词汇。例如，词语“cliff”在德语中是Klippe，意大利语中是scogliera，法语中是falaise，西班牙语中是acantilado。米利埃取这些词的部分，创造出无意义的词语“falaiscoglieklippantilado”。

令他惊讶的是，将这个词输入DALL-E 2文本到图像生成器后，生成了一组悬崖的图像。他以同样的方式创建了其他词语，也得到了类似的结果：用于昆虫的insekafetti，用于蝴蝶的farpapmaripterling，用于兔子的coniglapkaninc等等。在每种情况下，生成器都生成了该英文单词的逼真图像。

米利埃甚至用这些虚构词语生成了句子。例如，句子“An eidelucertlagarzard eating a maripofarterling”生成了蜥蜴吞食蝴蝶的图像。“初步实验表明，混合的临时字符串可以系统地制作，以按需生成几乎任何主题的图像，甚至可以组合在一起生成更复杂的场景，”他说。

米利埃认为这可能是因为文本到图像生成器在各种各样的图片上进行了训练，其中一些图片一定是用外语标注的。这使得虚构词汇能够编码机器可以理解的信息。

欺骗文本到图像生成器的能力引发了许多担忧。米利埃指出，科技公司非常小心地防止其技术被非法使用。

“这种方法的一个明显担忧是规避基于黑名单提示的内容过滤器，”米利埃说。“原则上，通俗混杂词提示可以提供一种简单且看似可靠的方法来绕过此类过滤器，以生成有害、冒犯、非法或其他敏感内容，包括暴力、仇恨、种族主义、性别歧视或色情图像，以及可能侵犯知识产权或描绘真实个人的图像。”

不想要的图像？

他建议，防止生成不想要图像的一种方法是从用于训练AI系统的数据集中删除任何此类示例。另一种选择是在公开发布之前，将所有它创建的图像输入图像到文本系统进行检查，并过滤掉任何产生不想要文本描述的图像。

目前，与文本到图像生成器互动的机会有限。在三种最先进的系统中，谷歌开发了Parti和Imagen两种，但由于在其输入和输出中发现的各种偏差，并未向公众开放。

第三个系统DALL-E 2由Open AI Initiative开发，并提供给有限数量的研究人员、记者和其他人使用。米利埃使用的是这个系统。

无论如何，这些系统或其他类似系统注定会变得更广泛使用，因此了解它们的局限性和弱点对于引导公众辩论至关重要。对于科技公司乃至更广泛的社会来说，一个关键问题是如何使用和监管这些系统。这种辩论是迫切需要的。

参考文献：利用虚构词汇对图像生成进行对抗性攻击：arxiv.org/abs/2208.04135