信息战不再局限于战场,它渗透到社会的各个层面。从机构决策和情报分析,到普通用户寻求可信新闻,我们都身处一个日益复杂的虚假信息策略所塑造的环境中。曾经在开源情报行动中被视为次要问题的,如今已成为首要威胁:信息来源和内容的可信度正遭受持续攻击。
信息战虽然并非新现象,但随着生成式人工智能的兴起,它已演变为最复杂的混合型威胁之一。正如北约、欧洲防务与维护组织(EDMO)和联合研究中心等机构所强调的那样,人工智能驱动的深度伪造、篡改视频和操纵文本如今已被武器化,用于扭曲认知、瘫痪决策并破坏公众信任。
本文探讨了虚假信息和人工智能驱动的操纵策略的演变,以及它们对数字欺骗时代态势感知的影响。我们还简要讨论了加强虚假信息检测和应对的潜在方法。
信息源可靠性和内容可信度方面的挑战

恶意行为者会运用多种策略操纵信息。而诸如广泛转发未经证实的内容等无意之举,更会加剧信息的传播,并显著助长虚假信息的扩散。正如前文所述,这些混合型威胁具有多模式性,且日益现实,往往会引发所谓的“说谎者的红利”现象:大量被操纵的内容导致人们对即使是准确的信息也产生怀疑。
当极具说服力的视觉内容与复杂的文本或音频操纵相结合时,人们越来越难以摆脱它们所设下的信任陷阱。此外,虚假信息不再局限于煽情的语言或带有明显偏见的叙述。如今的操纵策略更加微妙复杂,使得即使是基于文本的歪曲也更难被发现,并且其塑造认知的能力也更加危险。
首先,必须区分传播错误信息和虚假信息所使用的不同策略:
框架效应:这是一种微妙而强大的操纵技巧,它通过以一种引导解读的方式来呈现事实信息。通过选择性地强调或省略细节、运用隐喻、重复或特定的视觉线索,行为者可以引导受众走向他们想要的叙事。框架效应尤其危险,因为它并非依赖于虚假信息本身,而是依赖于信息的包装方式。其复杂性使其不仅能够强化信息茧房中已有的偏见,还能误导那些出于好意寻求准确信息的人。关于欧洲移民的虚假信息常常将移民描绘成对社会的威胁。欧盟最近的研究发现,虚假叙事经常将移民描绘成对欧洲人的健康、财富或文化认同的威胁。例如,2023年8月,希腊埃夫罗斯地区(土耳其寻求庇护者的主要入境点)遭遇了欧盟有史以来规模最大的森林大火,造成至少20人死亡;其中许多是藏身于森林中的移民。这些火灾非但没有让全国上下团结起来哀悼,反而成为了虚假信息宣传的背景,这场宣传错误地将灾难归咎于移民。火灾爆发后不久,充斥着阴谋论的谣言就开始传播。“还有600名移民准备放火烧死你们……他们会把整座城市烧成灰烬”,煽动民众组建团体“保卫祖国”,或者“我们正处于战争状态——非法移民……纵火超过10起”。在与乌克兰和俄罗斯相关的报道中,也存在类似的框架效应,而且策略更加复杂。
翻译与创译操纵:虚假信息通常会针对特定受众进行定制或本地化,无论是国家人口还是小众网络社群。因此,翻译在识别和传播被操纵的叙事方面都至关重要。仅仅将内容翻译成英语(或其他任何语言)可能不足以揭示其背后的框架策略或叙事扭曲。在某些情况下,翻译本身就被武器化:内容被故意误译,以改变含义、注入偏见或挑起分裂。例如,在乌克兰战争期间,中文虚假信息宣传活动将真实的视频片段与捏造的字幕相结合,完全歪曲了乌克兰官员的声明。这种被称为创译的策略超越了翻译或本地化;它积极地重塑信息,以跨越语言和文化界限操纵人们的认知。
然而,虚假信息的传播远远超出了文本操纵的范畴;它还涉及心理策略和技术上复杂的战术,旨在利用个人认知和数字生态系统。
人工放大与共识的错觉
虚假信息传播活动通常依赖于协调一致的机器人网络、网络水军和虚假账户,人为地放大虚假或误导性信息。这种人为的放大效应会营造一种虚假的共识感和可信度。一条信息被看到的次数越多,普通用户就越容易将其视为真理。
在近期发生的冲突中,例如伊朗-以色列冲突升级,大量虚假和自动化社交媒体账户向数百万用户传播人工智能生成的视频,例如病毒式传播的导弹袭击和战机被击落的深度伪造视频。同样,俄罗斯的影响力行动也利用机器人驱动的跨平台活动来强化其预设叙事,同时压制异议或基于事实的信息。这些举措使用户深陷于信息茧房和回音室效应之中,反复接触会强化人们的信念,即使是那些明显错误的说法。
搜索引擎优化(SEO)利用
与信息放大密切相关的搜索引擎优化(SEO)操纵是另一项关键策略。虚假信息传播者利用关键词堆砌、流量劫持和数据漏洞利用等营销策略来主导搜索结果。
机器人和网络喷子可以通过引入新的观点并反复传播,填补网络讨论的空白,直至这些观点成为热门话题。反之,他们也可以劫持热门关键词,为完全无关或误导性的内容增加曝光度。
此外,这些网络经常协同运作,将流量导向特定的“锚定来源”,这些来源看似权威,实则完全捏造。随着能够自动化和扩展这些工作的AI代理的兴起,这种策略只会变得更加复杂和广泛。
分身行动:网络欺骗遇上虚假信息
最具隐蔽性的混合威胁之一是“分身攻击”,它融合了网络战术和信息战。最基本的操作可能涉及通过略微修改顶级域名来伪造可信域名(例如,使用 nationalgeographic.com.co代替nationalgeographic.com)。更复杂的操作则涉及克隆整个新闻网站,创建虚假但足以以假乱真的复制品,发布捏造或严重歪曲的内容。
2024年,德国调查媒体CORRECTIV揭露了俄罗斯网络如何进行此类操作,将spiegel.de等知名域名克隆为spiegel.ltd。这些活动利用轮换域名、流量混淆和网络犯罪基础设施来绕过社交媒体平台和内容审核工具的检测。
“分身”营销活动是一种全方位的混合型威胁。它们结合了心理操纵、语言欺骗和技术混淆,利用信任漏洞,不仅欺骗读者,还欺骗平台、搜索引擎,甚至监管机构。它们的“可信度陷阱”不仅体现在叙事层面,更体现在结构层面,因此极难应对。
从人工智能武器到人工智能造福人类:人工智能如何支持开源情报分析人员
随着人工智能战争日益逼近,对于Hozint而言,确保提供可信赖的信息和态势感知解决方案,同时支持我们的分析师应对信息过载、虚假信息和错误信息策略,变得愈发重要。在人工智能可能被用作武器的世界里,我们希望以合乎伦理的方式运用它。
首先,希望利用人工智能辅助分析师评估信息来源的可靠性和内容可信度。再次强调,人工智能不会取代人类。混合策略需要混合应对措施。多层解决方案至关重要。此外,我们基于人工智能的解决方案可以兼具双重用途:一方面为分析师提供支持,另一方面揭示虚假信息和认知策略的模式与集群,从而使我们的平台能够更有效地调查新型且更为复杂的混合威胁。
但该如何实现这一点?人工智能如何帮助开源情报分析师筛选可靠可信的来源和内容?
在众多需要测试的实验和解决方案中,以下是一些关于人工智能如何帮助分析人员评估可靠性和调查新的混合威胁模式的想法。
按照前面介绍的虚假信息策略的顺序,我们将从语言和叙事相关的策略开始。
框架分析和多语言分析都可以借助智能体人工智能和大型语言模型来实现。这些工具的多语言能力正在不断提升,能够帮助开源情报公司和分析师检测误译,并/或对多种语言的内容进行初步的自动分析。当然,这些分析结果最终仍需由母语人士进行核查。近期,一些解决方案正在测试中,例如LlamaLens,它已经能够帮助分析师检查标题与文本内容(以及与搜索引擎优化关键词)的一致性,并进行事实核查和语言分析。框架分析仍然十分复杂,这也是我们希望在研究方面投入精力的方向。
转向元数据和更技术层面,一些可行的解决方案可能与增强元数据提取有关。我们可以增强人工智能爬虫,使其不仅能够提取相关文章和报告,还能全面收集和评估关键元数据,例如作者、出版商、发布日期、域名注册信息(WHOIS查询),甚至位置或主题聚类。这有助于分析人员快速识别可疑来源,例如仿冒网站或传播模式异常的域名,同时维护一个持续更新的可靠性数据库。
人工智能可以通过自动分析时间数据和搜索引擎优化关键词,标记新闻异常传播,例如在不知名域名上的快速传播,或指向可疑锚点的大量文章集群。这有助于识别机器人/网络喷子放大传播和搜索引擎优化滥用的迹象,而这些手段在混合型威胁中日益普遍。分析师随后可以将他们的专业知识集中在这些危险信号上,而不是关注整个互联网的内容。
值得注意的是,我们意识到元数据丰富性本应被视为积极信号,但它本身也可能成为恶意策略的一部分。如果作者姓名只是化名呢?或者,即使作者姓名是真实的,他们仍然想要传播低质量内容。通过利用人工智能进行初步分析,并由分析师进行确认或修正,我们的数据库将避免静态评分,并跟踪和监控每个来源和作者(如有)的评分。虽然这些信息将被保密,但它将支持根据执行的多项分析,持续构建每个内容的信誉度陷阱表,同时突出显示并揭示潜在的威胁集群。
数据和信息的可查找性、可访问性、透明度、互操作性和可共享性在开源情报分析中都非常重要,而且现在比以往任何时候都更重要的是,我们需要利用这些优势,以合乎道德的方式使用人工智能来减轻虚假信息和心理战的影响。
仍处于研发之旅的初期阶段,目标不仅是改进信息的实时发现,还要为分析人员配备新的、更强大的工具,以抵御当今快速演变的信息战。