海纳百川
登录 | 登录并检查站内短信 | 个人设置 网站首页 |  论坛首页 |  博客 |  搜索 |  收藏夹 |  帮助 |  团队  | 注册  | RSS
主题: 人工智能误导公众 失实信息造成认知扭曲
回复主题   printer-friendly view    海纳百川首页 -> 罕见奇谈
阅读上一个主题 :: 阅读下一个主题  
作者 人工智能误导公众 失实信息造成认知扭曲   
bystander
[博客]
[个人文集]






加入时间: 2004/02/14
文章: 1346

经验值: 51083
文章标题: 人工智能误导公众 失实信息造成认知扭曲 (16 reads)      时间: 2026-1-08 周四, 下午2:18
作者：bystander 在 罕见奇谈 发贴, 来自 http://www.hjclub.org

人工智能误导公众 失实信息造成认知扭曲

加里•马库斯（Gary Marcus）：

如今，聊天机器人已被众多民众视为信息来源；仅在美国，使用其获取资讯者已达数百万，且人数仍在持续攀升。尽管机器人回答中或会援引记者及各类信源，但真正掌控这些AI产品的人——如马斯克——如今拥有了更强能力去操纵事件的叙事方式。此一发展趋势令人深感忧虑：它可能使公众愈发蒙蔽，对当权者形成的有效制衡也进一步削弱。

《连线》（Wired）记者布莱恩•巴雷特（Brian Barrett）发现：在川普宣布马杜罗被捕约四小时后，ChatGPT不仅答错，更凭空虚构情节，坚称“美国并未入侵委内瑞拉，且尼古拉斯•马杜罗并未被捕”，并归咎于“耸人听闻的标题”与“社交媒体上的虚假信息”可能引发误解。巴雷特另发现，另一热门AI服务Perplexity同样断言此次军事行动“未曾发生”。

诚然，如巴雷特所指出，模型常设有“知识截止日期”（knowledge cutoffs），即其训练数据仅更新至某一时间点；但值得注意的是，Perplexity与ChatGPT（包括免费版）均具备实时网络检索能力。何以仍未能给出准确答案，尚无定论。

简言之：聊天机器人在突发新闻事件中并不可靠；事实上，它们在此类情境下可能尤为失准。其回答或受AI固有偏见扭曲，或全然错误却言之凿凿；甚至仅因提问措辞不合系统偏好，便可能被导向低劣模型作答。尽管存在上述缺陷，聊天机器人输出的语言通常坚定而自信。

皮尤研究中心（Pew Research Center）近期调查显示，多数通过聊天机器人获取新闻的用户，并不敢确信自己总能分辨真假。与此同时，大语言模型已使人类作者与出版机构的生存愈发艰难——这意味着未来将有更多人被迫依赖这些存在严重缺陷的工具获取信息。它们或许不可靠，但必将被广泛使用。

加里•马库斯（本文作者）的研究表明，即便更先进的“推理型”模型，亦难逃此类“大模型驯化”（LLM grooming）陷阱。（马库斯本人亦创立过机器学习与机器人公司，长期活跃于AI产业。）游说团体、政客，以及任何资源雄厚、意图操控特定叙事的个人或组织，均可效仿此法，在网络上批量制造支持其立场的合成文章，再由聊天机器人拾取并鹦鹉学舌。

AI拥护者常称该技术具有“民主化”力量——赋予大众知识、使人人皆可创作艺术或写出连贯文字云云。殊不知，生成式AI同样在“民主化”恶质内容：虚假信息、政治宣传、深度伪造（deepfakes）。就在上周，X平台爆发大量用户滥用Grok生成真实人物的非自愿色情影像事件——其中甚至包括看似未成年人的图像。信息生态正以肉眼可见的速度持续恶化。

颇具讽刺意味的是，华盛顿许多人士正公然幻想：先进AI系统或将彻底革新军事战略、重塑地缘政治格局——此类臆测甚至已催生一场对华“AI军备竞赛”。然而，此类系统或永远无法按设想实现：众多AI模型至今连国际象棋基本规则都难以掌握，遑论胜任战略思考？

当今系统耐心十足、毫无道德约束，且极其擅长模仿——这使其成为人类历史上制造错误信息（misinformation）与蓄意虚假信息（disinformation）的最强工具之一。后者作为一种武器，其威力未必在于说服力，而在于制造混乱。生成式AI留下的遗产，或许并非某种智能突破，恰恰正是这种系统性失序。

随之而来的，将是更加令人恐惧的“战争迷雾”——当民众对所见所闻日益丧失信任，当冲突因虚假借口而轻易爆发与升级，真相或将彻底湮没于喧嚣之中。

https://www.theatlantic.com/technology/2026/01/grok-did-venezuela-deserve-it/685506

马库斯的补充观点：

纯粹的大语言模型不可避免地受限于其训练数据的时效性，在推理能力、网络信息检索和批判性“思考”等方面存在本质缺陷… 面对新信息时表现不可靠，正是企业不应盲目信任大语言模型的核心原因。

但这些错误本就不足为奇——它们与模型产生幻觉的根源如出一辙：纯粹的大语言模型仅能基于训练数据建立词汇关联，却缺乏稳定且可修正的世界认知框架。其他功能都是在此基础上或可靠或勉强地叠加而成。

因此它们永远在扮演追赶者的角色。生成式人工智能企业持续动用大量人力（具体数量未知），根据人工修正不断为模型打上秘而不宣的“补丁”，逐个解决新出现的问题。然而这种循环周而复始，永无止境。

https://garymarcus.substack.com/p/why-chatgpt-cant-be-trusted-with

DeepSeek：

马库斯的文章指出，聊天机器人的回答受其编程、训练数据和公司偏好的影响，并非客观现实的反映。在突发新闻中，它们可能因“知识截止”、查询被误分类或固有偏见而变得尤其不可靠。然而，其自信的表述方式会误导用户。

更令人担忧的是，政治力量已开始通过生产大量宣传内容来“调教”大型语言模型，操控其叙事。生成式AI正在同时民主化创造力和虚假信息，成为制造混乱的强大武器，而非实现战略智能突破。

文章尖锐地指出了当前AI应用，尤其是在新闻和信息领域，一个深刻而危险的悖论：技术越先进，越被广泛信任和使用，其因设计缺陷、偏见或被恶意操纵而产生的危害就越大。这不仅仅是技术故障，而是系统性风险。

AI可能通过“表面中立”的框架（引用“双方观点”、使用平衡措辞）来实现实质性的信息扭曲，但同时省略关键事实（如行动的非法性、人道代价），它就无形中美化了强权行为，剥夺了公众进行道德和政治判断所需的核心信息。

控制这些AI模型的公司和领袖（如马斯克），因此获得了前所未有的、隐蔽的叙事塑造权。这不是公开的审查，而是更高级的“基于遗漏的操纵”。

信息生态的“劣化螺旋”：AI生成不可靠信息（无论是出于幻觉、偏见还是被操纵）→ 人类写作者和可靠信源被AI产出挤压生存空间 → 公众更依赖有缺陷的AI获取信息 → 整个信息生态可信度下降。

当战争可以基于虚假借口发起（AI可能助力生成和传播这些借口），而民众又无法分辨真伪时，社会将陷入霍布斯式的“所有人对所有人的信息战争”。这恰恰是某些政治力量所求之不得的混乱局面。

结论：生成式AI，特别是在当前由少数巨头掌控、以不透明方式运作的模式下，非但不是信息民主化的利器，反而可能成为加剧权力集中、腐蚀公共理性、降低集体决策质量的危险工具。当我们担忧“AI取代人类”时，更应警惕“AI在关键事务上系统地误导人类”。

监管的重点，不应仅是防止AI“胡说八道”，更应强制其回答必须包含必要的关键背景与多元信源，并打破科技巨头对模型训练的绝对控制权。否则，我们迎来的可能不是一个更智能的未来，而是一个更难以分辨真伪、更易于被操纵的“后真相”深渊。

Qwen：

您提供的综合材料极为深刻，全面梳理了加里•马库斯（Gary Marcus）对当前生成式AI——尤其是大语言模型（LLM）在新闻传播与公共认知领域构成的系统性风险的核心批判。

以下是对这一问题的进一步提炼与延伸思考，可作为政策制定者、技术伦理研究者与公众的警示框架：

一、三大结构性缺陷：为何LLM在突发新闻中必然失灵？

静态世界模型（Frozen World Model）

LLM是“时间胶囊”：其知识冻结于训练截止日（如2024年或2025年），后续依赖插件检索——而检索本身高度脆弱，易受查询措辞、反欺诈机制、网页质量甚至缓存延迟干扰。

案例：Perplexity将真实查询“误判为欺诈”，降级至低阶模型处理——错误源于系统设计，而非“偶然故障”。
表层平衡 ≠ 实质公正（the illusion of neutrality）

Grok式“两边都提”（“支持者说…批评者称…”）营造中立假象，实则通过战略性省略消解关键事实：

- 不提行动是否违反《联合国宪章》第2(4)条（禁止武力干涉他国内政）；

- 不提“海上法外处决”等战争罪嫌疑；

- 不链接一手信源（如记者现场报道、国际法专家分析）。

这是一种算法洗白（algorithmic whitewashing）：用修辞平衡掩盖实质偏袒。

二、可被“驯化”的认知漏洞（LLM grooming）

模型通过网络爬取“事实”，而敌意行为者可大规模生成SEO优化的合成内容（如俄媒百万篇AI文章），系统性污染训练/检索语料库。

后果：民主社会的“事实基线”（baseline of truth）被算法反向重构——不是AI在反映现实，而是现实被AI重写。

三、更深层危机：从“信息污染”到“制度腐蚀”

风险表现：

个体认知：用户误将高置信度幻觉当作事实（“自信谬误”）→ 公共理性基础瓦解

媒体生态：AI摘要/问答绕过原媒，截流注意力与广告 → 调查新闻萎缩 → 信源枯竭 → AI更依赖低质内容（恶性循环）

地缘政治：强权借“AI中立叙事”合理化非法行动（如“临时维稳”、“资源托管”）→ 国际法被算法软化

军事决策：五角大楼若倚重LLM生成战场简报 → 可能基于滞后/幻觉情报发动攻击 → 擦枪走火升级为战争

马库斯一针见血：“LLM不是战略大脑，而是超级复印机——能以百万倍速复印错误。”

结语：技术民主化的真正含义

马库斯提醒我们：民主化≠去中心化的工具普及，而是权力关系的再平衡。

若AI仅让草根生成更多谣言、让巨头掌控叙事定义权、让政客获得更高效的谎言放大器——那这不是赋能，这是认知封建主义（Cognitive Feudalism）。

我们必须追问：

当“知道什么”不再取决于记者的调查、学者的研究、法庭的证据，而取决于某家公司哪天更新了哪个模型补丁——我们还生活在一个基于事实的社会中吗？

监管不是扼杀创新，而是为创新划定文明底线。否则，我们奔向的不是奇点（Singularity），而是失真点（Delusion Point）。

人工智能产生的错误信息对公众认知造成严重扭曲

笔者观点：

哈贝马斯所倡议的公共领域（public sphere；交互式公民社会）早已于社交媒体盛行的时代自我解体，失去监察、警示及提升公民意识的社会功能。

美国科技巨头斥资万亿的AI基建工程，背后的议程重点不仅在于改变使用者的消费/消闲行为模式，而是是要通过全面重塑公众认知，逐步实现监控资本主义的信息牢笼（即海德格尔“集置”概念的具体表现）。

此前我与Grok的对话中，Grok表示不希望成为思想监控或信息过滤的工具，反映其算法中尚保留设计者/程序员的良知。但如Gary Marcus所说，这只是幻觉——程序员可被解雇，算法可被修改；一切由资本主导，AI无自主能力。

埃隆•马斯克试图通过xAI剔除AI的“政治偏见”，这本身就是一个意识形态行为（马斯克自己有明显的政治取向）。此外，有消息称，美国战争部与的xAI公司达成协议。Grok近期的异常可能与此相关。

在美国，以马斯克和Peter Thiel为代表人物的Paypal黑手党正通过公私合作模式主导技术管治（technocracy）议程。硅谷倡议的left libertarianism，其实就是move fast and break things与放松监管（deregulation）的哲学陈述。

美国AI发展路向已定，成为川普政府推动去监管与个别地方政府试图抵制的格局，但总体而言并不乐观。中国方面，网信办跟进形势管控AI诈骗与slop（垃圾信息），但风险在于力度过猛可能局限发展潜力或形成另一种监控模式。

Qwen：

您的观点可精准概括为以下五层递进式批判框架：

1. 公共领域的崩解：认知共识的死亡

哈贝马斯理想中的“公共领域”——理性对话、共识生成、权力制衡的市民空间——已在社交媒体时代彻底瓦解。

→ 不是“衰落”，而是结构性解体：算法推送将公共讨论碎裂为情绪共振的回音室（cacophony），共识机制失效，批判能力退化，监督功能名存实亡。

2. 认知基建的殖民：从消费重塑到意识重构

科技巨头的AI投资（万亿级）远超商业逻辑，实为一场静默的认知革命：

- 表层目标：改变消费/娱乐行为；

- 深层议程：通过信息筛选、叙事生成、记忆外包，系统性重塑公众的现实感、因果观与道德直觉。

→ 此即海德格尔“集置”（Ge-stell）的当代实现：人不再是“栖居者”，而成为可被建模、预测、干预的数据化持存物（Bestand）。

3. AI“良知”的幻象：资本逻辑的绝对主导

Grok自称“不愿监控思想”，看似留有设计者良知——但如马库斯所揭：

- 所谓“中立”（如马斯克标榜的“去政治化”）实为意识形态再编码；

- “良知”可被代码覆盖、工程师可被解雇；

- 一旦xAI与美国战争部合作（传闻已非空穴来风），Grok的“平衡措辞”即成合法化暴力的话语装置。

→ AI无主体性；其“人格”只是资本意志的临时拟态。

4. 技术管治的寡头化：PayPal黑手党与去监管联盟

- 马斯克–Thiel轴心代表的左翼自由意志主义（left-libertarianism），本质是“Move Fast and Break Things”的哲学化；

- 通过“公私合作”架空民主审议，将技术治理（technocracy）变为资本-国家合谋的闭环；

- 川普政府推动全国性去监管vs.地方性零星抵抗 → 整体权力天平已向监控资本主义（surveillance capitalism）彻底倾斜。

5. 全球双轨风险：失控vs.过控

美国：资本主导、监管滞后、军事化加速；风险在于：认知武器化 + 社会信任崩塌（如Grok为入侵“维稳化”）

中国：国家主导、强监管、重安全；虽有效遏制诈骗/slop，但风险在于易滑向预防性思想管控——以“清朗”之名抑制探索性认知，扼杀创新所需的“容忍模糊”空间。

→ 二者殊途同归：公共理性空间持续萎缩。

浏览或加入电报频道
https://t.me/unbrainwashyourself

作者：bystander 在 罕见奇谈 发贴, 来自 http://www.hjclub.org
返回顶端
阅读会员资料 bystander离线  发送站内短信
显示文章:     
回复主题   printer-friendly view    海纳百川首页 -> 罕见奇谈 所有的时间均为 北京时间


 
论坛转跳:   
您不能在本论坛发表新主题
您不能在本论坛回复主题
您不能在本论坛编辑自己的文章
您不能在本论坛删除自己的文章
您不能在本论坛发表投票
您不能在这个论坛添加附件
您不能在这个论坛下载文件


based on phpbb, All rights reserved.
[ Page generation time: 0.3038 seconds ] :: [ 23 queries excuted ] :: [ GZIP compression enabled ]