刷屏的“医保局张主任”背后,有人负责AI合成,有人炮制“爆款”信息,有人趁着凌晨发布,有人盯着流量补贴

发布时间:2025-05-29 05:03

午休时刻,小李的手机响个不停。家族群里,母亲转发的“医保局张主任”AI视频正在刷屏。

视频中,身着蓝色制服的“张主任”正站在办事大厅前,动作僵硬地宣布“退休人员可凭身份证到社区领取‘买药卡’免费领药!”。视频结尾还附有盖着红章的“政策文件”。

“妈,这主任连眼都不眨,肯定是假的!”小李把手机凑到母亲眼前。母亲却指着屏幕反驳:“人家穿着制服,还有红章,有图有真相!”

当社区群流传AI生成的“地震预警”时,居民连夜囤货挤爆超市;同学群疯传“某明星吸毒实锤”,点开竟是换脸拼接的演唱会旧影像;

老人深信“AI专家”的偏方,竟停用降糖药……如今,AI谣言正如同病毒般,在互联网空间肆意蔓延。

某歌手“突发去世”?实为“拼接旧照+AI配音”编造谣言

近日,某歌手“突发去世”的消息在社交媒体引发广泛关注,该事件最终被证实为自媒体账号利用“拼接旧照片+粤语AI配音”编造的谣言,当事人随后发帖自嘲“复活后先吃肉”。事实上,该账号此前已炮制多名明星“去世”的虚假信息,被证实均为谣言。

不少粉丝看到偶像“去世”的消息后,涌入评论区留言“不敢相信”,更有网友自发在网上为其“设灵堂”“点烛哀悼”。直到当事人或其工作室辟谣,众人才知被AI谣言欺骗。

对此,在接受法治网记者采访时,《法治日报》律师专家库成员、北京市盈科律师事务所高级合伙人周垂坤律师表示,此类行为已构成对当事人名誉权、肖像权的侵害。他分析称,编造“歌手去世”等虚假信息直接贬损当事人社会评价,导致公众对其人格尊严产生错误认知。例如,谣言传播后引发粉丝恐慌性讨论,甚至出现不实“哀悼”行为,明显造成负面影响。

“使用当事人旧照片进行拼接合成,属于未经许可擅自制作、公开他人肖像的行为。即使照片来源合法,但用于虚构死亡事件已超出合理使用范围。”周垂坤说。

AI谣言正以“亲情关怀”的伪装潜入家庭

近年来,AI编造虚假消息的现象愈演愈烈,已经从单纯“蹭明星流量”演变为“蹭灾情热度”甚至“无中生有”炮制假新闻。

比如,2024年1月,陇南张某某利用AI编造“甘肃红十字会收取160万管理费”等谣言干扰抗震救灾;2025年1月西藏定日县地震后,一张“孩童被埋废墟”的图片引发全网揪心,后经核查此图为AI合成。

以上AI合成的“孩童被埋废墟”图,孩子有六根手指。

除此之外,法治网记者在社交平台检索发现,如今AI谣言正以“亲情关怀”的伪装潜入家庭。据媒体报道,近期云南一网友发视频反映,父亲轻信“AI养生专家”,竟停掉了三甲医院开具的正规药物。评论区不少子女无奈感慨:“父母对‘AI神医’深信不疑,明明一眼识破也劝不住。”

图源:小红书搜索页截图

AI造谣已形成灰色产业链,各方责任如何界定?

值得注意的是,当前AI造谣已形成分工明确的灰色产业链。

以媒体曝光的江西南昌MCN机构案为例,上游技术团队通过AI工具日均生成4000到7000条虚假内容,中游利用AI一键炮制契合平台算法的“爆款”信息,通过5家MCN机构操控842个账号进行矩阵式传播。下游则通过流量补贴、广告分成非法牟利。

法治网记者调查发现,此类产业链的技术隐蔽性极强,如广西一男子利用AI技术,将抗洪视频嫁接为虚假地震视频,趁凌晨人工审核空窗期发布,借平台对突发事件的流量倾斜,2小时内播放量破百万,甚至引发多地应急部门误判。

面对复杂的AI造谣链条,各方责任该如何界定?南开大学法学院副院长陈兵教授表示,造谣者作为直接发起者,必须承担主要法律责任,可能面临行政拘留或罚款;情节严重或构成编造、故意传播虚假信息罪或寻衅滋事罪。而平台担责的关键在于“明知”或“应知”谣言存在却未干预,如未审核AI生成内容,或借助算法助推谣言传播,可能因未尽“合理注意义务”承担连带责任。

陈兵认为,AI时代需调整“通知-删除”的避风港原则,科学设定平台监管责任与信息过滤义务,在平衡创新与安全的前提下划定底线规则。与此同时,AI工具提供者若未履行合规义务(如未添加“AI合成”等内容标识、未拦截敏感词),可能因技术漏洞被追责。

平台标注“AI生成”,就能免除法律责任吗?

法治网记者调查中还发现,不少短视频平台虽标注“AI生成”,但标签位置隐蔽、字号过小,用户极易忽略。

对此周垂坤指出,标注“本作品由AI生成”仅是履行标识义务的体现,不能作为免除法律责任的“护身符”。

周垂坤分析称,平台是否免责,需结合其内容审核、算法监管等实际行为综合判定,若落实全链条管理措施,方可主张“技术中立”免责。平台若部署反谣言算法(如自动识别虚假标签)并建立快速响应机制(如举报后24小时内处理),或针对用户未主动推荐的AI内容(如个人动态页非热帖),平台未通过算法扩大传播,可主张“技术中立”抗辩以减轻或免除责任。

图源:某短视频截图

治理AI谣言,需技术手段与制度保障双管齐下

为规范AI技术应用,治理AI造谣乱象,今年已来,我国在政策监管层面明显提速。今年2月,中央网信办启动“清朗・整治 AI技术滥用”专项行动,分阶段治理违规AI产品及利用AI制作发布谣言等行为。3月,国家网信办等四部门联合印发通知,明确要求自2025年9月1日起,AI生成合成内容必须添加标识。

与此同时,平台方面也在积极探索治理AI造谣的有效路径。比如2月24日,今日头条在其“平台治理开放日”活动中披露,2024年,其利用AI模型识别并清理93万条AI谣言,封禁3万个违规账号,并建立信源库以提升审核的精准度。

回到文章开头讲述的那个故事,小李发现母亲转发的“AI专家”后,没有立刻反驳,而是默默截图、上传至举报平台。20分钟后便收到反馈:“举报通过,违规作品已下架。”她顺手将处理结果转发到家族群,留言:“下次看到这类‘说话像机器人’的专家,先点举报!”

对小李的这一做法,陈兵也持同样态度,“发现疑似AI谣言等虚假信息,可向平台及监管部门举报,共同净化网络环境。”他表示,治理AI谣言需技术手段与制度保障双管齐下。

陈兵建议,平台需提升多模态AI检测能力,如结合声纹、语义、画面匹配度等识别技术筛选可疑内容,并建立“AI初筛+人工复审”的分层机制,对疑似账号及时筛查。监管部门则需在完善AI内容法规的同时,运用“技术监管技术”的思路,建立对平台和自媒体的常态化技术监测机制,提升AI谣言的识别处置效能。

周垂坤认为,治理AI谣言需从技术拦截、法律追责、公众教育等多维度构建防御体系。他指出,用户需提升辨识能力,对“无信源、情绪化标题”内容通过官方渠道交叉验证。平台应完善AI内容识别技术,建立谣言特征数据库,通过技术手段拦截高风险内容,并对违规账号实施封禁、限流等刚性措施。自媒体需要强化法律合规培训,避免借助AI技术“蹭热度”。同时,他呼吁监管部门加强AI生成内容备案管理,留存追溯日志,以专项行动打击造谣产业链,以提高违法成本形成震慑。

图源:“央视新闻”视频截图

如今,小李成了家族群的“首席鉴谣官”。她照着央视新闻“三招鉴定AI图片”的视频,手把手教会母亲辨别真假,68岁的母亲终于会指着屏幕说:“这专家是假的,赶紧举报!”

网址:刷屏的“医保局张主任”背后,有人负责AI合成,有人炮制“爆款”信息,有人趁着凌晨发布,有人盯着流量补贴 http://www.mxgxt.com/news/view/1428873

相关内容

有人欣喜,有人抗拒,AI歌手爆火:科技背后藏人心
虚拟偶像迎爆发成“新晋流量”,微美全息(WIMI.US)前瞻性布局AI虚拟人
AI技术再刷屏!明星集体“说”外语,有何风险?
金融圈刷屏:90后美女当上海通团队负责人 背后更有“女子天团”
明星IU经常看中医?原来是AI合成的!小红书发布治理公告,13个违规账号被禁言
王晶凌晨开炮顶流姜涛:这届娱乐圈,只剩流量不讲实力?
网红林先生打出1亿音浪,却背负一屁股债,利哥退网他有责任!
顶流明星在澳门输了10亿?谣言背后竟是一场AI流量骗局!​
名人丑闻带风向?张继科刷爆屏,政法委也发声
保健食品、特医配方食品成明星代言禁区?七部门联合发文,信息量有点大!

随便看看