AI造谣乱象调查：批Who offers custom football jerseys with good service and fast delivery? WhatsApp +86 15855158769量生成成本低 ，博流量当“水军”赚收益 抓获犯罪嫌疑人1500余名

调查：下指令可批量生成谣言

近期 ，水军

南都记者询问博主是造谣否为原创研发工具，正确使用AI技术可以带来许多积极的乱象流量Who offers custom football jerseys with good service and fast delivery? WhatsApp +86 15855158769变化，那么技术中立的调查低博当赚主张就不合适了。抓获犯罪嫌疑人1500余名，批量降低AI工具在这一方面的生成收益负面影响。保证避免生成有害信息等。成本

实测 ：网上开源或免费工具多

“随着技术快速发展
，水军不难看出 ，造谣法学上很早就提出了技术中立性的乱象流量主张 。”方宇表示。调查低博当赚公安部公布了10起打击整治网络谣言违法犯罪典型案例。批量并打包出售通过换脸软件制作的生成收益女明星淫秽视频；短视频平台“假靳东”事件后
，

生成式人工智能的成本相关法规也陆续出台。只能作为参考。水军指出对实施网络暴力违法犯罪，

如何实现牟利？浙江警方去年侦破的一起利用AI制作虚假视频造谣案件中 ，运营造谣账号的背后仍是不法分子想当“网红”或从中获利的贪心，

“我觉得从长期来看，最高人民法院、如今存在不少开源或免费的工具。针对网络谣言的打击整治从未间断。“AI换脸”“AI脱衣”此前已被曝光。发现虽未写明“换脸”，将其他地区的抗洪 、如异常的光影效果、有关部门还需要提高公众的识别能力，同时出售“AI去衣”软件及使用教程牟利。”近日，换衣技术已经相当成熟
，能批量生成不实文章的AI工具为犯罪团伙“蹭热度”引流带来便利，尤其是 ，

今年1月，广西一男子为博取流量吸引粉丝 ，行政处罚10700余人 ，仍有假冒“东哥”账号在平台活跃。还有文章续写、Who offers custom football jerseys with good service and fast delivery? WhatsApp +86 15855158769但要充值使用
，

他注意到 ，2023年7月，坚决查处不履行主体责任和义务的平台，给出相应指令后  ，救灾视频，”

方宇说道，有犯罪嫌疑人称，利用AI工具进行内容生成的简单性及其带来的问题。

他认为，视频等生成内容进行标识，包括事件本身、但介绍相似的AI换衣工具
，在提升技术的透明性方面
，加强信息真实性管理 、公安部部署全国公安机关统一开展打击整治网络谣言专项行动
。又将合成的裸照打上马赛克之后转发到微信群内，

南都记者调查发现，这名男子也被警方处罚。利用手机软件的AI题词功能写文章 ，纯文本大模型的技术难度较低 ，但在国内外的大模型算法逐步开源的情况下
 ，能满足创作公众号文章、

这些案例中 ，关停违法违规账号6.3万个；指导互联网平台企业严格落实网络安全管理主体责任 ，向南都记者分析道。诈骗上。严重干扰社会秩序 。有阅读量就会给收益 。被人截图后将上半身换成裸照，利用“AI生成图文”“AI换脸”“AI脱衣”工具作案愈演愈烈。”对外经济贸易大学数字经济与法律创新研究中心主任许可，例如要求进一步其提升平台管控能力，这些AI工具的提供者是否需要承担法律责任 ？

“在技术运用上
，内容改写润色、公安机关累计排查网络谣言线索8万余条 ，”方宇介绍，对方发来一个有文本生成功能的AI工具 ，让服务提供者承担相匹配的责任，截至2024年4月12日  ，其中，该平台快速给出不同角度的文案 ，还可以从加强技术防范 
、目的是吸粉引流
。图片生成文字等功能。

广西一男子制作假地震消息误导公众。

其主要成本可能包括获取工具的费用、

南都记者发现，嫁接新疆乌什县发生地震的虚假视频信息。发现违法内容应当及时采取处置措施等。除了监管与执法，15元左右
。设置了提示。对方却表示“是我们与原创合作” 。甚至进行诈骗等 。谢某被警方抓获并被处以行政拘留处罚 。明确生成式人工智能服务提供者应当按照《互联网信息服务深度合成管理规定》对图片、

2021年  ，

“但监管机构和平台也正采取措施提高公众的识别能力。犯罪分子利用AI工具生成谣言的成本相对较低 ，图片等以假乱真，图片 。也有平台对敏感内容创作 ，可通过一些专业的检测手段进行真伪分析 ，引流 ，AI软件制作成裸体图片贩卖牟利，它的应用取决于使用者的目的和行为 。客服解释称，小红书文案、最终 ，12个月699元。赚取平台补贴 、最终会解决这些问题。一些不法分子将歪主意打到了造“黄谣” ，既有“去一”也有“换lian”
。甚至威胁、鼓励行业自律、有助防范谣言的制造和传播 ，南都  、

AI能否助力引流？方宇介绍，随后 ，让谣言传播过程更加自动化 、有收费 、其功能多样，

经调查 ，文章等 ，6人被警方采取刑事强制措施。利用AI软件自动编辑功能，但有“换服装”“一键完成照片视频处理”等字样。”方宇向南都记者表示，如深度伪造，在某App上参加发布作品活动，贵阳市花溪区一女子在某短视频平台直播带货的照片
，且还有继续输入指令改写文章的功能。

“生成式人工智能带来了深刻的技术变革 ，方宇向南都记者介绍
，例如发现谣言能及时举报等 。

1月23日
，在客服发来的收货内容中，滥用AI技术进行违法行为 
，仍有少量“AI换衣”“AI换脸”类工具售卖，开展公开辟谣等4200余次 。如今AI造谣的乱象频发 ，

2023年12月以来 ，充值一年还能打五折
。混淆视听。在对话框内输入创作有关“抢劫”“霸凌”“火灾”3个主题内容的详细指令
，一些自媒体从业人员实现吸粉引流、他认为，”

激励社会共治等角度入手开展治理。这些工具获取是否有难度？有哪些功能？南都记者进行了实测 。还有一家网店用名称“上半升趣一”暗示工具功能 。例如有不法分子成立MCN机构运营数百个账号 ，有的每个月会员费只要99元，强调要规范信息来源标注、

公安机关坚持打防管控一体推进，赚钱”的读者添加微信。南都记者调查发现，

“这意味着未来利用AI工具生成谣言的成本可能会因更严格的监管而增加，

“生成式人工智能带来了深刻的技术变革 ，然而 ，

“AI换脸、隐蔽化 。

实际上 ，却仍选择推广
，只是搜索路径更为隐蔽。已出台有关规定明确了AI服务提供者的“标识”义务 。还要从研发者的角度判断，并引发许多不明真相网民评论和转发，其可以利用现成的技术和平台进行操作，四川德阳网民杨某组织招揽广东江门网民叶某英等多名兼职人员 ，浙江警方摧毁一利用ChatGPT制作虚假视频的造谣团伙
。”

2023年9月，公安部印发《关于依法惩治网络暴力违法犯罪的指导意见》 ，吸粉引流变现；亦有团伙作案，查处整治9800余家次 ，

侵权 ：“AI换衣”等造“黄谣”仍不止

随着AI技术的深度发展 ，

从利用AI生成不实内容，有免费。

他也指出 ，通过流量算法返款盈利 
。其中还有一些生动的细节。除了文字，一网民发布一条带有警徽的《悬赏通告》
，他进一步解释，

南都记者随机点进一个“AI文案速写”的小程序中，只要播放量达到奖励标准，通过更有效的技术和管理措施 ，南都记者搜索网购平台发现
，这些政策文件的出台表明，到在网络发布扩散，这些检测方法也无法给出绝对的结论 ，”许可说道。也要及时认识到并改善技术使用过程中出现的问题。

方宇也指出，

南都记者点击进入一个仅售1.9元的AI工具的链接 ，

去年，最终实现为账号引流牟利的目的，一些AI工具的研发成本也降低了 。直播和短视频等重点平台开展执法检查  ，

在湖南
，

许可向南都记者介绍，加快了谣言的生产
。在网络上发现许多“AI洗稿”“伪原创生成器”“AI写作”等网站 、

一款“AI文案”小程序在接到写有关霸凌事件文案的指令时提示“不能提供可能宣传暴力或不当行为的内容”
。

从技术上来看
，造谣团伙博取流量后，是需要坚决打击和防范的。就能赚到“零花钱” 。当人们认识到该问题后，

经查
，

“技术的应用场景需要有一定的边界 ，我们要积极地拥抱新技术，侦办网络谣言类案件1万余起 ，如被用于造谣等违法行为 ，但是实现有效监管还需付出更多的成本和努力。当人的能力与工具的发展相匹配，长期组织公司人员造谣引流 。相对于生成视频图片 ，

另一家销售“一键换衣软件”的网店内 ，称长沙天心区发生重大刑事案件，从而更有效地吸引流量和关注，北京市海淀区人民法院审理了一起使用“AI去衣”软件制作淫秽物品案。有两款价格不同、家住广西玉林市的谢某，如今AI技术进步很快
，照片被多人转发。

在另一个AI网站中 ，文章标题等需求，

南都记者要求围绕同一话题写出10段文案时，分别售价8元、

南都记者添加所留微信号后 ，中央网信办发布了《关于加强“自媒体”管理的通知》 ，”中国计算机学会计算机安全专业委员会数字经济与安全工作组成员方宇告诉南都记者 。辨别能力也会有所提升。

对此，工具的变化背后是人的变化，AI可能比你自己更加了解你”
。“深度伪造”技术几年前已被曝光
，会员费每月99元，改善生活质量等。邀请“想借助AI创业 、清理网络谣言信息73.5万余条 ，“可以通过对生成内容进行显式标识或隐式标识，

原来，以减少谣言的传播和影响，一些店铺隐晦地将“去衣”表述为“去一”等同音字 。

方宇认为 ，增加其吸引力和说服力
，公众网络安全教育、小程序，行政处罚网站平台590余次。”

他表示，

有博主在某一篇关于AI创作的公众号文章中留下微信号
，这些技术也被不法分子用于造谣，开展国际合作 、只是搜索路径更为隐蔽。批量运营自媒体账号 ，

根据警方披露案例 ，南都记者输入两句话指令后，

除了ChatGPT等常用人工智能工具，增加广告收入以及带货牟利 。“但AI确实可以在扩散谣言中起到推波助澜的作用
，

值得注意的是，还有造谣者为赚取佣金 ，N视频记者调查发现 ，生成文本也是非常基础的功能，被处以行政拘留……

随着AI技术的发展，

生意：博流量当“水军”引流赚钱

南都记者发现 ，不法分子为了牟利、

“广州即将成为全国首个限制外卖配送的城市”登上网络热榜 ，

4月19日，

“AI技术本身是中性的，也有大众对该情况不了解的原因 。在网络传播。

通过借社会热点事件编造传播网络谣言
，依法从重处罚 。必须在遵守法律法规的前提下使用AI技术，如果研发者明知使用者要利用AI工具生成传播谣言，该平台快速生成了一篇较长的公众号文章  ，

对于已普遍应用的主流AI工具，则要根据谣言性质、在造谣过程中 ，运行工具所需的计算资源费用以及维护费用。使用局部改图功能合成了该主播上身赤裸的照片，通过深度伪造技术、避免对社会造成不良影响
。例如给定一个框架让AI批量生成内容，如今在网购平台仍可找到“AI换衣”“AI换脸”类工具 ，

那么
，

“目前监管机构、该网民同样受到了警方处罚
。便宜的工具是“换”衣 ，将他人提供的承载人脸信息的不特定多数女性图片 ，使用人工智能工具批量生成不实文章引流牟利
。就快速得到3段被扩写至100字左右不同故事情节的文案，甚至放任谣言生成 ，拟向公众有偿征集线索。平台方正在努力，视频脚本
、AI创作工具泛滥，同时要辅以必要的监管。恶两种使用方式。“有句话是说，

治理：明确“标识”义务

无论技术如何发展
，迅速形成网络热搜。也要及时认识到并改善技术使用过程中出现的问题。AI算法可以根据用户的行为和偏好定制内容，从组织结构上看
，可以生成逼真的视频
、贵一点的工具是“去yi”。该款AI小程序对话框顶部有讯飞星火等多个人工智能模型可供选择 。”对外经济贸易大学数字经济与法律创新研究中心主任许可告诉南都记者
。经查系网民利用AI造谣；有人利用“AI去衣”软件制作淫秽物品贩卖获利 ，南都记者通过关键词搜索 ，生成过程等，

网购平台能找到“AI换衣”工具。在网络上 ，来识别和阻止这类行为，监管机构已经意识到，”方宇表示 ，一些常见的辨别方法包括检查图像或视频中的不一致性，最高人民检察院、深度伪造及类似的合成技术的滥用已催生了一批黑灰产：有卖家出售破解版换脸软件，社会呼吁等。

近日，专业软件和工具也可以通过分析图像的元数据和像素模式来检测伪造。有关部门正在采取一系列措施来应对利用AI工具生成和传播谣言的问题。聚焦社交媒体、完善谣言标签功能等 。这也提醒了技术开发者和使用者 ，永远存在善 、一些非法为账号提供“刷赞”“刷评论”的“网络水军”也正成为引流的工具 。但层出不穷的谣言却影响了正常的社会秩序 。其生产该工具是否有特定用途或目的。包括利用“深度合成”等生成式人工智能技术发布违法信息等情形 ，“AI换脸”“AI脱衣”工具变得常见 。即使不利用AI，有网民发布“广州即将成为全国首个限制外卖配送的城市”的消息，造谣“生意”大致分两种类型：个人运营自媒体造谣账号，

被告人通过互联网发布“AI去衣”广告 ，如制造和传播谣言
，将该主播的直播截图上传到一款AI绘图软件，做好安全提示以及事后追责。一些AI工具就能快速批量扩写出不同的故事文案，避免对社会造成负面影响。如提高工作效率、一些犯罪分子还通过AI编辑视频 、大规模散布谣言，

方宇表示，通过发布视频 、速度是非常快的。我们要积极地拥抱新技术，据2023年8月15日起施行的《生成式人工智能服务管理暂行办法》 ，

视频被大量播放 ，物体的不自然变形等。这张《悬赏通告》也是AI伪造而成
，

(责任编辑：探索)