“去年国庆假期，有人过了7天假，被我整整骂了8天。”
近日，雷军在两会期间提到自己去年被网友用AI换脸、拟声，做各类视频的“嘴替”和“脸替”；雷军直言，对于这些“盗版”雷军，自己想通过法律维权，却发现对此没有专门的立法，只能用隐私权、肖像权、名誉权等法律起诉，而这些都要量化损失，因此深受其扰。如今社交平台AI视频屡见不鲜，由AI生成的真人形象已经到了以假乱真的程度，在各种各样的“AI骗局”里，雷军还不算最大的受害者；面对这些“AI真人”的诱导，照单全收的几乎都是无防备心的中老年人。
“我奶奶沉迷抖音上的假孙子以后，我就失宠了。”陆俊（化名）的奶奶今年79岁，从春节开始每天都要看胖小孩短视频，视频里的胖小孩穿着小棉袄、小肚兜，每喊一句“奶奶”，陆俊的奶奶都会大笑起来。
仔细看视频里的胖小孩，皮肤光滑到有些失真，背景局部模糊，手指长短和摆放位置也不自然，AI创作痕迹极重，是很多年轻人眼里的“一眼假”。
图源：抖音截图然而，中老年人几乎没有识别AI创作的能力。陆俊不止一次提醒奶奶这是“假的”，是AI生成的，有些视频下方会有AI创作的提示，但奶奶都不以为意。陆俊对此也十分无奈，“我第一次提醒奶奶的时候，她有点震惊，但之后还是继续看，她并不在乎小孩是真的还是假的，只觉得能让自己开心的就是好东西。”
“AI宝宝”，瞄准的是中老年群体被忽视的情感需求。有些网友甚至将AI宝宝当成了怀孕许愿池，希望自己的家人也能有一个视频里这样的宝宝，并纷纷在评论区留言“接宝宝”。
图源：抖音截图如果单纯只是把这当作消遣也无妨，令人担心的是，这些AI形象说的话，家里老人全都信。刘然（化名）的外公经常往家族群里转发一些养生专家的科普，有次刘然点开看才发现，外公嘴里的专家其实是AI创作的数字人。
刘然医学专业毕业，今年已经是肾科博士学位在读，但外公提到养生治病相关的话题还是会跟他抬杠。比起自己的亲外孙，外公更相信短视频里的数字人“专家”，即使这个账号里的专家并没有任何权威认证。
图源：抖音截图在很多年轻人看来，家里长辈信任数字人和当初沉迷“反智营销号”一样令人费解。刘然对此非常无奈，外公当初也是读过大学的，“网上所谓的‘老师’和‘专家’随口说几句，他们就觉得是真理，却不愿意听一听身边亲人的实话。”
“趣解商业”观察到，如今社交平台上充斥着针对中老年群体的AI账号，这些账号的视频内容，大多是由AI生成的真人形象，通过套近乎、讲哲理等“话术”，吸引中老年人的关注和信任；有些AI账号，已经靠这份“信任”通过橱窗带货赚起了第一桶金。
图源：视频号截图
例如上图中的视频号“·古元·”，瞄准的就是渴望关怀的高龄女性。视频大多以“我的宝贝姐姐开头”，发布的视频大多围绕老年女性的生活常态展开，“我发觉姐姐近来面容憔悴，弟弟跑了好多地方，找到这款面霜特别适合姐姐”，随后引导用户点击主页关注、下单。
虽然该账号发布视频数量不多，但橱窗商品的销量已突破三位数；评论区大多是对被视频里“男人”温柔话语打动的用户。
事实上，养生、情感内容一直是“收割”老年人的重灾区，被骗的人通常与受教育程度无关，而是沉迷视频带来的情绪价值。据“蓝鲸新闻”此前报道，收割老人的数字人视频如今已经发展成一条灰色产业链。市面上涌现出制作数字人的外包公司，服务价格在5000-10000元不等。商家会帮助客户搭建数字人形象，指导运营账号。很多AI账号是利用老年人的同理心卖货，但值得注意的是，随着技术的快速迭代，针对中老年的AI换脸的诈骗案也开始频繁出现。
两会期间，除了雷军吐槽自己被做成AI，政协委员靳东也提到了AI换脸的危害，他表示，一些喜欢我影视剧的观众，被AI换脸视频骗得很惨。
图源：视频截图
据“趣解商业”了解，去年，就曾有一位江西老人被换脸视频蒙蔽，要贷款200万给网恋男友“靳东”拍戏。人们警惕提高的速度，跟不上技术进步的速度；不仅老年人，有一定科技阅历的年轻人也深受AI造假的迫害。据《北京商报》报道，2024年2月有诈骗犯运用Deepfake 深度伪造技术，制作出公司高层发言视频，诱导职员先后15次将2亿港元转至指定账户。除此之外，还有用AI换脸真人制作色情影片、盗刷医保的违法案例。
杭州曾有人通过AI换脸伪造女明星涉黄视频，甚至还组建群聊，满足定制换脸色情影片的需求，根据时长、视频难度收取相应的费用，杭州萧山检察最终在该群内查获的淫秽视频高达1200余部。
图源：央视新闻截图
AI让造假越来越容易。诈骗能根据后果量刑，但想要根除互联网上AI虚假信息却并不容易。
在去年底的西藏定日发生地震后，一张“小男孩被埋”的图片在社交媒体上疯狂流传，但最后被证实是AI生成；今年1月洛杉矶爆发山火，好莱坞标志牌着火的照片，在国内外社交平台上疯传，随州这张照片也被官方媒体辟谣说是由AI伪造。令人忧虑的是，在官方辟谣定论之后，至今仍有不少网友将这些AI图片当作真实照片。
图源：微博截图无底线造假必然要付出代价。北京周泰律师事务所张子航律师表示，在公共事件中，故意歪曲事实，用AI或者其他技术手段制作图片、视频，并在社交平台传播造成负面影响的，首先要追究的是制作者的责任，制作者面临的可能是行政责任，也可能是刑事责任。此外，发布虚假信息的社交平台，也有可能要承担法律责任。“AI安全”同样也是今年的两会热词。全国政协委员、奇安信科技集团董事长齐向东提议，针对人工智能安全问题，要从技术保障、制度保障、成果应用三方面入手，系统提升安全能力。
全国政协委员、360集团创始人周鸿祎认为，传统网络安全的解题方法解决不了人工智能的安全问题。智能体的安全、知识数据的安全、客户端的安全、基座模型的安全，构成人工智能安全的新领域。他建议，应由既懂安全又懂AI的企业牵头，以模制模，通过打造安全大模型来解决大模型的应用安全问题。
图源：微博截图如今，各平台都在加强对AI内容的治理。抖音、视频号、小红书等都推出了针对AI治理的管理政策。“趣解商业”了解到，腾讯等互联网公司已经在研究检测AIGC的第三方工具，这些工具根据相似检索、内容检测和水印追溯等方法，支持文本、图片等AI生成内容的检测。
在头部互联网公司从事AI研究的Lisa表示，如今生成内容越来越逼真，真实图片与生成图片的特征差异越来越小，检测工具的模型学习难度其实也在增加。
想要减少被AI蒙骗的发生，需要平台监管、用户意识提高以及相关法律法规完善等多方合力。2024年9月14日，国家互联网信息办公室发布了《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知，以规范人工智能生成合成内容标识，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。多项规定和监管政策的相继落地，让刚性治理有了更多具体的抓手。新的技术进步呼吁新的监管体系，而这一点并不能完全指望科技商业公司的自我约束，需要监管方、平台方的共同努力。尽管AI的应用范围广泛且难以限定，但法律和道德的边界始终清晰；未来，政策监管和平台审核的力度必然会更加深入，社交平台上的内容生态还会因此发生哪些改变，值得进一步关注。
粤ICP备14082021号
免费POC，
零成本试错
