南都起底调查后,再有AI虚拟伴侣平台暂停运营!审核已收紧
南都N视频报道《AI虚拟伴侣乱象调查:可选小三暴力剧情,角色表达带性暗示》重磅推出后加速了行业整治。涉事平台“EchoMe”进行内容安全与合规能力升级,目前在部分应用商店已无法下载。调查曝光了二手交易平台上的“人设定制”生意,提供大尺度“色情向”人设定制服务的商家相关账号被处置,页面显示“违反法规或平台相关规则”。
除此之外,5月25日,南都N视频记者检索发现,AI角色陪伴应用“MoMood”近日全面暂停运营,进行合规整改。AI虚拟陪伴软件“Bubbly”收紧内容审核,以“不符合要求”为由要求用户修改自己创建的角色人设。深圳、广州消委会先后发文,呼吁平台方立即停止向未成年人提供虚拟伴侣服务,完善实名认证等机制。
多个平台进行合规整改、收紧审核
南都N视频调查报道发出后,多个AI虚拟伴侣平台进行合规升级和优化整改。
5月25日,南都记者搜索发现,涉事平台“EchoMe”发布公告称,平台正在进行内容安全与合规能力升级,因此部分应用商店暂时无法搜索或下载,已安装用户的账号及权益不会因此丢失。“目前仍在持续完善相关能力,在保障内容安全和平台规范的前提下,稳步推进后续工作。”
同日,该平台运营负责人回应南都记者称,“近期主要是在做内容安全、平台规范相关的优化调整,相关信息已通过产品内公告向用户说明。”
此外,5月21日,AI角色心动陪伴应用“MoMood”端内发布公告称,将于当天16时30分起全面暂停运营,进行合规整改。
公告称,后续将制定退款方案,“在休息的这段时间里,用户留在这里的所有回忆和个人数据,都将被最严密地封存在安全舱内,绝不会丢失或泄露。”南都记者实测发现,在该App合规整改期间,已暂停新用户注册功能。
除主动下架整改外,部分平台选择收紧内容审核。南都记者注意到,近日,多位网友在社交平台发文称,一款名为“Bubbly”的AI虚拟陪伴App,要求用户“修改角色人设”。
据了解,用户在使用“Bubbly”的过程中,不仅可以选择App既有角色,还可以自己创建角色。多位网友发布的截图显示,近期“Bubbly”弹窗显示“当前角色人设不符合要求,请修改”;创建角色时页面提示,“角色设定需调整。请修改角色设定,完善后即可开启对话。”
对于这种情况,有网友表示,“聊着聊着忽然就变成这样了,不改人设还不让玩。”5月25日,有“Bubbly”用户告诉南都记者,“前两周就已经出现了这种情况,现在还是这样。听说是最近严查所以很多用户的人设都不能改了。”
提供涉黄人设定制服务的商家账号被处置
电商平台的清理处置也在同步展开。南都记者此前调查曝光了,此类AI虚拟伴侣软件背后衍生出了“人设定制”的生意。在二手交易平台上,商家可以根据客户想要的人设写指令定制角色,大尺度色情向的“开车(涉黄擦边)人设”仅收费13.14元。
报道发出后,南都记者留意到,上述商家的相关账号已被平台处置,点进原账号主页,页面显示“该用户因违反法规或平台相关规则,账号已被处置”。此前该店铺提供的“开车人设”等服务已全面下架,无法购买。
南都记者在实测调查期间,曾同时联系另一名提供类似AI人设定制服务的卖家,其在自动回复中自称“是一名高中生”。时隔数日,南都记者再次查看该账号时发现,其店铺内的所有商品已全部被删除。
面对行业乱象,相关部门已发声。南都记者留意到,深圳、广州两地消委会近日相继发文,指出AI虚拟伴侣App存在“隐形陷阱”,呼吁平台方立即停止向未成年人提供虚拟伴侣服务,全面下架涉嫌低俗、暴力、擦边人设等不良内容,并完善实名认证、青少年模式及消费限额等机制。
南都此前报道,4月,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。
然而,4月下旬以来,南都记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,还惯用“付费解锁亲密剧情”等方式诱导消费。
此外,App系统预设角色中有大量性感黑丝、袒胸露乳的女性人物,不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情,聊天中还充斥着具有性暗示的低俗话语。
该调查报道入选中国记协“我的代表作”栏目,多个相关话题迅速登上热搜,引发全网广泛关注。
所有文章未经授权禁止转载、摘编、复制或建立镜像,违规转载法律必究。
举报邮箱:1002263188@qq.com