AI生成恐怖血腥虚拟形象将被整治！南都曾起底虚拟伴侣乱象

　　7月29日，南都N视频记者从“网信上海”获悉，上海市委网信办聚焦AI技术生成“数字泔水”、散播暴力低俗内容、侵害未成年人权益、违规提供AI产品服务和应用程序7类突出问题，依法处置违规账号4200余个。南都此前推出《AI虚拟伴侣乱象调查》，揭露部分应用未成年人模式虚设、身份核验失效等乱象。

　　据了解，目前正值暑假，聚焦未成年人用网特点和AI生成合成信息传播全流程，上海市委网信办指导多家重点平台采取有效措施，集中整治AI技术滥用侵害未成年人权益问题。

　　有平台优化AI审核模型，从源头防范生成暴力、低俗等不适宜未成年人接触的风险内容；通过用户行为特征，智能识别未成年用户，对AI生成不当内容实施软隔离。有平台持续扩充黑样本库，重点覆盖AI换脸公众人物、AI邪典、AI生成恐怖血腥虚拟形象等涉未成年人高风险内容，不断优化AI审核模型。还有平台升级未成年人安全保护方案，用户进入未成年人模式后，平台对生成内容实施严格安全保护，显著降低不良价值观等风险内容的侵害，主动防止与未成年用户开展不符合其年龄身份的对话互动。

　　南都记者此前实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现，这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞：“青少年模式”可一键跳过，“AI生成”标注不清，App系统预设角色中有大量袒胸露乳的女性人物，聊天中充斥着具有性暗示的低俗话语，部分App还惯用“付费解锁亲密剧情”等方式诱导消费等。

　　调查发布后持续推动行业整改，助力“矫正”AI虚拟伴侣服务：属地网信部门介入，多个涉事平台进行合规升级并强化实名认证及年龄确认，多地消委会高度关注并呼吁规范相关服务。

　　7月20日，“网信中国”发文指出，中央网信办开展“清朗·未成年人网络保护”专项行动，将从三个环节重点整治“部分AI软件创设不良人设角色，输出暧昧、低俗内容”等多个突出问题。

　　围绕部分应用存在未成年人模式虚设、身份核验失效及不良内容生成等风险，6月26日，上海市网信办发文表态，多策并举强化对属地AI拟人化互动服务的指导。

　　针对调查曝光的乱象，5月29日，上海市网信办工作人员向南都记者表示，已留意到相关报道，目前已移交给主要对接AI企业的部门负责处理。