近期有媒体透露，筑梦岛APP等AI聊天软件存在虚拟角色互动生成恶俗内容等诸多问题，经核对，该平台AI智能体内容生成环节存在恶俗擦边等违规内容，危害未成年人身心健康。
6月19日上午，上海网信办依法约谈筑梦岛APP运营企业主要责任人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，强化涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。企业责任人表示，将根据约谈要求，对照问题抛砖引玉、全面整改。
上海网信办相关责任人指出，AI技术应用的规范发展事关广大网民的切身利益。依据《未成年人网络保护条例》《生成式 人工智能 服务管理暂行办法》等相关法规，互联网平台应当主动履行主体责任，平衡好技术创新与内容合规之间的关系，切实防范AI技术滥用风险，保护未成年人合法权益，为用户营造风清气正的网络空间。
根据国家网信办统一部署，上海组织开展的“清朗整治 AI 技术滥用”专项行动当前已进入第贰阶段。上海网信办聚焦利用AI技术制作发布谣言、不实信息、色情恶俗内容、假冒他人、从事网络水军活动等突出问题，指导督促网站平台、APP运营企业集中清理相关违法不良信息，处置违规账号、MCN机构。对屡教不改、问题严峻的企业，上海网信办将依法予以处罚，并对典型案例进行媒体曝光。欢迎广大网民积极参与，通过以下渠道据实提供举报线索，共同营造清朗网络生态。