近日，浙江省余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案。曾是国内一家游戏大厂程序员的郑某，伙同谢某、严某等6人组建研发团队，通过改写系统提示词实现AI大模型“越狱”，突破模型内置的内容安全限制，再以角色卡、对话场景诱导用户付费，批量输出淫秽图片牟利。法院认定6人均构成制作淫秽物品牟利罪，分别判处有期徒刑三年一个月至三年十个月不等，并处相应罚金。

这是AI“造黄”乱象中一个分量十足的判决，其中最值得咀嚼的不是“造黄者获刑”这个结果，而是法院对两个流传已久的借口“内容由AI生成，与开发者无关”“技术是中立的”作出了正面回应。

首先，用提示词指挥AI输出淫秽内容，算不算“制作淫秽物品”？这起案件中，用户确实是自己选择角色、输入指令的，这是被告人最有利的辩解。但是，用户的一切操作都被限定在郑某等人提前搭建好的技术框架之内。他们对模型的内容输出拥有实质性控制权，其行为与淫秽内容的产生之间存在刑法上的直接因果关系，他们就是刑法意义上的“制作者”。

其次，所谓“技术中立”能免责吗？正如审理此案的法官所言，“技术中立”从来不是违法犯罪的挡箭牌，不能以内容由AI生成，就否定开发者的“制作者”身份。技术本身没有善恶，但使用技术的人有选择；算法没有立场，但给算法“越狱”的人必须为自己的立场担责。

这起案件的规模同样令人警醒。模型运营期间，共生成静态图片37万余张、动态图片6000余张，用户充值折合人民币约17万元。经鉴定，随机抽取的12500张静态图片和全量动态图片中，9000余张静态图片、5000余张动态图片被认定为淫秽物品。AI一键生成、批量产出的技术特性，让危害数量以指数级膨胀，这也正是司法不能再机械套用传统标准的一个重要原因。

事实上，针对AI滥用的制度闸门正在一道道收紧：2025年4月，“清朗·整治AI技术滥用”专项行动将AI造黄列为重点打击对象；2026年4月《人工智能拟人化互动服务管理暂行办法》公布，强化安全评估与未成年人保护；今年9月发布的《最高人民法院关于依法审理涉人工智能纠纷案件的意见》明确，利用深度伪造等技术制作、贩卖、传播淫秽物品构成犯罪的，坚决依法严惩。司法部门用判决明确向社会宣告：技术中立不等于技术无罪，算法不是法外之地。

模型没有选择，但人不能失去方向。判决划定的是底线，底线之上仍有大片灰色地带，需要各方各司其职：对开发者而言，安全防线不是可随意拆除的冗余代码，而是不可逾越的法律红线；对平台而言，审核机制不能形同虚设，AI生成内容应加装不可篡改的溯源水印；对个人而言，不参与、不制作、不传播，就是最实在的防线。

让技术向善，靠的不是算法的自觉，而是法律的牙齿与人的良知。

（本文摘自北京青年报第二版）