AI出了问题,到底谁负责?“组织义务”之外,还需要六把尺子
最近看到一篇讨论AI智能体风险治理的文章,提出了一个很重要的概念:
“组织义务。”
它试图解决一个现实问题:
过去的AI更多是在“生成内容”。
现在的AI越来越像一个真正的“代理人”:
它可以调用工具、访问数据、操作软件、发起交易,甚至替人作出某些决策。
于是一个非常棘手的问题出现了:
AI出了问题,到底应该谁负责?
是模型提供者?
是开发者?
是平台?
是部署企业?
是具体使用者?
还是最后那个按下按钮的人?
如果所有人都只说一句“这不是我的责任”,最后就会形成一种非常危险的状态:
风险是大家共同制造的,责任却没人真正承担。
所以,“组织义务”的价值就在于,它没有把AI当成一个突然拥有责任能力的独立主体,而是继续追问:
谁开启了这个风险?谁配置了这个系统?谁拥有实际控制能力?谁有能力提前发现和阻止?
这个方向是对的。
但如果进一步用“六把尺子”来看,我认为还可以再向前走一步。
因为AI治理真正的问题,可能不只是:
“谁负责?”
而是:
“谁有权定义风险、谁拥有控制权、谁承担劳动和成本、谁获得收益、谁承担损失,以及这些东西是否形成了对应关系?”
这就从单纯的责任认定,进入了更完整的价值治理。
AI时代最大的变化:工具开始拥有“行动能力”
传统软件和AI智能体有一个非常重要的区别。
一个计算器算错了。
一个搜索框返回错误信息。
一个普通软件出现Bug。
这些系统通常不会主动继续行动。
但AI智能体可能不同。
例如,公司给一个AI智能体授权:
自动寻找供应商 → 比较价格 → 联系供应商 → 生成订单 → 调用支付系统。
这时候AI已经不只是“提供信息”。
它进入了:
感知 → 判断 → 决策 → 行动
这一整条链条。
问题也因此发生变化。
以前我们问:
“谁写错了代码?”
现在必须问:
“谁让这个系统拥有了这样的行动权限?”
这就是“组织义务”最重要的突破之一。
因为真正危险的地方,往往不是模型本身。
而是:
模型 + 权限 + 场景 + 工具 + 人工监督
组合起来以后形成的行动系统。
但“谁控制AI”,还不够
假设一家公司给AI开放了支付权限。
AI错误地支付了100万元。
按照“组织义务”的思路,我们可以追问:
谁配置了支付权限?
谁设计了审批机制?
谁部署了系统?
谁负责监督?
谁应该发现异常?
这些问题非常重要。
但六把尺子会继续追问:
这个组织为什么给AI这么大的权限?
因为权限背后一定有利益。
如果AI替公司节省了1000万元成本,公司获得收益。
如果AI犯错造成100万元损失,却让普通员工承担责任,那么这里就出现了一个明显的问题:
收益和风险是否对称?
这其实已经不是单纯的法律责任问题。
而是价值治理问题。
第一把尺子:保障尺——谁承担AI失误的生存成本?
AI智能体可能会让企业效率大幅提高。
但是效率提高以后,收益由谁获得?
与此同时,AI出错以后,损失由谁承担?
例如:
公司为了提高效率,让AI自动审核员工报销。
AI误判了一批正常报销。
员工因此无法及时拿到工资之外的重要报销款。
如果企业说:
“AI只是辅助工具。”
那么问题来了:
既然是企业决定使用AI,为什么AI带来的风险却可以由员工承担?
保障尺关注的不是“谁在法律上签了字”。
而是:
一个人因为系统运行而遭受损失时,他的基本权益有没有最低保障?
这对AI时代尤其重要。
因为未来越来越多人的收入、工作机会、信用、贷款、招聘甚至社会服务,都可能受到AI系统影响。
如果没有最低保障,AI效率越高,某些人的风险反而可能越大。
第二把尺子:选择尺——谁拥有真正的选择权?
AI治理经常谈“用户同意”。
但“同意”不一定等于“选择”。
例如:
一个平台告诉用户:
“我们使用AI自动决定你的信用等级。”
然后让用户点击:
“我已阅读并同意。”
这算真正的选择吗?
如果不同意就无法使用服务,那么这个“选择”可能只是形式上的。
所以选择尺要进一步问:
谁能够选择?
谁能够拒绝?
谁能够退出?
谁能够要求人工复核?
谁能够对AI决定提出异议?
这其实与文章中提到的“投诉和救济机制”高度一致。
AI时代特别需要防止一种情况:
机器做出了决定,人却找不到可以负责的人。
真正有效的人工监督,不应该只是屏幕旁边坐着一个人。
而应该是:
这个人真的有权停止AI。
否则所谓“人在回路中”,可能只是一个装饰。
第三把尺子:劳动尺——AI治理本身也是劳动
这是一个经常被忽略的问题。
AI系统并不会因为部署完成,就自动安全。
需要有人:
测试模型。
设置权限。
检查日志。
验证输出。
处理异常。
复核高风险决定。
更新规则。
调查事故。
这些都是劳动。
如果公司为了节省成本,只购买一个AI系统,却不愿意配置足够的监督人员,那么所谓的“人工监督”其实只是纸面制度。
这和传统企业制度执行失败非常相似。
制度规定:
“高风险操作必须人工审核。”
但实际情况是:
一个员工同时负责几千个AI任务。
每个任务要求30秒审核。
最后这个人只能机械地点:
“通过。”
那么问题就不是“有没有人工”。
而是:
人工有没有足够的时间、信息、能力和权限?
所以:
人工监督不是一个岗位名称,而是一种真实劳动能力。
如果没有给这种劳动支付足够的资源,监督制度必然形式化。
第四把尺子:贡献尺——AI究竟改变了什么?
AI治理还需要解决一个非常重要的问题:
到底什么行为产生了真正的结果?
例如,一个AI项目宣称:
“使用AI以后,企业效率提升了30%。”
那么这30%到底是谁产生的?
模型贡献了多少?
开发团队贡献了多少?
部署团队贡献了多少?
员工适应流程贡献了多少?
原有基础设施贡献了多少?
数据贡献了多少?
管理制度贡献了多少?
不能因为最后运行的是AI,就把所有贡献都归给AI。
这和我们讨论劳动、机器和资本时是一样的。
工具可以产生巨大效果,但工具本身的存在,并不自动等于全部因果贡献。
因此,AI时代更需要把:
工具所有权
和
实际贡献
区分开来。
拥有AI系统,不等于创造了AI产生的全部价值。
第五把尺子:激励尺——如果出了问题就处罚人,谁还敢使用AI?
这是AI治理中特别容易走向另一个极端的问题。
为了防止AI犯错,企业制定非常严格的责任制度:
AI出了任何问题,使用人员承担责任。
结果员工会怎么做?
最简单的办法:
不用AI。
或者:
只做最低风险的事情。
甚至:
表面使用AI,实际上所有事情还是人工完成。
于是企业花了大量钱买AI,最后AI只是一个高级搜索框。
这就是激励尺的问题。
如果一个人:
使用AI成功,收益归公司;
使用AI失败,责任全部归个人;
发现AI风险,还可能被认为“影响效率”。
那么最理性的选择不是创新。
而是:
拒绝承担风险。
所以合理的AI治理不能只有“责任”。
还必须同时设计:
风险承担机制 + 创新激励机制。
否则治理越严格,创新越慢。
第六把尺子:意义尺——我们究竟为什么使用AI?
这是最容易被技术讨论忽略的一把尺子。
AI最终不是为了:
“让机器替人。”
也不是为了:
“让企业多赚一点钱。”
这些只是手段。
真正的问题是:
AI生产力提高以后,人类获得了什么?
如果AI让一个人每天工作10小时变成8小时,那么剩下的2小时去了哪里?
如果变成6小时呢?
如果未来变成3小时呢?
人获得的是:
更多失业?
还是更多财富?
更多闲暇?
更多选择?
更多创造?
更多家庭时间?
更多学习?
更多社会参与?
这就是意义尺。
如果AI最终只是:
用机器提高生产力,然后让少数人获得更多利润,同时让多数人失去工作和收入。
那么技术效率虽然提高了。
但社会未必真正进步。
反过来,如果AI让基本保障提高、劳动时间下降、选择权扩大,让普通人拥有更多创造和生活的机会,那么AI才真正可能成为人的解放工具。
“组织义务”真正可以再向前推进:从责任链到价值链
我认为,“组织义务”最大的价值,是把我们从:
“AI是不是应该负责?”
拉回到了:
“哪些人和组织真正控制了风险?”
但如果再向前一步,就会发现:
风险控制和价值流动其实是一回事的两面。
谁控制AI?
通常谁也控制价值流。
谁决定AI的权限?
通常谁也决定AI创造的收益如何分配。
谁决定使用AI?
通常谁也决定AI产生的成本由谁承担。
于是我们可以把AI治理进一步表达成:
风险开启 → 权限配置 → AI行动 → 结果产生 → 收益形成 → 风险暴露 → 损失承担 → 责任追究 → 制度修正
这就是一条完整的价值与责任流。
如果其中任何一段被切断,就容易产生:
收益归我,风险归你。
这可能才是AI治理中真正危险的结构。
为什么“组织义务”比“AI责任”更重要?
因为AI本身未必需要成为法律意义上的“人”。
假设小明开发了一辆自动驾驶汽车。
汽车撞人了。
我们没有必要先让汽车拥有法律人格,然后问:
“汽车应该赔多少钱?”
更重要的问题是:
小明为什么这样设计?
企业为什么允许它这样运行?
谁设置了速度限制?
谁批准了自动驾驶权限?
谁负责监控?
谁知道风险却没有处理?
谁获得了自动驾驶带来的收益?
谁承担了事故成本?
这套思路同样适用于AI智能体。
AI可以是行动工具,但责任必须回到拥有真实控制能力的人和组织。
但这里还存在一个更深的问题:谁来定义“合理”?
文章提出:
采取与风险相称的合理措施。
这个表述在法律上很自然。
但从治理角度看,马上会出现一个问题:
什么叫“合理”?
风险多大算高风险?
人工监督做到什么程度算充分?
权限开放到什么程度算合理?
多大的损失应该提前阻断?
谁来定义?
谁来评价?
谁来修改?
这其实就是我们六把尺子理论中一个非常核心的问题:
不能垄断“怎么算”。
更不能同时垄断:
怎么算、谁来算、谁来解释怎么算、永远由我来算。
如果AI时代的风险标准本身被某一个平台、企业或者监管主体完全垄断,那么“组织义务”也可能变成新的权力工具。
所以AI治理除了责任制度,还必须拥有:
多维评价、透明规则、独立复核、申诉机制和持续纠错。
六把尺子,其实可以成为AI治理的一套“体检表”
面对一个AI智能体,我们可以直接问六个问题。
保障尺:
出了问题,普通人的基本权益有没有最低保障?
选择尺:
人有没有拒绝、退出、申诉和要求人工复核的权利?
劳动尺:
开发、测试、监督、审计和纠错需要多少真实的人力?
贡献尺:
AI、数据、人、平台和组织分别对最终结果产生了什么因果贡献?
激励尺:
这种责任结构究竟鼓励了创新,还是鼓励所有人“不做不错”?
意义尺:
AI增加的生产力最终有没有转化为人的更多时间、选择和创造空间?
然后再增加一个动态问题:
这些价值和风险到底流向哪里?
这就是价值流动。
AI治理真正应该治理的,不是“AI”,而是“AI背后的组织”
我们很容易把AI想象成一个新的主体:
AI会不会犯罪?
AI会不会失控?
AI应该承担责任吗?
但很多时候,这些问题把我们的注意力带到了机器身上。
而真正应该观察的是:
谁给它权限?
谁决定它做什么?
谁决定它不能做什么?
谁从它的行动中获得收益?
谁承担它行动失败的成本?
谁能够关掉它?
谁能够修改它?
谁能够审查控制它的人?
这才是真正的治理问题。
从“组织义务”走向“组织责任—价值治理”
因此,我非常赞同把AI风险治理从“出了事故以后找责任人”,向“事前建立组织义务”推进。
但还可以再向前走一步:
不要只建立责任链,还要建立价值链。
因为一个组织如果:
收益可以集中,
权力可以集中,
风险却可以向下转移,
那么再完善的责任制度也可能只是事后追责。
真正成熟的AI治理应该让:
权力、收益、劳动、贡献、风险、责任
尽可能形成对应关系。
谁开启风险,谁不能完全逃避风险。
谁控制风险,谁必须承担相应的组织义务。
谁获得AI产生的增量收益,也应该承担相应的治理成本。
谁承担了不可替代的监督劳动,就不能把这种劳动当成免费的“顺手检查”。
谁受到AI决策影响,就应该拥有相应的知情、申诉和救济权。
AI时代真正重要的,不是“让AI负责”
而是建立一个社会机制,让我们始终能够回答:
谁定义?
谁授权?
谁控制?
谁劳动?
谁贡献?
谁获益?
谁承担风险?
谁能够申诉?
谁能够纠错?
这实际上已经超出了传统意义上的AI伦理。
它进入了一个更大的问题:
如何治理生产力。
过去的机器需要人操作。
现在的AI越来越可以自己行动。
那么未来真正需要建立的,不是“给AI一个身份证”,而是:
让AI背后的权力、责任、收益和风险能够被看见。
这也是“六把尺子”理论在AI时代可能真正发挥作用的地方。
六把尺子不是给AI打一个“综合分”。
而是拒绝用一个答案解决所有问题。
保障,看人的底线。
选择,看人的权利。
劳动,看真实成本。
贡献,看因果结果。
激励,看未来行为。
意义,看生产力最终为了什么。
再把这六个维度放进一条动态的价值流中:
创造 → 转化 → 流动 → 实现 → 回流 → 再生产。
这样我们看到的就不再只是:
“AI出了问题谁负责?”
而是一个更完整的问题:
“AI创造的价值去了哪里,AI产生的风险由谁承担,AI带来的生产力最终有没有回流到整个社会?”
这可能才是AI治理真正应该回答的问题。
因为技术真正改变社会的那一刻,往往不是机器突然变得多聪明。
而是:
机器产生的新增生产力,开始重新改变人与人之间的价值流动。
而治理的任务,就是让这种新的价值流动,不被新的权力结构堵死。