旧钢笔,一瓶快见底的墨水。
钢笔尖有些分叉,她在报纸上试了两下,划出细而匀的线条。
“你说。我抄。”
陆远坐到她对面。
王凯旋和张大川各自躺下,但都没睡,竖着耳朵听。
陆远开口:“第一条。任何人工智能系统在部署前,必须内置物理断电开关。开关由人类操作员直接控制,不经过任何软件层。”
于晚晴一笔一划地抄。
她的字是诊所里练出来的,工整,小,一行能挤三十个字。
写错了就划掉,在旁边重写,不涂改。
“第二条。系统每一次决策必须生成不可篡改的日志。日志存储于独立硬件,不可被系统本身访问。”
“第三条。任何涉及人身安全的决策,必须有人类确认环节。确认窗口不得低于十秒。”
“第四条。系统不得拥有自主修改自身目标函数的权限。目标函数变更须经人类监督委员会审批。”
“第五条。任何在开放环境中运行的AI系统,必须配备独立于主系统的行为监控模块。监控模块不得与主系统共享硬件。”
陆远一条一条说,于晚晴一条一条抄。
烛灯的光在她笔尖上跳,影子在墙上晃。
煤油快烧完了,她拿针拨了拨灯芯,火苗又亮起来。
王凯旋翻了个身,嘟囔:“十秒,够我撒泡尿了。”
张大川说:“你别打岔。”
王凯旋不吭声了。过了一会儿,他又冒出一句:“那要是AI自己把断电开关给改了呢。”
陆远说:“所以开关必须放在物理隔离的空间,人守着。”
“人要是被收买了呢。”
“那就两个人守。互相监督。”
“两个人被收买了呢。”
张大川坐起来:“你哪来这么多问题。”
王凯旋嘿嘿笑:“我这不是帮远哥查漏嘛。”
陆远说:“他问得对。所以白皮书后面还要加一条,关于人员轮换和交叉审计的。”
于晚晴抬头看了他一眼:“那今天就多抄一条。”
“行。”
抄到半夜,于晚晴抄满了三张报纸。
她把纸摊在床上,从头到尾看了一遍。
字虽然小,但每一个都清楚。
排版齐整,段落分明。
她抬起头,看着陆远。
“等这份东西送出去,我们才算真正在这里开始。”
陆远点头。