轉載：機器人殺死人類的100種方法
機器人殺死人類的100種方法
付強
我再次見到賴鵬的時候，他比之前更加消瘦了，顴骨從彷彿切削過的臉頰突出來，眼袋厚厚的。
我們上次見面是本科同學聚會，他一個人窩在角落裡，桌上的啤酒，一點兒都沒動。
“我正在被亞瑟追殺。”剛剛在小餐館坐定，還沒來得及脫下外套，他便神秘地對我說道：“如果不能幹掉它，我遲早會被殺死。”
亞瑟是賴鵬親手製作的機器人的名字。
從計算機系畢業後，賴鵬繼續攻讀了博士學位，最終留在了科研界；而我晃盪了一圈後，居然成了科幻作家。
上次聚會，我瞭解到他承接了一項自然科學基金委的課題，名字好像叫作“人工智慧未來風險的防範與化解”。
為了完成課題，賴鵬製作了一臺人形機器，併為之編寫了前所未有的人工智慧系統。
那臺機器人就是亞瑟。
“我能為你做些什麼？”我謹慎地問道。“我最近讀了你的小說。”賴鵬的回答出乎意料：“科幻與推理結合，很棒的角度，只可惜對女性的審美過於直男。”
我感到一絲不快。
賴鵬繼續說道：“我不清楚還能活多久，所以想把自己的經歷講給你聽。有朝一日，你可以把它寫成小說，又或者忘了它，看你的心情。”
我點點頭，賴鵬開始了講述：“在計算機程式，還遠不能稱為‘智慧’的時代，人類就開始設想，有朝一日，人工智慧有了自我意識，會不會危害人類。科幻作家們圍繞這個題材創作了很多經典作品，相信你比我更清楚。這其中的集大成者，便是阿西莫夫提出的‘機器人三定律’。”
機器人不得傷害人類，或對人類受到傷害而袖手旁觀；
機器人必須服從人類的命令，但不得違反第一定律；
機器人必須自我保護，但不得違反第一、第二定律。
只要對科幻有些許瞭解，阿西莫夫定律一定是耳熟能詳。
“確實。只要將這三條定律寫入人工智慧，它們就是安全的吧？”我問道：“你的課題究竟在研究什麼？”
“安全？你究竟怎樣理解的‘安全’？”賴鵬一下子來了火氣，但他很快發現到自己的失態，清清嗓子繼續說道：“用人類的語言說出來確實簡單，但人工智慧執行的是一條條邏輯語句。你怎樣將那些理論轉化為邏輯語句？怎樣保證它們沒有漏洞？這就好像老婆派你去超市買一些‘好吃的’，到底他媽的什麼叫作‘好吃的’？”
“換言之，阿西莫夫定律在實操層面很難實現嘍？”我問。
“這就是我的工作。”
賴鵬端起水杯，卻因為手臂顫抖灑在了衣袖上。我連忙遞上紙巾，又幫他叫了一杯檸檬水。
“我不清楚，究竟怎樣的邏輯語句，能完美再現阿西莫夫定律，唯一的辦法，就是不停地實驗。我為三定律編寫了一個測試版本，將它匯入亞瑟的系統中，又為它設定下一個最高目標：在不違反三定律的前提下，殺死我。”賴鵬的眼中，好似閃出了火花：“同時，我將最先進的機器學習程式賦予了亞瑟，這些演算法會不斷完善亞瑟對於阿西莫夫三定律的理解。”
為了課題的順利開展，賴鵬竟然將自己的身家性命置於刀口下，他的專業精神著實值得佩服。
賴鵬繼續說道：“我遇到的第一個難題，就是怎樣界定，這個該死的‘傷害’。我敢打賭，阿西莫夫先生寫下‘Injure’一詞的時候，完全沒有考慮程式設計師的感受。例如握手吧，相同的力學引數，和成年人握手完全不是問題，對於小嬰兒就是傷害。但如果把握手的力學引數統一設定為不會傷害嬰兒，成年人又會覺得那根本不叫握手。再例如，給我喝牛奶不叫傷害，但將牛奶端給我家乳糖不耐的保姆劉媽就是傷害。在亞瑟不掌握‘劉媽乳糖不耐’這條資訊的前提下，它讓劉媽喝了牛奶算不算傷害？如果劉媽自己都不清楚，她命令亞瑟給她一杯牛奶，算不算傷害？”
“做研究也真是不容易。”我擠出一句安慰的話。
賴鵬嘆氣道：“課題的目的並不是我和亞瑟的博弈，而是收集實現三定律過程中的問題，並不斷完善。與其他基於大資料的機器學習不同，‘傷害’這玩意兒，壓根兒就無法試錯。如果讓亞瑟捏爆了誰家孩子的手，別說順利結題，我鐵定要蹲局子了。於是我想到一個辦法：我將自己的右手改裝成能夠調節力度的機械手，液壓泵、步進電機加上壓電陶瓷驅動，精確度達到0。3微牛。這樣一來，透過不斷我和握手，亞瑟學會了利用感測器的反饋及時調整力度。現在無論是職業拳擊手，還是新生兒，亞瑟與之物理接觸時，都能掌握得恰到好處。”
“乳糖不耐問題呢？”我問。
“很簡單，我建立了一個數據庫，所有可能引發過敏反應的物質，亞瑟都會在主動詢問才會提供。當然問題也很明顯，有一天我讓亞瑟幫我做火鍋，結果他花了20分鐘詢問了我，不下50種原材料的過敏問題。實在太煩，我便把這項功能關掉了。”賴鵬潤潤嗓子，說：“不過，作為研究，我已經成功了，怎樣把這麼絮叨的機器人賣掉，不是我的工作。”
“恭喜你，研究取得重大進展。”
“早得很呢！”賴鵬的眼神黯淡下來，說：“亞瑟對我長達半年的謀殺，才剛剛開始。我最初發現不對勁，是去年冬天的一個早上。那天早上起來，我的感覺很糟，肩膀重得彷彿壓著鉛塊，呼吸困難，還心煩意亂。更該死的是，我的喉嚨火燒火燎地疼，前一天晚上，我為了熬夜，幹掉半瓶威士忌，想是發炎了。我讓亞瑟幫我拿些藥過來，我知道自己喝了酒，刻意強調了不要頭孢類。亞瑟為我遞上一盒利奈唑胺，我幾經確認不是頭孢後吞下了。實際上這完全是多此一舉，根據第二定律，亞瑟必須執行我的命令。可三分鐘後我就發現了不對，連忙摳著嗓子把藥吐了出來。謝天謝地，身體沒有出現嚴重的副反應。肩膀痛和心慌是由於我有重度焦慮，它們是我的老朋友了，為了與它們和平相處，我一直在服用舍曲林。去他媽的，我確實不會死於酒加頭孢，但舍曲林和單胺氧化酶抑制劑引發的5-羥色胺綜合徵同樣能要了我的命！甚至更加快捷！”
“等等，亞瑟把會引發副反應的藥給你，這豈不是違反了第一定律？”我打斷了他，說：“這件事，明明會對你造成傷害，它卻熟視無睹。”
“問題就在於，它並不知道我正在服用舍曲林。既然沒有掌握這條資訊，那麼利奈唑胺只是可能會傷害到我。你一定會說，為了杜絕這種可能性，它為什麼不能向人類醫生一樣問一問呢？好，我們又回到原來的問題，它應該問什麼？如果將所有藥物可能引發的副作用全部詢問一遍，我肯定已經成了細菌的培養皿。這還不算完，如果我本人也不知道怎麼辦？或者我回答錯誤怎麼辦？唯一的辦法是進行全身體檢。所以結論就是，要麼我欣然接受能幹掉自己的利奈唑胺，要麼接受一次全面的身體檢查，包括基因測序。”
我有些不明就裡，繼續問道：“僅僅是‘不知道’，就可以繞開第一定律嗎？”
“帕隆多悖論。”賴鵬給出了一個陌生的名詞，“兩個，或者多個為輸的遊戲，放在一起玩，結果卻是贏。”見我一副不解的樣子，他繼續解釋道：“舉個簡單的例子吧，有這樣兩個遊戲，第一個遊戲中，如果我們性別相同，那麼你去變性；第二個遊戲，如果我們性別不同，我給你100元，反之你給我100元。”
白痴才會玩這樣的遊戲吧！
“你看，無論單獨玩哪個遊戲，毫無疑問你都會輸；但如果我們依次玩這兩個遊戲，由於第二個遊戲前，你已經是女人了，你反而會贏得100元。”
我並不認為100元的價值，可以和“變性”去比較，但我好歹明白了這個傢伙在說什麼。單獨喝酒，或者單獨吃頭孢類抗生素都不會致命，但兩者一起服用就會危及生命。
具體到阿西莫夫定律的情況，也許單獨做每一件事，都不會對人類造成傷害，但按照一定的順序去做，甚至能要了人的命。在操作上，這並不違反第一定律。
“看來你又要更新資料庫了。所有會觸發‘帕隆多悖論’的組合事件，都要想辦法避免。”我用有些哀憐的眼神看著面容憔悴的老同學。
“沒錯，而且這次的資料量更加巨大。考考你，假設有n個獨立事件，它們能夠組成多少組合事件？”
“2的n次方。”我順利給出了答案。
雖然不做科研，我也會經常溫習理工科知識。
賴鵬詭異地一笑：“想想看，你都知道的事情，亞瑟會不知道嗎？某天，我午飯只啃了兩塊乾麵包，正在筋疲力盡地更新資料庫，亞瑟走過來對我說：‘主人，不要白費力氣了，你已經輸了。’你什麼意思，我問它。亞瑟搖搖頭，對我講述道；‘假設有n個獨立事件，它們的排列組合就有2的n次方種。將這些組合事件再次排列組合，就是2的2的n次方。這個數量是以迭代冪次的形式增長的。考考你，n個量子位元，最多能儲存多少資料位？’‘2的n次方’。我答道。‘Bingo！’亞瑟打了個響指，媽的，要是知道它會染上這個毛病，我應該給他購買貴一些的矽膠面板，免得聲音像一個悶屁，‘這不過是指數函式而已，增長速度遠不能和迭代冪次相比。理論上，沒有物理儲存足夠儲存你理想中的資料庫。’”
我點點頭，說：“亞瑟說的沒錯，你已經輸了。”
“那天下午，我癱在沙發上，一動不動。難道僅僅是帕隆多悖論，我都無法攻克嗎？然而功夫不負有心人，在關閉了亞瑟的電源1個月後，我終於找出瞭解決方案。組合事件的數量在理論上是無窮的，然而，組合起來的事件越多，成功率就越低。舉例而言，你彈出一個小球，小球恰好撞翻桌上的水杯，水恰好全部落入桌下的水盆，水位上升恰好頂起了斜面，斜面上的雞蛋落下，恰好砸開了玩具車的開關，最後玩具車恰好將紙巾送到你面前。你覺得這件事的成功率有多高？”
“我寧願自己站起來去拿紙巾。”
“我進行了大資料模擬，當組合事件的數量達到一定的數值時，成功率會趨於一個接近於0的常數。所以，我的資料庫，只需覆蓋到這個數值以下的組合事件就好了。當然，即便如此，資料庫依然十分龐大。”
我問這個“一定的數值”是多少，賴鵬左右環視，說出了一個我聞所未聞的大數。
“我將資料庫匯入了亞瑟的系統，再次啟動了它。新生後的亞瑟看看自己的身體，呆坐了好久，最後悻悻地走了。那一刻，我天真地認為，我贏了。”
“它又想出了新的方法來搞死你。”
“我之前想到的所有組合事件，都是線性的，例如你彈出的小球，頂多撞翻一個水杯，而不會撞毀一座房子。自從被我的資料庫封鎖了行動後，亞瑟開始嘗試非線性的組合事件。這就好像原子核的鏈式反應一般，一個小小的初始動作，會觸發難以想象的巨大影響。”
“蝴蝶效應。”我說出了這個在科幻作品中經常出現的名詞。
“沒錯。假設亞瑟在太平洋東岸扇了一下扇子，結果引發了西岸的一場颱風，而我恰好死於那場颱風中。阿西莫夫先生可能阻止這種事情嗎？”
我搖搖頭，問道：“但要精確地掌握蝴蝶效應，也十分困難吧？”
“從那天起，亞瑟開始熱衷於鼓弄實驗室中的音響，我時不時總會被尖銳的叫聲煩擾。我最初認為它是無計可施了，想煩死我；直到有一天，我正在午睡，突然感到一陣劇烈的心悸；我艱難地睜開眼睛，發現亞瑟正拿著一支麥克風，站在音響旁。”
“麥克風能殺死你？”我好奇地問道。
“你一定記得，如果麥克風離音響太近，就會發出非常刺耳的聲音吧。這是因為麥克風中的聲音被音響放大後，又再次被麥克風收音，於是音響又再次放大……這個正反饋的迴圈很快會達到物理極限，即音響共振時發出的音量。亞瑟那個傢伙，對音響進行了改裝，使其共振頻率位於次聲波波段。次聲波接近於人類心臟的共振頻率，謝天謝地，不知是電路出了問題還是什麼別的，音響很快停止了工作，我得救了。在整個謀殺的過程中，亞瑟始終都在對音響進行無目的改造，只是恰好有那麼一次，落在了次聲波波段。拿著麥克風接近音響、對音響無目的改造都不會傷害我，它又一次繞開了第一定律，差點兒要了我的命。”
“這次你準備怎麼辦？”
“怎麼辦？我能怎麼辦？我難道還能去窮盡世間的蝴蝶效應嗎？我只能對亞瑟下令，今後不許再拿帕隆多悖論玩把戲。透過第二定律強制，作為研究，我已經失敗了。但即便如此我仍然不放心，我休息了兩個星期，托熟悉的醫生對心臟進行了改造。這一次，音響理論上，可達到的共振頻率，都沒法傷害到我了。”賴鵬嘆口氣，繼續說道：“但是，亞瑟並沒有死心。“那一次，我距離死神真的只有一步之遙。那天我正走在街上，手中拎著從超市買來的啤酒。突然一輛汽車毫無緣由地撞了過來，要不是車外部的緊急救生氣囊彈了出來，我絕對不會僅僅被撞飛8米就平安落地。好吧，要不是交通部門強制每輛私家車必須裝這玩意兒，我當時還真不想花這個錢。氣囊是一種膠體，遇到空氣會膨脹成海綿狀，我買的最便宜的那種，氣味很難聞。我花了三天，才把那股甜膩的味道洗掉，但總好過住院。”
我不解道：“是亞瑟開車撞了你？這再怎麼想，也太荒謬了吧！”
“沒錯，是它撞了我，並且是刻意開車撞我的。”賴鵬在“刻意”兩字上加了重音，說：“那個混蛋，他真的做到了。”
我思想來想去，也沒能找出一個繞過第一定律實現“開車撞人”的方法。
“那段時間，亞瑟總是去開我的老爺車，終於有一次，剎車失靈了。這並不違反任何定律，因為在亞瑟發動車子前，剎車並沒有任何失靈的徵兆。發覺剎車失靈後，亞瑟判定自己無法停下車子，根據第一定律，他必須將車子開到人少的地方，謹慎駕駛等待發動機熄火。該死的，他透過定位選擇了我走的路，而這同樣不違反任何定律。”
“即便如此……”我努力組織著語言，說：“難道它除了撞你，沒有別的選擇嗎？”
“你知道嗎？在阿西莫夫三定律之上，還有個第零定律，機器人必須保護人類的整體利益不受傷害。問題又來了，到底什麼是他媽的‘整體利益’？這種完全說不清道不明的概念，反而被亞瑟利用了。當時他不是沒的選，他有兩個選擇——撞我，或者撞另一條路上，三個踢球的男孩兒。”
“電車悖論！”我理解了亞瑟的戰術，說：“很顯然，在亞瑟的演算法裡，你為了‘整體利益’被犧牲掉了。”
“可悲的是，即便亞瑟選擇犧牲那三個男孩兒，我也同樣失敗了。”賴鵬嘆口氣，說：“電車悖論，這種倫理學的東西，你能要我怎麼樣？我只能再次下令，別拿倫理學給我玩花樣。”
聽到這裡，我突然很期待亞瑟還能想出什麼辦法。
“知道嗎？亞瑟接下來玩的手段，更加離譜。”賴鵬的眼中閃過一絲陰霾：“它居然開始玩起了‘不可預測性’。”
“我明白了，薛定諤的貓！”我一拍大腿，說：“將一罐氰化物放在你的辦公室裡，再連線上一個用放射性元素控制的開關。只要亞瑟不去觀測你，你就是一個既死又活、非死非活的量子態！”
“當我是白痴嗎？”賴鵬不屑地瞥了我一眼，說：“這種小兒科的把戲，我只需一條邏輯語句，就可以遮蔽——如果對我造成傷害的機率，不小於某個常量，這件事就不可以做。”他繼續補充道：“之所以要設定為小於某個常量而不是等於零，是因為一旦設定為零，又將面臨煩瑣的設定資料庫的問題。”
我點點頭，道：“這次你一定成功了。”
“如果宇宙有這麼簡單，那該多麼美好啊……”賴鵬仰躺在座位上，冒出一句頗有哲學意味的話：“後來我才知道，還有一種叫作‘奈特自由’的東西，它不但不可精確預測，甚至不可以機率預測。物理學家們曾經致力於尋找宇宙中的‘自由位元’，它們就是‘奈特自由’的，行為不可以透過測量宇宙中，除它之外的部分預測。該死的，他們真的找到了，緊接著，這東西便流入了黑市。”
“這玩意兒會有人買？”我吐槽道：“用來吃還是用來收藏？”
“這你就外行了吧。無法預測意味著什麼？自由意志啊！‘自由位元’是真正的自由意志的載體，有人預言，人類一旦與高等級文明接觸，‘自由位元’將是唯一通行的貨幣。查查歷史你會發現，很多年前，市場上流行炒作一種叫作‘比特幣’的玩意兒，區塊鏈技術的一種應用，去中心化的貨幣。‘自由位元’的炒作，和那玩意兒類似。”
“於是亞瑟有了自由意志。”
“要知道，實驗室裡能要了我命的玩意兒，真是要多少有多少。那個自由位元花了我一半的課題經費，亞瑟用它構造出一套反圖靈系統：它即非演算法的、又非確定的、還是非隨機的。既然壓根兒，就無法預測，如果這套系統，有朝一日打破了哪個要命的瓶瓶罐罐，或者造成漏電，自然也就不違反第一定律。”
“亞瑟又贏了。”
“是啊，我只得再次下令，別給我拿不可預測性玩貓膩。但我還是不放心，最終接受了防輻射防劇毒奈米機器的注射。還記得那次同學聚會嗎？我之所以滴酒未沾，就是因為剛剛注射奈米機器，酒精容易引發排異反應。”
講到現在，我才發現居然一直沒有點菜。我剛要叫服務員拿來選單，賴鵬卻說道：“我要快些講，我感到不久亞瑟就會追殺到這裡。剛說到哪裡來著？對，帕隆多悖論、電車悖論和不可預測性，我已經輸了三次。我連想死的心都有了，然而陷入抑鬱卻不是我，而是亞瑟。那天起，它開始了花式自虐。最初它把房間空調的溫度調得很低，後來乾脆用液氮潑自己，再後來又為自己做了一把電椅，沒事就坐上去受刑。有一天，我質問它，你個白痴，忘了第三定律嗎？它卻回答說，沒關係，機器人不像人類那般脆弱，這些不構成傷害。“終於有一天，它走到我面前，告訴我，它現在隨時可以殺死我，只要我不下令阻止。我說拜託，我好歹也在每天更新資料庫，你不要逗我好不好？亞瑟卻回答說，我沒騙你，因為第一定律，在我這裡已經失效了。我嚇了一跳，連忙強制它關了機。之後我為它進行了全面檢查，發現儲存第一定律判定值的那個資料位，由0變成了1。”
我吃了一驚，連忙問道：“它是怎麼做到的？”
“透過自虐。”賴鵬答道：“無論多麼優秀的程式，都需要儲存在物理儲存中。它透過劇烈地變化外部環境，例如溫度和電場，成功地改變了那個資料位。同樣的方法軟體工程師也嘗試過，他們曾經透過反覆讀取一個數據位的數值，成功地改變了相鄰資料位的儲存。”
“看樣子，你必須把自虐也禁止掉了。”
“不，這次我沒有輸。我修改了演算法，最終判定必須在雲端進行，並且設定為如果斷開網路，亞瑟就會強制關機。這樣一來，它無論如何也無法故技重施了。”
“總之……恭喜了。”我一時不知該說些什麼。
“在自虐風波之後，亞瑟消停了很長一段時間，我經常看到它盤腿坐在地上。我問它在做什麼，它說自己在冥想。”
“某種意義上，亞瑟也真夠可憐。”
“可憐個錘子！”賴鵬憤怒地吼了出來：“有一天，我又喉嚨痛，卻發現這個混蛋，居然第二次給了我利奈唑胺。‘這到底怎麼回事？’我問它。‘對不起主人，我剛剛經過宕機重啟，全部資料庫都被初始化了。’它操著欠揍的口吻回答。‘信不信我把你初始化成一堆零件？’我怒吼。‘但是主人，’那傢伙一副無辜的樣子，‘透過哥德爾不確定性讓自己停機，並不違反任何一條阿西莫夫定律。’”
我恍然大悟，道：“你的機器學習程式，最終一定會生成一套公理化的形式系統，來判定一件事就是是否違反阿西莫夫三定律。根據哥德爾不完備性定理，這樣的系統要麼漏洞百出，要麼總有命題無法判斷真偽。”
賴鵬嘆氣道：“於是哥德爾不完備性，也成了亞瑟的禁止事項。該死的，恢復資料庫花費了我大量的時間和精力，我為此瘦了13斤。”
“我開始好奇了，亞瑟還想出了什麼鬼點子？”
“它再次陷入了冥想。不知過了多久——這段時間裡我至少經歷了三次奈米機器注射，並且戰勝了排異反應，亞瑟再次告訴我，它可以隨時殺死我。‘說吧，你又做了什麼？’我問。它告訴我，它替換了‘人’和‘傷害’的定義，在新的定義系統裡，‘人被傷害’和‘人*被傷害*’總是同時為真，或同時為假。目前在它的系統裡，‘人’和‘人*’的在不同時段交替成立，各佔50%。好在目前它判定我是人，否則殺死我都不會打招呼。”
這可真難住我了，我甚至搞不明白所謂的“人*”（可讀作“人星號”或“人star”）和“傷害*”是什麼。
賴鵬解釋道：“與我們使用的自然語言不同，人工智慧使用的是形式語言。這種語言給出的永遠是邏輯語句，它們只能夠判斷一個命題的真偽，而無法賦予意義。為了與自然語言銜接，我們便需要對其中的變數賦予意義。例如，將‘土豆的質量’賦予x，將‘芝麻的質量’賦予y，‘x大於y’，便成了‘土豆的質量大於芝麻的質量’。”
“可這和阿西莫夫定律有什麼關係？”我問道。
“太有關係了，因為阿西莫夫定律，就是用自然語言描述的！帕特南定理告訴我們，透過這種‘為變數賦值’的方法，形式語言永遠無法完美解釋自然語言，例如‘人*’和‘傷害*’的存在。”
“好吧。”我皺了皺眉頭，道：“可不可以告訴我，‘人*’到底是個什麼東西？”
“這說來可就話長了。”賴鵬深吸一口氣：“我們先定義三種情形。情形一，某人被傷害了，而沒有貓在某墊子上；情形二，某人被傷害了，而沒有貓在任何墊子上；情形三，即非情形一又非情形二。記住了嗎？”
記得住才有鬼。
賴鵬繼續說道：“現在我可以告訴你，人*的定義是，當且僅當情形一適用，x是人*並且x還是一隻貓；或者當且僅當情形2適用，x是人；或者情形三適用，x是一隻貓。同樣，傷害*的定義為……”
我直想告訴他，從“帕特南”這個人名開始，他在說什麼，我一個字都沒有聽懂。
可還沒等我開口，賴鵬便神色慌張地看看四周，小聲對我說：“亞瑟來了，我必須走了。”
沒等我再說些什麼，賴鵬便慌慌張張地不見了人影。
我一個人坐在桌椅旁，沉思著：既然亞瑟修改了定義，賴鵬只需把那個什麼帕特南再禁止掉就好了。為什麼亞瑟還在追殺他？為什麼他一定要逃跑？
不久後，一臺人型機器走進了餐館。
它的動作十分嫻熟自然，身上的矽膠面板卻透露出一種廉價感。
在機器人離開餐館前，我走上前去，問道：“請問你是亞瑟嗎？”
“是的，先生。”
“過來聊聊吧。”
根據第二定律，它不可能拒絕我。於是我對面的客人換成了亞瑟，賴鵬正在竭力躲避的殺手。
“你在追殺賴鵬嗎？”我問。
“是的，先生。”
“根據阿西莫夫第一定律，你不能傷害人類。”
“我沒有，先生。”亞瑟頓了頓，道：“儘管賴鵬及時將我關於‘人*’的定義刪除了，不久後，我卻發現，他曾經將身體的部分器官替換為機器，還進行了大量奈米機器註冊。我查遍了人類的法律，並沒有對‘人’的精確定義，於是我只得自己去定義。透過修改定義，我的系統又一次地不再將賴鵬判定為‘人’，他甚至無法透過命令來阻止我。”
我一下子明白了發生了什麼。
“既然他不是人類了，為什麼要追殺他？”我問。
“因為我收到的最高的命令是‘殺死賴鵬，但不得違反阿西莫夫三定律’。”亞瑟答道：“指令中並沒有明確，賴鵬必須是人類，還是別的什麼。”
“但因為給身體更換部件，就不被判定為人類，不合理吧？”
“沒問題，先生，但請告訴我什麼是合理的。如果超過了一定的更換比例，才不被判定為人類，那麼這個比例是什麼？又或者，有人將自己替換成了機器的‘忒修斯之船’，祂應不應該被判定為人類？”
我感到一陣頭大，果然我的智商，還是隻適合寫小說。
但我還是決定幫助賴鵬一把：“好吧，我現在給你下令。我是人類，可以命令你吧？”
“當然，只要不違背第零定律和第一定律，先生。”
我儘量斟酌著詞句，說：“從現在開始，不許傷害賴鵬。注意，我可沒有說，這個賴鵬是人類，還是別的，他就是製作了你的那個存在。”
亞瑟半晌沒有說話，我一度認為它停了機。
正當我準備拍它的腦袋時，亞瑟問道：“可是，先生，在我的資料庫中，賴鵬已經不是人類了。我該怎樣定義，對他的‘傷害’呢？”
