第七章 杞人憂天——我們想象中的人工智能會出什麽錯
進入21世紀以後，人工智能的飛速發展引起了媒體的廣泛關注。其中有一些報道是公正合理的，不過坦白地說，大部分報道都愚蠢得無可救藥。其中有一些報道頗有知識性和引導性，而大部分則是杞人憂天式的恐嚇。比如2017年7月，各大媒體爭相報道臉書關閉了兩個人工智能係統，因為它們開始用自己的人工智能語言進行交流(顯然它們的設計者無法理解)[93]。當時的新聞頭條和社交媒體報道立場明確地暗示，臉書關閉這兩個係統是因為害怕它們失去控製。事實上，臉書的人工智能實驗是常規化並且完全無害的，連人工智能專業的學生都能承擔這類實驗項目。臉書的係統策劃瘋狂殺人的可能性和你家的微波爐突然變身成殺手機器人的概率一樣大，實話實說，那是根本不可能的。
一方麵，我覺得對於臉書事件的報道相當滑稽，但另一方麵，這也讓我十分沮喪。問題在於，這樣滑稽的報道迎合了大眾對人工智能的“終結者式恐懼”：我們正在創造一些自己無法控製的東西，這會給人類的生存帶來風險〔此處你應該能聽到阿諾德·施瓦辛格(Arnold Schwarznegger)在《終結者》影片中經典的角色配音〕。當然，我們創造出怪物的想法絕不是現代才有的：它至少可以追溯到瑪麗·雪萊的《弗蘭肯斯坦》。
這種說法仍然主導著有關人工智能未來的爭論，現在的人們還經常用討論核武器的口吻來討論人工智能的未來。億萬富翁企業家、貝寶公司(PayPal)和特斯拉公司的聯合創始人埃隆·馬斯克(Elon Musk)就對此擔憂不已。他發表了一係列公開聲明，表達了自己的擔憂，並捐贈了1000萬美金作為研究經費，支持負責任的人工智能研究。2014年，當今最著名的科學家斯蒂芬·霍金曾公開表示，他擔心人工智能會成為人類生存的威脅。
鼓吹人工智能“終結者式恐懼”真的會帶來很嚴重的後果，原因如下：首先，它讓我們擔心一些我們完全沒必要擔心的問題；其次，它讓人們把注意力從真正應該關注的人工智能問題上轉移開。這些問題可能不像終結者幻想那樣吸引人的眼球，可以成為頭條新聞，但它們才是我們現階段確確實實應該關注的。因此，在這一章中，我想解決有關人工智能的“終結者式恐懼”：類似《終結者》中的毀滅場景，到底有多大可能性出現；並且，人工智能是怎麽出錯的。接下來我會從直麵這個故事開始，討論它是怎麽發生的，以及發生的概率有多大。這就會引出對人工智能倫理的討論——人工智能係統充當道德智能體的可能性，以及已經提出的各種有關人工智能的倫理框架。最後，我將提醒大家注意人工智能的一個特點，就是它們很容易出故障，盡管還沒到特別可怕的程度：如果我們想要一個人工智能係統代替我們工作，那麽就需要跟它溝通我們想要的東西。但事實證明這很難做到，若是我們在傳達意願的時候稍有偏差，或許人工智能係統會給出我們所要求的、但並非我們真正想要的東西。
奇點主義？純屬胡扯!
在當代人工智能中，終結者式的場景通常跟名叫奇點的想法聯係在一起，這個想法來源於美國未來學家雷·庫茲韋爾(Ray Kurzweil)於2005年出版的著作《奇點臨近》[94]。
奇點臨近，其背後的關鍵思想是，人類創造技術的增速正在加快，技術的力量正在以指數級的速度擴張……在幾十年內，以信息為基礎的技術將涵蓋所有人類的知識和技能領域，最終包括人類大腦自身的模式識別能力、解決問題的技能，以及情感和道德。
盡管庫茲韋爾對奇點的定義相當寬泛，但這個術語已經逐漸被當作一個特定概念：奇點是指計算機智能(通用意義上)超過人類智能的一個假想點。有人認為，到達奇點以後，計算機可以開始運用自己的智能來改進自己，這個過程就會持續自我完善。之後，這些改進後的機器會用它們改進後的智能進一步改進自身，以此類推。從這一點上說，自奇點之後，僅僅依靠人類的智慧就不可能重新獲得計算機的控製權了。
這個想法聽起來很有道理，也十分令人恐懼。但我們先暫停一下，看看奇點背後的邏輯。簡言之，庫茲韋爾的推論主要基於這樣的觀點：計算機硬件(處理器和內存)的發展速度很快會超過人腦的信息處理能力。他的推論引用了計算機領域一個著名的定律——摩爾定律。摩爾定律是計算機處理器公司英特爾的聯合創始人戈登·摩爾(Gordon Moore)在20世紀60年代中期提出的，所以以他的名字命名。晶體管是計算機處理器的基礎組成單元，在芯片上安裝的晶體管數量越多，芯片在給定時間內能夠處理的工作量就越大。摩爾定律指出，半導體固定麵積上的晶體管數量大約每隔18個月就會翻一番。簡單地說，按照摩爾定律，計算機處理器的功率每隔18個月就會提升一倍。摩爾定律有幾個重要的推論，其中之一是計算機處理器的能耗會以同樣的速度降低，處理器本身的體積也會逐漸縮小。近50年來，摩爾定律一直被證明是非常可靠的，而在2010年前後，現用處理器技術開始觸及物理極限。
現在來看，庫茲韋爾的推論隱晦地將奇點出現的必然性與計算機的運算能力簡單地關聯起來，然而，這種關聯是合理的嗎？請允許我做一個思考實驗，想象一下，我可以把你的大腦複製到一台電腦上(不用緊張，僅僅是想象)，假設用來裝載你的複製大腦的電腦是有史以來運行速度最快、最強大的電腦，有驚人的運算速度，那麽你就會擁有超級智慧嗎？當然，你可以“快速思考”，但這會讓你突變得極其聰明嗎？從某種微不足道的意義上來說，我想或許會——但是，從任何有意義的智力層麵上來說，不會，更不可能讓你突破奇點[95]。換句話說，單純的計算機處理能力的提高不會導致奇點的必然出現。或許這是一個必要條件(如果沒有高性能的計算機，我們無法實現人類級別的人工智能)，但並不是充分條件(僅僅擁有高性能計算機並不能讓人工智能實現宏偉夢想)。再換句話說，人工智能軟件(例如機器學習)的改進速度比硬件發展速度要慢得多。
懷疑奇點主義還有其他理由[96]，一方麵，即使人工智能真的能達到人類級別的智能化，也不意味著它就能夠以超出我們理解的速度提升自己。正如本書中已經明確的那樣，在過去的60年裏，我們的人工智能發展之路極其緩慢——那又有什麽證據證明類似人類智力水準的通用人工智能能夠迅速提升人工智能的發展速度呢？
也有人論證說人工智能係統互相合作以獲得超出人們理解或者控製的智能(參見本章開頭提到的臉書事件)。但我同樣不認為這種論證具有說服力：假設你聚集了1000個愛因斯坦的克隆體，它們的集體智慧會是愛因斯坦的1000倍嗎？事實上，我懷疑它們的集體智慧遠遠無法達到這個數字。再說一次，雖然1000個愛因斯坦克隆體可以比1個愛因斯坦更迅速地完成一些事情，但並不代表它們就變得更聰明了。
基於這些以及更多的原因，我認識的大多數人工智能研究人員都對奇點主義持懷疑態度——至少在可預見的未來，在計算機和人工智能技術方麵，還不知道有哪條路能把我們從現在的位置帶到奇點。但一些嚴肅的評論員仍對此感到擔憂，並聲稱我們無視奇點的觀點太過自負，他們認為核能就是最好的反麵教材。早在20世紀30年代初，科學家們就知道有大量的能量被鎖在原子核中，卻不知道如何釋放，甚至不知道能否釋放。一些科學家對利用核能的想法嗤之以鼻：盧瑟福(Rutherford)勳爵是彼時最著名的科學家之一，他認為，人類妄想能利用這種能量，簡直是“自作聰明”。但是，諷刺的是，就在盧瑟福否定核能可用性的第二天，物理學家利奧·西拉德(Leo Szilard)在倫敦一邊過馬路，一邊仔細思考盧瑟福的聲明，突然就冒出了核連鎖反應的點子。10年後，美國向日本城市投放原子彈，釋放出恐怖的能量，而這一切，就來源於西拉德的靈光一閃。人工智能會不會有一個利奧·西拉德式的靈光閃現呢？一個突如其來的頓悟，把我們很快帶向奇點？當然，我們不能排除這種可能性，但它確實微乎其微。核連鎖反應實際上是一個非常簡單的機製，連中學生都可以理解它。過去60年人工智能研究的所有經驗告訴我們，人類水準的人工智能並非如此。
遙遠的未來是否會出現奇點？100年後，或者1000年後？在此，我不得不承認，很難說。試圖預測計算機技術在100年後(更別提1000年後了)會是什麽狀況，真是不明智的行為。但在我看來，如果奇點出現了，就像《終結者》裏麵的場景那樣，這簡直不可思議。用羅德尼·布魯克斯的比喻，把人類的智慧想象成波音747，我想問問，我們有沒有可能僅憑靈光一閃就發明波音747？或者在毫無預期的情況下就把波音747發明出來了？顯然不可能。當然，也存在質疑的觀點，哪怕出現奇點的可能性微乎其微，但一旦它出現，對所有人類而言，不啻一場滅頂之災，所以現在開始要對奇點進行預先思考和計劃，是完全有必要的。
不管奇點是否會出現(很顯然，我的觀點是不會)，但目前看來，確實有不少人很擔憂人工智能的發展，認真考慮是否要對其進行監督。我們是否需要法律——甚至國際公約來控製人工智能的發展，就像我們應用核能一樣？不過，我認為引入一般的法律來管理人工智能的使用沒有可行性，這就有點像試圖通過立法來管理數學應用一樣滑稽。
我們得談談阿西莫夫
每當我和一個普通觀眾討論《終結者》的故事時，總有人建議，我們要在構建人工智能的時候就考慮約束問題，避免它成為無法控製的殺人機器。在這之後不久，通常就有人建議我們考慮著名科幻作家艾薩克·阿西莫夫(Isaac Asimov)提出的機器人三定律。機器人三定律是由阿西莫夫在機器人係列故事中提出的，在他的故事裏，機器人裝備了強大的人工智能——“正電子大腦”。阿西莫夫最早在1939年製定了三定律，在接下來的40年裏，機器人三定律為他提供了巧妙的情節設計，最終成就了一係列著名短篇小說，以及一部令人失望的好萊塢電影[97]。阿西莫夫故事中人工智能的“科學性”，即正電子大腦毫無意義，當然，這絲毫不影響故事的趣味性。對我們來說，最有趣的是機器人三定律本身：
第一定律：機器人不得傷害人類，也不得因為不作為而讓人類受到傷害。
第二定律：機器人必須服從人給予它的命令，除非該命令與第一定律衝突。
第三定律：機器人在不違反第一、第二定律的情況下要盡可能保證自己的生存。
真是完美的設定，乍一看巧妙又穩妥地解決了問題。那麽，我們可以在構建人工智能的時候內置這些定律嗎？
關於阿西莫夫的機器人三定律，首先要說的是，它們設計得雖然精巧，但阿西莫夫的故事很多時候都是發生在定律有缺陷或者互相矛盾的情況下。例如，在故事《環舞》中，一個名叫SPD-13的機器人要無休止地圍著一池熔融的硒繞圈，因為要遵守人類下達的采硒命令(第二定律)和保護自己(第三定律)之間存在衝突，所以它隻能在離硒礦湖固定的距離處繞圈子，如果它再靠近一點硒礦湖，保護自己的定律開始起作用，讓它遠離；而它要是離得過遠，采硒礦的命令又起作用，它必須服從。在阿西莫夫的故事中還有許多其他例子(我強烈推薦你去讀一下)。因此，三定律本身雖然很巧妙，但絕不是無懈可擊的。
但機器人三定律更大的問題是，它在人工智能係統中根本無法實施。
想想實施第一定律意味著什麽，當人工智能在考慮每一個動作時，都需要考慮這個行為可能產生的影響，大概需要考慮全人類(或者能夠涉及的部分人類)以及未來可能出現的影響(總不能隻關心現在吧)。這是不可行的。另外，“不得因為不作為而讓人類受到傷害”這一條也存在同樣的問題：係統能夠做到不斷地思考它涉及的每個人所有可能的行為，並且思考自己是否有相關行為能夠阻止他們受到傷害嗎？這也是不可行的。
即使單單捕捉“傷害”這個概念也很困難，試想一下：當你坐飛機從倫敦飛往洛杉磯時，你消耗了大量的自然資源，並在途中產生大量汙染和排放大量二氧化碳。毫無疑問，這肯定會對某些人產生傷害，但這種傷害的程度不可能精確量化。如果你不相信的話，我可以告訴你，我認識一些不願意坐飛機旅行的人，他們的理由就是如此。所以，我想，一個遵守阿西莫夫三定律的機器人是不會坐飛機的。事實上，我懷疑它不能做任何事情，它可能隻會蜷縮在某個角落，躲在世界的一隅，因為優柔寡斷而如同廢鐵。
因此，雖然阿西莫夫的機器人三定律為人工智能係統的構建提供了高層次的原則性指導(事實上，我認為大部分人工智能研究人員都會暗地裏認同這些準則)，但是，像阿西莫夫的故事裏那樣，把三定律真正編碼進入人工智能係統中的想法，並不現實。
這樣一來，阿西莫夫的三定律，以及其他善意的人工智能倫理準則對我們沒多少幫助，那麽我們又該如何考慮人工智能係統行為的可接受性呢？
我們還是別談電車難題
阿西莫夫機器人三定律可以說是第一次也是最著名的嚐試，試圖構建能夠管理人工智能決策係統的總體框架。不過它並不是一個嚴肅的人工智能倫理框架，我們可以把它視為伴隨人工智能飛速發展而產生的一係列類似框架的鼻祖。人工智能倫理框架已經成為一項重要的研究課題[98]，在本章剩餘部分，我們將深入探索這項工作，並討論它是否朝著正確的方向發展。我們的探索從一個特定的場景開始，它很有名，吸引了很多人的注意。
電車難題是倫理哲學領域最著名的思想實驗之一，最初由英國哲學家菲利帕·富特(Philippa Foot)於20世紀60年代末提出[99]。她引入電車難題的目的是解開圍繞墮胎道德的某些高度感性的問題。富特的電車難題有許多版本，最常見的版本是這樣的(參見圖21)：
一輛電車失去控製，正高速衝向五個無法移動的人。軌道旁邊有一個操縱杆，如果拉動操縱杆，電車將轉向另一條軌道，那裏隻有一個人(同樣無法移動)。你如果拉動了操縱杆，你會殺死一個人，但會拯救五個人。
那麽，你拉還是不拉？
圖21 電車難題
如果你無作為，上方軌道的五個人會死；如果你拉動操縱杆，下方軌道的一個人會死。你該怎麽辦呢？
由於無人駕駛汽車即將到來，電車難題迅速凸顯。專家們指出，無人駕駛汽車很可能陷入類似電車難題的困境，然後人工智能軟件就會被要求做出艱難的選擇。2016年，一則標題為“自動駕駛汽車已經在決定殺死誰了”[100]的網絡頭條新聞，在網上掀起了一場軒然大波。我認識的幾位哲學家受寵若驚地發現，突然有一批網友關注他們，期待他們對這個迄今為止在倫理哲學方麵很難下定論的問題發表意見。
電車難題表麵看很簡單，但它衍生出一係列令人驚訝的複雜問題。我對電車難題的直覺反應是，在不考慮其他條件的情況下，我會拉動操縱杆，因為隻死一個人總比死五個好。哲學家稱這種想法為結果主義者(因為它根據行為的後果來評估行為的道德性)。最著名的結果主義應該是功利主義了，它起源於18世紀英國哲學家傑裏米·邊沁(Jeremy Bentham)和他的學生約翰·斯圖亞特·密爾(John Stuart Mill)。他們提出了一個被稱為“最大幸福原則”的理論，大致來說就是一個人選擇的任何行為，都會使“世界總體幸福”最大化。在更現代的術語中，我們會說功利主義者是為了社會福利最大化而行動的人。在這裏，功利被定義為社會福利。
雖然總體原則沒問題，但要精確定義“世界總體幸福”並不容易。例如，假設電車難題中的五個人是邪惡的殺人凶手，而另一個人是無辜的小孩。五個邪惡的殺人凶手生命的價值會超過一個無辜小孩嗎？如果不是五個，是十個邪惡殺手呢——這會讓你下定決心拉動操縱杆嗎？
另一種觀點則認為，如果一項行為符合普世的“善意”行為原則，那麽它是可以接受的，標準例子就是“奪取別人性命是錯誤的”原則。如果你堅持這個原則，那麽任何導致別人死亡的行為都是不可接受的。因此，信奉這樣原則的人不會對電車難題采取任何行動，即無作為，因為他們的行為會導致謀殺，雖然不采取任何行動也會導致人死亡。
第三種觀點基於美德倫理學的思想，從這個角度看，我們認為一個“有道德的人”體現了我們渴望決策者身上有的美德，然後，我們可以得出結論，他在這種情況下所做的選擇，就是正確的選擇。
當然，對人工智能而言，做決策的是一個智能體——它必須決定一輛無人駕駛汽車在直行殺死五個人和轉彎殺死一個人之間如何選擇。那麽，當人工智能遇見電車難題或者類似問題時，智能體應該怎麽做？
首先，我們應該捫心自問，在這樣的情況下，期望人工智能做出正確選擇是否合理。如果世界上最偉大的哲學家都無法徹底解決電車難題，那麽期待人工智能係統去解決它，合理嗎？
其次，我得指出，我開了幾十年車了，從來沒遇見過這樣的難題，我認識的所有人也沒有遇見過。此外，我所知道的道德倫理，尤其是有關電車難題的倫理，僅僅是上述你讀到的假設情況而已，我不需要通過道德倫理考試才能拿到駕照。到目前為止，這個問題還沒有對我造成任何困擾，駕駛汽車也不需要更深層次的倫理推演。因此，要求無人駕駛汽車在上路之前先解決電車難題，在我看來有點荒謬。
第三，在這類倫理問題上，無論你認為自己的答案多麽理所當然，其他人總會有不同答案，他們也認為那才是順理成章。麻省理工學院的研究人員已經證明了這個事實，他們為此做了一個聰明的在線實驗，研究人員建立了一個名為道德機器的網站，用戶可以在網站上看到一係列的電車難題，並被問及如果無人駕駛汽車遇見這樣的情況應該怎麽做[101]。那些無辜的受害者可能包括男性、女性、肥胖人士、兒童、罪犯、流浪漢、醫生、運動員和老年人，還可能包括貓狗等動物。這項實驗引起了網友們的廣泛關注，研究人員從233個國家的用戶那裏收集到了大約4000萬份個人決策數據。
這些數據揭示了全球對電車難題中倫理決策的不同態度。研究人員發現了三個關鍵的“道德集群”，每一個都體現了具有獨特特征的倫理框架。研究人員將這些集群命名為西部、東部和南部。西部集群包括北美和大多數歐洲國家；東部集群包括許多遠東國家，如日本和中國，以及伊斯蘭國家；南部集群包括中美洲、南美洲和拉丁美洲國家。與西部集群相比，東部集群更傾向於保護合法的人而不是罪犯，更傾向於保護行人而不是車上的乘客，而且更傾向於保護年輕人。南部的集群似乎更關心的是如何保護地位高的個體，以及年輕人和女性。研究人員深入研究發現，還有其他的決策預測因素：例如，如果一個國家擁有繁榮的文化或強大的法治，這兩種社會特質在預測偏好方麵都會起到明顯的作用。
麻省理工學院的研究人員將研究結果(人們認為無人駕駛汽車在有軌電車問題的情況下應該如何運行)與2017年德國聯邦政府製定的一些有關汽車道德決策的實際指南進行了比較[102]。德國的指南提出了20條建議，例如：
·在危險情況下，必須始終優先考慮拯救人的生命，而不是防止財產損失。
·如果發生事故不可避免，在決定如何行動時，不允許考慮一個人任何的生理特征(年齡、性別等)。
·必須始終弄清楚，目前是人類還是計算機負責駕駛。
·汽車必須記錄下任何時間在駕駛汽車的對象。
其中一些指導原則與道德機器實驗中所得出的數據相悖：例如，禁止任何基於個人特征的歧視的規定與道德機器所揭示的拯救年輕人的國際偏好形成鮮明對比。試想一下，如果一輛無人駕駛汽車遵循德國的指導方針，不對事故對象做區分，結果導致一名兒童而不是一名老年晚期癌症患者被撞死，那會引起多大的公憤。我舉的例子很極端，在此深表歉意，但你應該能明白我的意思。
雖然道德機器實驗挺有意思，但我認為它本身和它所涉及的電車難題都無法給我們太多有關無人駕駛汽車人工智能軟件的啟示。我不相信未來幾十年內我們的無人駕駛汽車會遇見這種道德困境。那麽，當遇上電車難題的時候，一輛真正的無人駕駛汽車在實際操作中會怎麽做呢？那些致力於研究無人駕駛汽車技術的人對細節也不太清楚，但以我過去幾十年在人工智能領域積累的經驗來看，最基本的工程原理是最大限度提高預期安全性(換言之，就是最小化預期風險)。這不涉及深層次道德推斷的問題——如果真的需要推斷，也可能不會比你麵對多個障礙物時避開較大的那些需要做的推斷更複雜。坦率地說，即使是這種層麵的推斷也並不是一定會發生的。事實上最有可能的結果是汽車會緊急刹車。也許，在實踐中，在同樣的情況下，我們也應該盡全力去做到這一點。
人工智能倫理研究的興起
別作惡。
——穀歌公司座右銘，2000—2015年
還有更多更廣泛的問題涉及人工智能和倫理學，這些問題比電車難題更具緊迫性，也更相關。在撰寫本書的時候，人們正為這些問題進行激烈爭辯。似乎每一家科技公司都想證明他們的人工智能比其他公司的更具有道德性，幾乎每星期各家都有新聞稿宣布一項新的人工智能倫理倡議。我們需要回顧一下這些問題，以及思考它們在人工智能未來發展中可能扮演的角色。
最早也是最有影響力的人工智能道德框架之一是阿西洛瑪人工智能準則，它是由一群人工智能科學家和評論員於2015年和2017年在加州的阿西洛瑪度假勝地確定的。阿西洛瑪人工智能準則一共有23條，全世界人工智能科學家和開發者都被要求簽署這些準則[103]。大多數準則都是沒有什麽爭議的，比如：第一條，人工智能研究的目標應該是創造有益的智能；第六條，人工智能係統應該是安全可靠的；第十二條，人們應該有權訪問、管理和控製與人工智能係統相關的數據。
另外一些準則誌存高遠。例如：第十五條要求“人工智能創造的經濟繁榮應該被廣泛分享、造福全人類”。我個人對簽署這一條倒是沒什麽異議，但這一條對那些大型企業而言，恐怕隻是嘴上說說罷了，指望他們落實這一條那恐怕是天真過了頭。大企業投資人工智能的主要原因是希望獲取競爭上的優勢，為股東帶來利益，而不是他們想造福全人類[104]。
最後的五條原則涉及人工智能長遠的未來，以及對人工智能可能會以某種方式失控的擔憂——《終結者》場景再現：
·能力警惕：我們應該避免關於未來人工智能能力上限的過高假設，但這一點還沒有達成共識。
·重要性：高級人工智能能夠代表地球生命曆史的深遠變化，人類應該報以高度關注，以及用合適的資源來進行規劃和管理。
·風險性：必須投入與人工智能係統預期影響力相對應的努力來應對和緩解它們帶來的風險，尤其是毀滅性風險或者涉及人類存亡的風險。
·遞歸式自我改善：對於設計中能夠進行遞歸式自我改進(自動提高它們的智力，然後利用改進後的智力進一步提高自己)或者自我複製，可能會導致人工智能智力快速提升或者複製品迅速增加的人工智能係統，必須遵守嚴格的安全和控製措施。
·共同利益：超級智能的開發應當隻為普世認同的道德理想服務，應當惠及全人類，而非惠及某一國家或者組織。
再次重申，我個人對簽署以上準則是沒有任何異議的，但事實上，正如我之前講到過的，我們離這些準則暗示的場景還有十萬八千裏，將這些場景納入準則中幾乎就等於製造恐慌。用人工智能科學家吳恩達A的話來說，現在擔心這些問題就像在擔心火A吳恩達，1976年生，華裔美國人，斯坦福大學計算機科學係和電子工程係副教授、人工智能實驗室主任。吳恩達是人工智能和機器學習領域最權威的學者之一，也是在線教育平台Coursera的聯合創始人。星人口過剩一樣[105]。或許在未來的某一天，這些問題足以將人折磨到失眠，但現在就提出來，是在誤導人工智能的未來發展之路，更令人擔憂的是，它分散了我們的關注。我們究竟該關注哪些問題，這個會在下一章討論。當然，也正是因為這些場景在未來很長一段時間內都不可能出現，所以各大公司都可以不費吹灰之力地欣然接受，並且享受由此帶來的提升企業形象的正麵宣傳效果。
2018年，穀歌發布了自己的人工智能道德指南。比阿西洛瑪準則略簡潔，它們涵蓋了許多相同的領域(有益、避免偏見、安全)。並且，穀歌還就人工智能和機器學習開發的最佳實踐提供了一些具體指導[106]。2018年底，歐盟提出了另一個框架[107]，還有一個框架是由IEEE(電氣和電子工程師協會，一個非常重要的計算機和信息技術專業學會)提出的[108]。許多大公司(不僅僅是IT公司)也發布了他們自己的人工智能道德準則。
當然，大企業宣稱他們致力於發展人工智能道德是一件好事情。然而，他們是否真正理解所承諾的東西，這才是難點。高層的願景是很美好的，比如分享人工智能的益處，肯定受歡迎，但是將其轉化為具體行動卻並不容易。穀歌十多年來使用的公司座右銘是“別作惡”，這聽起來不錯，我敢說這是真誠並帶有善意的——但這對穀歌的員工而言又意味著什麽呢？如果需要防止穀歌越軌到黑暗麵，他們還需要更具體詳細的指導。
在已經提出的各種框架內，某些主題反複出現，圍繞它們所達成的共識也越來越多。我在瑞典於默奧大學的同事維吉尼亞·迪格努姆(Virginia Dignum)將這些問題分為三個關鍵類別：解釋義務、責任和透明度[109]。
解釋義務主要是指，比如一個人工智能係統做了一個對某人有重大影響的決策，那麽這個人有權要求係統對這個決策進行解釋。但是怎麽樣才算是解釋，這就是個難題了，在不同的環境下有不同的答案，而現在的機器學習程序無法提供解釋。
責任則意味著應該明確對決策負責的智能體，而且，最重要的是，我們不應該試圖聲稱人工智能係統本身要對決策“負責”，責任方應該是部署該係統的個人或者組織。這就指向了一個更深層次的哲學問題，一個與道德智能體有關的問題。
道德智能體通常被理解為一個實體，它能夠分辨是非，並理解其行為所導致的後果。人們通常認為，人工智能係統可以承擔道德智能體的責任，並且能夠為它的決策和行為負責。而人工智能研究界的普遍觀點恰好相反：軟件是不能被追究責任的。更進一步說，人工智能研究中的責任並不意味著製造出有道德責任的機器人，而是以負責任的方式開發人工智能係統。例如，發布一個類似Siri的軟件智能體，誤導用戶以為自己在跟另一個人交互，這就是軟件智能體的開發者對人工智能不負責任的使用。軟件在這裏不是罪魁禍首，開發和部署它的人才是。負責任的設計在這裏意味著人工智能將始終清晰地表明它的非人類身份。
最後，透明度意味著一個係統使用的數據應該是可獲取的，其中使用的算法也應該是清晰明確的。
人工智能倫理研究的興起是令人值得高興的進步，盡管目前正在提出的各種框架和體係實際的實施範圍還有待觀察。
謹慎地表達意願
有關人工智能倫理的討論有時候會讓我們遺忘一個平凡的現實：人工智能軟件就隻是軟件而已，我們不需要創造什麽新奇的技術讓軟件出錯。簡言之，軟件本身就有缺陷，沒有缺陷的軟件是不存在的：隻是有的軟件因為缺陷崩潰了，而有的沒有。開發無缺陷軟件是計算機領域的一項重要研究，發現和消除缺陷是軟件開發的主要內容之一。但是人工智能軟件為引入缺陷提供了新的方式。其中最重要的一點是，如果人工智能軟件要代替我們工作，我們需要告訴它希望它做什麽，這往往不像想象中那麽容易。
大約15年前，我正在研究一種技術，旨在使車輛在不需要人為幹預的情況下進行自我協調。聽起來很酷炫，不過因為我研究的特定場景是鐵路網，所以實際情況相對要簡單一些。鐵路網是環形網絡，上麵有兩輛列車朝著相反的方向行駛。當然，火車和鐵路都是虛擬的——沒有實際的軌道(事實上連玩具軌道都沒有)。假設虛擬的鐵路通過一個狹窄的隧道，如果兩輛火車同時進入隧道，那麽就會發生(虛擬的)車禍，而我的目標是阻止這一切。我嚐試開發一個通用框架，允許我向係統提出一個目標(本例中的目標是防止火車撞車)，係統將返回一些規則，列車如果遵循這些規則就能保證目標實現(列車不會發生碰撞)。
我的係統開始工作了，但跟我想象的差距甚遠。當我第一次向係統輸入目標時，係統返回的規則是：兩列火車必須都保持靜止。當然，這是可行的——如果兩列火車都保持靜止，當然不會發生車禍了，可這不是我想要的方案。
我遇見的問題是人工智能研究中的典型問題，實際上在計算機科學中也存在。我們想把自己的意願傳遞給計算機，這樣計算機可以代表我們去達成它。但是，將意願準確地傳達給計算機，本身就是一個非常有問題的過程，原因有好幾個。
首先，我們可能並不知道自己想要什麽，至少並非明確知道，在這種情況下，表達自己的意願幾乎不可能。另外，我們的意願通常存在矛盾，在這種情況下，人工智能又要如何理解它？
此外，我們不可能一次說清自己的偏好，所以通常我們所做的是對意願和偏好進行概述，而概述和全麵的敘述之間總會存在差距，人工智能又該如何彌合這些差距呢？
最後，也許也是最重要的一點，當我們和人類交流的時候，通常默認彼此間有共同的價值體係和規範。我們不需要每次互動之時都把所有的東西交代清楚。但人工智能並不清楚這些默認的價值體係和規範，它們必須得到明確的說明，或者我們需要通過某種方式保證人工智能係統的後台存在這些東西。如果沒有，那我們沒法得到自己想要的結果。在上文的火車鐵軌研究中，我傳達了我的目標，即火車要避免撞車，但我忘了傳達一個信息：火車仍然需要保持運行。如果是跟人交流，我想所有人都會理解並默認這一點，哪怕我忘記交代。但計算機係統不會。
牛津大學哲學家尼克·博斯特羅姆(Nick Bostrom)在他2014年出版的暢銷書《超級智能》[110]中講述了這種情況，他稱之為不通情理的實例化：計算機按照你的要求去做了，但並沒有按照你預期的方式。想象不通情理的實例化具體案例，可以讓人不停地想上幾個小時：你要求機器人確保你的房子不會被竊賊入侵，它索性一把火把房子燒了；你要求機器人保證人類不會得癌症，它幹脆把所有人都殺了。諸如此類。
當然，我們在日常生活中也經常遇見這類問題：每當有人設計了一套旨在鼓勵某一類行為的激勵機製時，總有人會找到某種博弈方式，在不按預期行事的情況下獲得獎勵。我想起了蘇聯時期的一則逸事(可能是編造的)：蘇聯政府希望鼓勵刀具生產，因此決定根據刀具的重量來獎勵生產刀具的工廠，結果如何？餐具工廠很快開始生產重得拿不起來的餐刀餐叉之類……
迪士尼經典電影的影迷可能會想到一個相關的情景，1940年迪士尼電影《幻想曲》中有一段情節，天真的巫術學徒米老鼠厭倦了從井裏打水並提到屋裏的家務活兒，為了減輕自己的負擔，他召喚了巫術掃帚來做這件事。但是當米老鼠打瞌睡醒來後，他不得不阻止掃帚一桶又一桶地往屋裏提水，結果他的地下室被水淹沒了。最終他不得不尋求巫師師父的介入來糾正這個問題。米奇的掃帚完成了他的要求，但那並不是他想要的。
博斯特羅姆還設想了以下場景：假設有一套控製回形針生產的人工智能係統，人們要求它“最大化生產回形針”，然後，從字麵意思來講，係統將考慮先把地球和宇宙的其他部分轉化成回形針的樣式。同樣，這個問題歸根結底還是溝通問題：在這種情況下，我們傳達目標的時候，要確保明確無誤，不會產生歧義。
解決這個問題的方法是設計一種人工智能係統，以盡量減少其行為對周圍環境的影響。也就是說，我們希望人工智能實現目標，同時讓它所涉及的一切都盡可能保持或接近現在的狀況。“ceteris paribus preferences”(即“盡可能保持其他條件不變”)的概念說明了這一點[111]。“ceteris paribus”是拉丁文，意思是“其他條件不變”。因此，按照“盡可能保持其他條件不變”的想法，如果我們讓人工智能係統做一些事情，是希望它完成任務的同時，保持其他一切盡可能不發生變化。因此，當我們發出“避免我的房子被盜賊入侵”指示時，我們的意思是“避免我的房子被盜賊入侵，同時盡可能使房子的其他一切保持現狀”。
解決這些問題的核心都是讓計算機理解我們真正想要的是什麽。逆向強化學習就是針對這一問題展開的，我們在第五章了解了常規的強化學習：智能體在某種環境中行動，並獲得獎勵。強化學習的目的是找到一個行動過程，最大限度地獲取獎勵。在逆向強化學習中，我們首先確定了“理想”的行為(即人類會怎麽做)，然後再製定人工智能軟件能獲得的相關獎勵[112]。簡言之，我們是將人類的行為視為理想行為的典範。