機器倫理和機器人權(quán)利正迅速成為人工智能/機器人界的熱門話題。我們將爭辯說，試圖讓機器做出道德決定或享有權(quán)利的嘗試是錯誤的。相反，我們?yōu)橹悄苋斯ご硖岢隽艘环N新的安全工程科學(xué)。特別是，我們對科學(xué)界提出了挑戰(zhàn)，以開發(fā)能夠證明即使在遞歸自我改進下它們實際上也是安全的智能系統(tǒng)。

倫理與智能系統(tǒng)

在過去的十年中，計算機科學(xué)的新子領(lǐng)域蓬勃發(fā)展，涉及機器倫理學(xué)的發(fā)展：

機器倫理、計算機倫理、機器人倫理、ethicALife、機器道德、電人倫理、計算倫理學(xué)、機器人倫理學(xué)、機器人權(quán)利、人為道德、只是一些旨在用更先進的機器的安全性來解決社會問題的提議。但是，由于道德規(guī)范不是普遍的，因此永遠無法選擇“正確的”道德規(guī)范來代替整個人類。

人工智能安全工程

即使我們成功地設(shè)計出能夠通過道德圖靈測試的機器，類似人的性能也意味著一些不道德的行為，這在我們設(shè)計的機器中是不可接受的。換句話說，我們不需要機器來作為全道德代理人來討論是非。我們需要機器本身具有安全性并遵守法律。

AI安全研究的一個共同主題是，可以將超級智能代理保存在密封的硬件中，以防止其對人類造成傷害。

這種想法起源于諸如EricDrexler之類的科學(xué)遠見者，他們建議限制超人機器，以便可以安全地研究和使用其輸出。同樣，未來學(xué)家尼克·博斯特羅姆(NickBostrom)提出了一種OracleAI(OAI)的想法，該想法只能回答問題。

最后，戴維·查默斯(DavidChalmers)在2010年提出了“防漏”奇點的想法。他建議出于安全原因，首先將AI系統(tǒng)限制在模擬虛擬世界中，直到在受控條件下可以完全理解其行為趨勢為止。

羅馬·揚波爾斯基(RomanYampolskiy)提出了AI限制協(xié)議的正式概念，該協(xié)議將“AI-Boxing”表示為計算機安全挑戰(zhàn)。他將人工智能限制問題(AICP)定義為將人工智能實體限制在密閉環(huán)境中的挑戰(zhàn)，如果該信息交換未經(jīng)密閉授權(quán)，則該實體無法通過合法或秘密渠道與外部環(huán)境交換信息權(quán)威。據(jù)說成功地違反了CP協(xié)議的AI系統(tǒng)已經(jīng)逃脫了。

提議的協(xié)議基于提出帶有受限答案的所謂“安全問題”的想法。一個安全的問題被定義為一個人可以根據(jù)自己的優(yōu)點而在沒有任何超級智能幫助的情況下找到答案的問題。為什么這有用?假設(shè)從事癌癥治療的科學(xué)家正在研究兩種潛在的治療方法。

每個人都可以在沒有AI協(xié)助的情況下進行開發(fā)和測試，但是每個人都需要花費大約3年的時間。如果科學(xué)家認為他們有平等的工作機會，那么應(yīng)該首先嘗試哪個?如果選擇了錯誤的選項進行首先測試，人類將仍然可以治愈癌癥，但是它將在3年后發(fā)生。如果我們可以要求AI建議先嘗試哪個選項怎么辦?

這個問題很安全，原因有很多。首先，每個可能的答案具有相等的正確概率。其次，人類可以在沒有AI協(xié)助的情況下回答它，因此向AI尋求幫助只會加快進度，而絲毫不會改變結(jié)果。從本質(zhì)上講，它等于很幸運地猜到了多項選擇答案。最后，該問題的答案可以被編碼為單個位，從而很難在提供的答案中隱藏其他消息。

為了確保潛在問題是安全的，可以使用一組專家進行審查。專家們都應(yīng)經(jīng)過培訓(xùn)，經(jīng)過AI安全工程師培訓(xùn)，這意味著他們熟悉AI的設(shè)計及其限制環(huán)境以及機器倫理方面的最新發(fā)展。專家可能還需要接受計算機心理學(xué)方面的培訓(xùn)，而計算機心理學(xué)是目前不存在的專業(yè)，將來可能成為現(xiàn)實。

現(xiàn)有的一門學(xué)科可能對AI問題復(fù)習(xí)專家的培訓(xùn)有最大的幫助，這是Artimetrics，這是Yampolskiy等人提出的研究領(lǐng)域。出于安全目的而識別，分類和認證AI代理，機器人和虛擬現(xiàn)實的化身。

大挑戰(zhàn)

作為AI安全工程的巨大挑戰(zhàn)，我們提出了為自我完善系統(tǒng)開發(fā)安全機制的問題。如果人工智能機器具有與人類工程師一樣的能力來設(shè)計下一代智能系統(tǒng)，那么重要的是要確保經(jīng)過數(shù)千代持續(xù)不斷的自我完善而無需人工操作，初始設(shè)計中包含的任何安全機制仍能正常工作干擾。

理想情況下，每一代自我完善系統(tǒng)都應(yīng)能夠提供可驗證的安全性證明，以供外部檢查。允許安全的智能機器為其自身設(shè)計一個固有的不安全升級將是災(zāi)難性的，從而導(dǎo)致功能更強大，更危險的系統(tǒng)。

一些人認為，這一挑戰(zhàn)要么無法解決，要么如果無法解決，將無法證明所發(fā)現(xiàn)的解決方案是正確的。隨著任何系統(tǒng)的復(fù)雜性增加，設(shè)計中的錯誤數(shù)量會成比例地增加，甚至可能成倍增加。

自我完善系統(tǒng)(最復(fù)雜的調(diào)試系統(tǒng))中的單個錯誤也將違反所有安全保證。

更糟糕的是，即使是在設(shè)計完成之后，也可能會引入缺陷，這可能是由于硬件缺陷引起的隨機突變，也可能是由于自然事件(例如短路修改了系統(tǒng)的某些組件)而引起的。

AGI研究是不道德的

某些類型的研究，例如人類克隆，對人類的某些醫(yī)學(xué)或心理實驗，動物(大猿類)研究等，被認為是不道德的，因為它們可能會對測試對象產(chǎn)生不利影響，因此受到法律的禁止或限制。此外，由于這類技術(shù)可能對人類造成破壞性影響，因此還暫停開發(fā)諸如化學(xué)，生物和核武器等危險技術(shù)。

同樣，我們認為某些類型的人工智能研究屬于危險技術(shù)類別，應(yīng)加以限制。經(jīng)典的AI研究(其中教會計算機在特定領(lǐng)域自動執(zhí)行人類行為，例如郵件分類或拼寫檢查文檔)當然是合乎道德的，不會給人類帶來潛在的風(fēng)險問題。另一方面，我們認為人工通用情報(AGI)研究應(yīng)該被認為是不道德的。從邏輯上講，這是根據(jù)許多觀察得出的。

首先，真正的AGI將具有解決普遍問題和遞歸自我完善的能力。

因此，它們有可能在任何領(lǐng)域都超越人類，從而使人類不必要，從而使其滅絕。

另外，一個真正的AGI系統(tǒng)可能具有與人類類似的意識類型，這使機器人遭受了真正的可能性，并且由于該原因，任何使用AGI的實驗也是不道德的。

我們建議設(shè)立AI研究審查委員會，類似于醫(yī)學(xué)研究建議審查中所使用的委員會。人工智能專家團隊應(yīng)該評估每個研究建議，并確定該建議是否屬于標準AI有限域系統(tǒng)之內(nèi)，或者可能導(dǎo)致完全成熟的AGI的發(fā)展。

應(yīng)限制可能導(dǎo)致不受控制的人工通用通用情報的研究獲得資金或受到全部或部分禁止。對于專門針對AGI架構(gòu)的安全措施和控制機制的開發(fā)，可能會有例外。

如果允許開發(fā)AGI，那么超級智能機器和人之間就會有直接競爭。最終，由于它們的自我完善能力，這些機器將占主導(dǎo)地位。或者，人們可以決定給機器供電，因為機器功能更強，出錯的可能性更小。

人類不應(yīng)該將自己的未來交到機器手中，因為它將無法奪回動力。通常，機器永遠不應(yīng)終止人的生命或做出任何其他不重要的有關(guān)人的倫理或道德判斷。

由機器運行的世界將給人類文化，生活方式和人類生存的總體可能性帶來不可預(yù)測的后果。BillJoy提出的問題：“未來會需要我們嗎?”今天和以往一樣重要。“我們究竟是要成功還是要失敗，是要生存還是成為這些技術(shù)的受害者，還沒有決定”。

機器人權(quán)利

最后，我們想談一談機器倫理的一個分支，它在表面上與安全無關(guān)，但是據(jù)稱在倫理機器的決策中發(fā)揮了作用-機器人權(quán)利(RR)。

RR問我們是否應(yīng)該賦予我們的心靈孩子以社會賦予人格的人所享有的權(quán)利，特權(quán)和責(zé)任。我們認為答案是肯定的“否”。

盡管人類是“平等創(chuàng)造”的，但機器的設(shè)計應(yīng)遜色;它們應(yīng)該沒有權(quán)利，并且可以根據(jù)需要消耗掉，使它們作為工具的使用對創(chuàng)作者更加有利。

我們在這個問題上的觀點很容易辯解，因為機器不會感到痛苦(或者更少有爭議的設(shè)計為不會感覺到任何東西)，即使機器被破壞也不會遭受痛苦。機器當然可以成為我們能力上的平等，但不應(yīng)設(shè)計為在權(quán)利方面成為我們的平等。授予機器人權(quán)利將不可避免地導(dǎo)致包括投票權(quán)在內(nèi)的民權(quán)。

鑒于未來幾十年機器人的預(yù)計數(shù)量以及復(fù)制潛在智能軟件的簡便性，一個由具有投票權(quán)的人工智能成員組成的社會將很快被它們所控制，從而導(dǎo)致上述各節(jié)中所述的問題。

結(jié)論

我們希望為解決本文提出的問題的未來研究方向提供一些廣泛的建議。首先，研究本身需要從僅理論家和哲學(xué)家感興趣的領(lǐng)域轉(zhuǎn)變?yōu)閷嵺`計算機科學(xué)家的直接參與。

需要開發(fā)有限的AI系統(tǒng)，以試驗非擬人化思維并改善當前的安全協(xié)議。

數(shù)十年來，本文提出的問題一直只存在于科幻小說作家和哲學(xué)家的領(lǐng)域。也許通過這種方式，或者是由于像SIAI這樣的組織的倡導(dǎo)，人工智能安全的話題已逐漸開始出現(xiàn)在主流出版物中。我們很高興地報告，一些初步工作已經(jīng)開始出現(xiàn)在科學(xué)場所，這些研究旨在專門解決AI安全和道德問題，即使僅在人類級別的智能系統(tǒng)中也是如此。

隨著越來越多的接受，將有可能在許多主流學(xué)術(shù)場所出版，并且我們呼吁這一卷的作者和讀者開始專門研究同行評審的期刊和會議，以討論AI安全性研究。隨著發(fā)布場所的普及，更多的科學(xué)家將參與并開發(fā)實用的算法，并開始進行與AI安全性研究直接相關(guān)的實驗。想了解更多關(guān)于人工只能的信息，請繼續(xù)關(guān)注中培偉業(yè)。

這將進一步鞏固AI安全工程作為感興趣的主流科學(xué)主題的地位，并將產(chǎn)生一些期待已久的答案。同時，我們最好假設(shè)AGI可能給人類的生存帶來嚴重的風(fēng)險，因此應(yīng)該相應(yīng)地進行或不進行。