機器學習系統(tǒng)越來越多地被用作日常生活中的工具。通常，它們被用于高風險的過程中，沒有參與者的同意，其他人也沒有合理的機會對系統(tǒng)的決定提出質(zhì)疑。比如當兒童福利機構(gòu)使用風險評估系統(tǒng)來識別處于風險中的兒童時；當一個機器學習模型決定了誰看到了哪些關(guān)于就業(yè)、住房或信貸機會的在線廣告；或者當面部識別系統(tǒng)被用來監(jiān)視黑人和棕色人種居住的社區(qū)時。下文主要介紹的是機器學習實踐者構(gòu)建更公平系統(tǒng)的10種方法。

ML系統(tǒng)被廣泛部署，因為它們被認為是“中立的”和“客觀的。然而在現(xiàn)實中，機器學習系統(tǒng)反映了那些設(shè)計和開發(fā)它們的人的信念和偏見。結(jié)果，ML系統(tǒng)反映并放大了設(shè)計者的信念和偏見，至少和人類仲裁者一樣容易出錯。

當大規(guī)模部署ML系統(tǒng)時，它們會造成危害——尤其是當它們的決策是錯誤的時候。邊緣化群體成員感受到的傷害更大。在這一時刻，這一點尤其明顯，因為警察部門正在使用面部識別系統(tǒng)跟蹤作為全球黑人生活運動一部分進行抗議的人，而且最近在英國，在考試因流行病而取消后，使用了一種語言識別系統(tǒng)來確定學生的A級成績，這危及了貧困學生的未來，其中許多人是有色人種和移民。

在本文中，我將描述一些機器學習系統(tǒng)造成傷害的例子。然后，我將提供一些具體的建議和資源，機器學習實踐者可以使用它們來開發(fā)更公平的機器學習系統(tǒng)。我希望這篇文章鼓勵其他機器學習從業(yè)者開始使用和教育他們的同行在他們的團隊和公司中開發(fā)更公平的語言學習系統(tǒng)的實踐。

　　機器學習系統(tǒng)是如何造成危害的

2020年6月，羅伯特·威廉斯，一個黑人，被底特律警察局逮捕，因為面部識別系統(tǒng)指認他是最近在商店行竊的人；然而，他的臉和照片中的臉的視覺對比清楚地表明他們不是同一個人。

盡管如此，威廉姆斯被逮捕、審訊、拘留超過24小時，用自己的錢保釋，并在案件被駁回前不得不出庭。

這起“事故”嚴重傷害了威廉姆斯先生和他的家人:

· 他感到羞辱和尷尬。當接受記者采訪時紐約時報關(guān)于這件事，他說:“我媽媽不知道。這不是我引以為豪的事……這是羞辱。”

· 這對他和他的家人造成了持久的創(chuàng)傷。如果威廉姆斯拒捕——考慮到這是不公正的，這本來是合理的——他可能會被殺。事實上，這種經(jīng)歷令人痛心。他和他的妻子現(xiàn)在想知道他們是否需要讓他們的兩個小女兒接受治療。

· 這讓他的工作——以及他養(yǎng)活自己和家人的能力——面臨風險。他可能會丟掉工作，盡管他的案子最終被駁回；公司解雇員工而不受懲罰的情況少得多。幸運的是，他的老板了解情況，但他的老板仍然建議他不要在工作中告訴別人。

· 這幾乎導致他有永久的犯罪記錄。當威廉姆斯出庭時，他的案件最初被“無偏見”駁回，這意味著他以后仍可能被起訴。只是在假陽性受到媒體廣泛關(guān)注后，檢察官才道歉并主動提出刪除他的記錄和指紋。

當?shù)鼐觳块T使用的面部識別系統(tǒng)在這里造成的傷害是不可接受的。

　　更廣泛的背景

在上述算法系統(tǒng)的情況下，它們造成的傷害更深：他們擴大了現(xiàn)存的壓迫體系，經(jīng)常以“中立”和“客觀”的名義換句話說，以上例子并非孤立事件；它們造成了長期的傷害模式。

　　為機器學習系統(tǒng)收集標簽是如何造成危害的

危害不僅僅是已經(jīng)部署的機器學習系統(tǒng)造成的；在開發(fā)機器學習系統(tǒng)的同時，也造成了危害。也就是說，當為了訓練機器學習模型而收集標簽時，通常會造成傷害。

商業(yè)面部識別系統(tǒng)允許警察部門更容易和微妙地瞄準黑人和男性，包括大規(guī)模瞄準他們。一個面部識別系統(tǒng)在一小時內(nèi)識別的“罪犯”比一百名警察在一個月內(nèi)識別的還要多，和這樣做的成本更低。因此，商業(yè)面部識別系統(tǒng)允許警察部門“大規(guī)模生產(chǎn)”他們的過度合法化，鎖定和謀殺黑人的做法。

　　為機器學習系統(tǒng)收集標簽是如何造成危害的

危害不僅僅是已經(jīng)部署的機器學習系統(tǒng)造成的；在開發(fā)機器學習系統(tǒng)的同時，也造成了危害。也就是說，當為了訓練機器學習模型而收集標簽時，通常會造成傷害。

為什么會發(fā)生這些傷害

此時，你可能會問自己，”為什么這些傷害正在發(fā)生嗎？“答案是多方面的:部署的機器學習系統(tǒng)對參與者造成傷害的原因有很多。

　　當使用最大似然系統(tǒng)時

機器學習系統(tǒng)造成傷害的一個主要原因是它們使用的環(huán)境。也就是說，因為機器學習系統(tǒng)被認為是“中性的”和“客觀的”，它們是通常用于高風險的決策過程作為一種省錢的方法。高風險的決策過程本質(zhì)上更容易造成傷害，因為決策過程中的錯誤可能會對某人的生活產(chǎn)生重大負面影響。

在高風險決策過程中引入機器學習系統(tǒng)，頂多不影響系統(tǒng)造成危害的概率；最壞的情況是增加由于機器學習模型傾向于放大對邊緣化群體的偏見，人類對審核模型決策的自滿，因為它們是“中性的”和“客觀的”，以及機器學習模型的決策經(jīng)常是不可解釋的，造成傷害的可能性。

　　ML系統(tǒng)是如何設(shè)計的

機器學習系統(tǒng)也因其設(shè)計方式而造成危害。例如，當設(shè)計一個系統(tǒng)時，工程師通常不考慮系統(tǒng)可能做出錯誤決定的可能性；因此，機器學習系統(tǒng)通常不要包含參與者對決定提出異議或?qū)で笞匪鳈?quán)的機制。

在設(shè)計多模型系統(tǒng)時，誰的觀點是中心

ML系統(tǒng)造成傷害的另一個原因是，在設(shè)計系統(tǒng)時，最有可能受到它們傷害的人的視角并不集中。

由人們設(shè)計的系統(tǒng)將反映這些人的信仰和偏見——無論是有意識的還是無意識的。機器學習系統(tǒng)絕大多數(shù)是由一群非常同質(zhì)的人構(gòu)建的:白人、亞裔美國人或亞裔異性戀男性，年齡在20至50歲之間，身體健康、神經(jīng)典型，是美國人和/或居住在美國，具有傳統(tǒng)教育背景，包括大約50所精英大學之一的計算機科學學位。因此，機器學習系統(tǒng)偏向于這一小部分人的經(jīng)驗。

此外，機器學習系統(tǒng)通常用于過度涉及歷史上邊緣化群體的環(huán)境中，如預測累犯或監(jiān)控“高犯罪率”社區(qū)，或者用于確定長期以來被邊緣化群體不公平剝奪的資源的獲取途徑，如住房、就業(yè)機會、信貸和貸款以及醫(yī)療保健。例如，由于黑人在歷史上被剝奪了獲得醫(yī)療保健的公平機會，在這種情況下使用的機器學習系統(tǒng)顯示出類似的歧視模式，因為它們?nèi)Q于歷史假設(shè)和數(shù)據(jù)。因此，除非采取深思熟慮的行動來集中管理語言系統(tǒng)正在仲裁的群體的經(jīng)驗，否則機器學習系統(tǒng)會導致歷史重演。

在上述兩點的交叉點上有一個令人不寒而栗的認識:設(shè)計機器學習系統(tǒng)的人很少受到機器學習系統(tǒng)的影響。 這聽起來與事實驚人地相似大多數(shù)警察不住在他們工作的城市。

　　使用最大似然系統(tǒng)時缺乏透明度

機器學習系統(tǒng)也會造成傷害，因為它經(jīng)常不清楚什么時候算法被用來做決定。 這是因為公司不需要披露機器學習系統(tǒng)何時以及如何使用，更不用說獲得參與者的同意，即使這些決定的結(jié)果影響到人類的生活。如果有人不知道他們受到了最大限度語言系統(tǒng)的影響，那么他們不能把他們可能經(jīng)歷的傷害歸因于它。

此外，即使一個人知道或懷疑他們受到了機器學習系統(tǒng)的傷害，證明他們受到歧視是困難的或者不可能的，因為ML系統(tǒng)作出的整套決定是私人的，因此不能對其歧視性進行審計。因此，機器學習系統(tǒng)造成的危害往往無法“證明”

　　對洗錢系統(tǒng)參與者缺乏法律保護

最后，機器學習系統(tǒng)會造成危害，因為目前關(guān)于何時以及如何使用機器學習系統(tǒng)的監(jiān)管或法律監(jiān)督非常少，因此公司、政府和其他組織可以利用它們來歧視參與者而不受懲罰。

關(guān)于面部識別，這正在慢慢改變：2019年，舊金山成為第一個禁止地方政府機構(gòu)使用面部識別的主要城市。此后，其他幾個城市也這樣做了。

然而，仍有數(shù)百個已知的地方政府機構(gòu)使用面部識別的例子，包括在美國的入境點，如邊境和機場，以及由當?shù)鼐匠鲇诓幻髂康摹Ｔ谶@種情況下使用面部識別系統(tǒng)——尤其是考慮到他們的大多數(shù)決定可能是錯誤的——會對現(xiàn)實世界產(chǎn)生影響，包括騷擾、無理監(jiān)禁和驅(qū)逐出境。

相對于其他類型的機器學習系統(tǒng)，法律上的進步很少。

　　行動號召

鑒于洗錢系統(tǒng)的使用環(huán)境，目前缺乏對這種環(huán)境的法律和監(jiān)管監(jiān)督，以及受洗錢系統(tǒng)傷害的人往往缺乏社會權(quán)力。由于他們的種族、性別、殘疾、公民身份和/或財富，ML系統(tǒng)開發(fā)者有大規(guī)模地比參與者更有力量。

設(shè)計標簽任務的人和完成標簽任務的人之間有相似的權(quán)力動態(tài)：標記任務請求者比標記代理具有更大的權(quán)力。

這里，ML系統(tǒng)開發(fā)者被定義為任何參與機器學習系統(tǒng)的設(shè)計、開發(fā)和部署的人，包括機器學習工程師和數(shù)據(jù)科學家還有其他技術(shù)學科的軟件工程師、產(chǎn)品經(jīng)理、工程經(jīng)理、UX研究人員、UX作家、律師、中層管理人員和高管。包含所有這些角色是為了強調(diào)，即使您不直接在機器學習系統(tǒng)上工作，如果你在一家使用機器學習系統(tǒng)的公司或組織工作，那么你就有能力影響公司使用機器學習的時間和方式。

讓我明確一點：個人行動是不夠的——我們迫切需要設(shè)計良好的立法來指導何時以及如何使用最大限度地減少系統(tǒng)。重要的是，應該有一些ML系統(tǒng)所處的環(huán)境不能被使用，不管它們有多“準確”，因為誤用和錯誤的概率太大了——就像警察部門使用面部識別系統(tǒng)。

不幸的是，我們還沒有必要的立法和條例。同時，作為ML系統(tǒng)開發(fā)人員，我們應該有意識地考慮我們、我們的團隊或我們的公司擁有和使用的ML系統(tǒng)。

如何建立更公平的機器學習系統(tǒng)

如果你是一個機器學習系統(tǒng)的開發(fā)者尤其是如果你是機器學習的實踐者，比如語言工程師或數(shù)據(jù)科學家—這里有10種方法可以幫助您構(gòu)建更公平的機器學習系統(tǒng):

當設(shè)計一個新的ML系統(tǒng)或評估一個現(xiàn)有的ML系統(tǒng)時，問你自己和你的團隊以下問題語境其中正在部署/正在部署系統(tǒng):

· 什么當這個移動學習系統(tǒng)被部署時會出錯嗎？

· 出了問題，誰受到傷害？

· 可能性有多大是不是會出問題？

· 有傷害嗎不成比例地落在邊緣化群體身上？

使用您對這些問題的回答來評估如何繼續(xù)。例如，如果可能，主動設(shè)計防止傷害發(fā)生的解決方案。例如，添加防止傷害的保障措施，如包括人為干預和參與者質(zhì)疑系統(tǒng)決策的機制，并通知參與者正在使用機器學習算法。或者，如果傷害的可能性和規(guī)模太大，不要部署它。相反，考慮尋求一種不依賴于機器學習或以風險較低的方式使用機器學習的解決方案。部署一個有偏見的機器學習系統(tǒng)會對系統(tǒng)參與者造成現(xiàn)實世界的傷害，也會對你的公司聲譽造成損害。

#2

利用最佳實踐開發(fā)更公平的最大似然系統(tǒng)。機器學習公平性研究人員已經(jīng)設(shè)計和測試最佳實踐好幾年了。例如，一個最佳實踐是，當發(fā)布數(shù)據(jù)集供公共或內(nèi)部使用時，同時發(fā)布一個數(shù)據(jù)表，這是一個簡短的文檔，它共享數(shù)據(jù)集的消費者需要的信息，以便做出明智的使用決策。例如，用于收集數(shù)據(jù)的機制或程序，是否進行了道德審查過程，數(shù)據(jù)集是否與人相關(guān)。

同樣，當發(fā)布一個經(jīng)過培訓的模型供公共或內(nèi)部使用時，同時發(fā)布一個模型卡，這是一份簡短的文件，分享關(guān)于模型的信息。例如，評估結(jié)果：最好按不同的人口統(tǒng)計群體和社區(qū)分類、預期用途、避免的用途、對模型培訓流程的洞察。

最后，考慮實現(xiàn)一個公司范圍內(nèi)的內(nèi)部算法審計流程，像這樣Deb Raji,安德魯·斯馬特和他們的合作者在2020年的論文中提出彌合人工智能責任差距:為內(nèi)部算法審計定義端到端框架。

#3

與您的公司或組織合作，與代表機器學習系統(tǒng)傾向于邊緣化的人群的倡導組織發(fā)展伙伴關(guān)系，以便負責任地讓邊緣化社區(qū)作為利益相關(guān)者參與進來。這類組織的例子包括變化的顏色還有有色人種協(xié)進會。然后，在開發(fā)新的機器學習系統(tǒng)或評估現(xiàn)有的機器學習系統(tǒng)時，尋求并整合他們的反饋。

#4

雇傭來自代表性不足背景的機器學習工程師和數(shù)據(jù)科學家，特別是黑人、土著人、拉丁人、殘疾人、變性人和非二進制人、以前被監(jiān)禁的人，以及來自技術(shù)代表性不足的國家，例如非洲國家、東南亞國家和南美洲國家的人。請注意，這將需要重新思考人才是如何發(fā)現(xiàn)和培養(yǎng)的——考慮從美國歷史悠久的黑人學院和大學（HBCUs）招募人員，開辦編碼和數(shù)據(jù)科學訓練營，或者啟動一個內(nèi)部項目，如懈怠的下一章。

另一方面，與你的公司合作，支持那些培養(yǎng)來自代表性不足的背景的人才的組織，喜歡AI4ALL,黑人女孩守則,代碼2040,NCWIT,技術(shù),TransTech，和出去上大學。像這樣的組織對于增加技術(shù)工作中來自代表性不足背景的人數(shù)至關(guān)重要，包括在人工智能/人工智能工作中，并且他們都有成功的記錄。此外，考慮用自己的錢和時間來支持這樣的組織。

#5

與您的公司或組織合作簽署安全臉誓言，這是組織公開承諾減少面部分析技術(shù)濫用的機會。這份保證書是由算法正義聯(lián)盟還有喬治敦法律技術(shù)與隱私中心，并且已經(jīng)被許多領(lǐng)先的倫理和隱私專家簽署。

#6

了解更多關(guān)于機器學習系統(tǒng)造成危害的方式。例如，以下是繼續(xù)學習的推薦資源:

1. [書]數(shù)學毀滅的武器:大數(shù)據(jù)如何增加不平等并威脅民主凱西·奧尼爾（2016）

2. [書]壓迫的算法:搜索引擎如何強化種族主義作者:Safiya Noble （2018）

#7

了解現(xiàn)有機器學習系統(tǒng)的改進方式，以減少危害。例如，IBM致力于提高其商業(yè)面部識別系統(tǒng)在種族和性別偏見方面的性能，谷歌一直致力于減少Google Translate中的性別偏見，而Jigsaw(在谷歌內(nèi)部)已經(jīng)致力于改變Perspective AI，以減少將包含頻繁目標群體的短語歸類為仇恨言論。

#8

針對不同的影響對機器學習系統(tǒng)進行審核。即使一項政策或制度是中立的，當一個群體比另一個群體受到更大的不利影響時，就會產(chǎn)生不同的影響。Facebook的廣告投放系統(tǒng)是一個造成不同影響的系統(tǒng)的例子。

例如，使用燈塔工程，一種方法論今年早些時候發(fā)布的Airbnb使用匿名的人口統(tǒng)計數(shù)據(jù)來衡量用戶體驗差異，這可能是由于歧視或偏見，或者ArthurAI，這是一個ML監(jiān)控框架，允許您監(jiān)控模型偏差。或者請一家算法咨詢公司對你的團隊或公司擁有的機器學習系統(tǒng)進行審計，喜歡奧尼爾風險咨詢和算法審計或者算法正義聯(lián)盟。

#9

當雇傭第三方供應商或使用眾包平臺進行機器學習標簽任務時，對你選擇支持的人持批評態(tài)度。詢問將為你貼標簽的人的工作條件。此外，如果可能的話，對供應商進行現(xiàn)場訪問，以評估自己的工作條件。他們的時薪是多少?他們有醫(yī)療保健和其他福利嗎?他們是全職員工還是合同工?他們是否讓員工接觸到暴力或仇恨的內(nèi)容?公司內(nèi)部是否有職業(yè)發(fā)展和晉升的機會?

#10

向你的團隊或公司介紹機器學習系統(tǒng)造成的危害以及如何減輕這些危害。越多的人理解機器學習系統(tǒng)造成的危害以及目前存在于ML系統(tǒng)開發(fā)者和ML系統(tǒng)參與者之間的權(quán)力不平衡，我們就越有可能影響團隊和公司的變革。

　　結(jié)論

機器學習系統(tǒng)是非常強大的工具；不幸的是，他們可能是授權(quán)的代理人，也可能是傷害的代理人。作為機器學習的實踐者，我們有責任認識到我們建立的系統(tǒng)造成的危害，然后采取相應的行動。我們可以共同努力，建立一個負責任地使用機器學習系統(tǒng)的世界，不強化現(xiàn)有的系統(tǒng)性偏見，提升和增強邊緣化群體的能力。想了解更多關(guān)于機器學習的信息，請繼續(xù)關(guān)注中培偉業(yè)。