人工智能與大數據能否糾正人類種族歧視？

• 2018年7月19日 ZhangHongYuan來源：新浪科技 871 54
• 繁體

• 

  2018-2023年中國人工智能技術應用行業(yè)深度分析及投資風險預測報告

  與早期人工智能相比，新一代人工智能正在全新信息環(huán)境、海量數據基礎和持續(xù)演進、不斷豐富的戰(zhàn)略目標的引領下，依托于云計算、大數據兩大基礎平臺和機器學習、模式識別和人機交互三大通用技術，...

我們對大數據的使用是會糾正我們的偏見，還是會讓情況更加糟糕?

美國科學雜志nautil.us《鸚鵡螺》作者Aaron M. Bornstein近日發(fā)表了討論人工智能與大數據能否糾正人類種族歧視的深度報道。盡管人工智能設計者和數據工程師可能沒有類似種族歧視的偏見，但大數據從業(yè)者都明白，用于提供定制服務的大型數據集不可避免地包含豐富詳細的信息，包括具有受保護屬性的膚色、性別、性取向和政治取向等。算法在這些數據的基礎上做出的決定可以隱蔽地打開這些屬性，既令人難以察覺，又是不道德的。

以下為文章全文：

我們對大數據的使用是會糾正我們的偏見，還是會讓情況更加糟糕?

“我們不知道顧客是什么樣的，”亞馬遜公司負責全球通訊公關的副總裁克雷格·伯曼(Craig Berman)在接受彭博新聞社采訪時說道。伯曼是在回應有人對亞馬遜的當日送達服務歧視有色人種的指控。從字面上看，伯曼的辯護是誠實的：亞馬遜在選擇當日送達的區(qū)域時是根據成本和收益因素，例如家庭收入和送達的可及性。但是，這些因素是通過郵政編碼匯總起來的，因此會受到其他塑造了——并將繼續(xù)塑造——文化地理學的因素的影響。查看當日送達的服務地圖，很難讓人不注意到其與膚色的對應關系。

這樣的地圖讓人想起了羅伯特·摩斯(Robert Moses)，這位城市規(guī)劃大師在數十年時間里塑造了現代紐約城及周邊郊區(qū)大部分的基礎設施。然而，他備受爭議的一點是不希望窮人，尤其是窮苦的有色人群，使用他在長島上建造的新公園和海灘。盡管摩斯曾努力促成了禁止公共汽車在高速公路上行駛的法律，但他知道，這條法律遲早有一天會被廢除。因此，他建造了更加持久的東西：幾十個高度很低，公共汽車無法通行的天橋，將歧視真正地具體化。這一決定，以及其他幾十個類似的決定都影響深遠而持久。幾十年后，關于公共汽車的法律已經廢除，但沿著高速公路排列的城鎮(zhèn)依然像從前一樣隔離著?！胺煽偸强梢孕薷牡?，”摩斯說，“但一座橋建好以后，就很難拆掉了?！?/p>

今天，在受到原有結構影響的數據基礎上，這樣的隔離又重現了。盡管新基礎設施的設計者可能沒有類似的不良意圖，但他們也不能自稱對這些設施的影響毫不知情。大數據從業(yè)者都明白，亞馬遜和其他公司用于提供定制服務的大型數據集不可避免地包含豐富詳細的信息，包括具有受保護屬性的膚色、性別、性取向和政治取向等。算法在這些數據的基礎上做出的決定可以隱蔽地打開這些屬性，既令人難以察覺，又是不道德的。

凱特·克勞福德在微軟研究院從事算法偏見的研究，并且是“AI Now”計劃的合作創(chuàng)立者。這項研究關注的是如今在使用人工智能系統(tǒng)時所面臨的危險。她提出了一個算法公平性的基本問題，即算法可以在多大程度上理解它們所使用數據的社會和歷史背景?！澳憧梢宰屢粋€人類操作者去嘗試考慮數據本身代表人類歷史的方式，”克勞福德說，“但如何訓練機器來做到這一點呢?”不能以這種方式理解背景的機器最多只能傳遞制度化的歧視，即所謂的“偏見入，偏見出”(bias in， bias out)。

糾正這些隱性歧視的努力不足，可能會讓事情變得更糟?？藙诟５碌耐隆⒖的螤柎髮W的索倫·巴洛卡斯觀察到，終端用戶會“不加批判地接受供應商的聲明”，即算法中已經消除了偏見。在那些普遍存在偏見的應用場合，比如司法系統(tǒng)中，情況尤其如此。對于這些地方，號稱更客觀的機器具有非常大的吸引力。剝離算法中的偏見還要求認可某個關于公平的主觀定義，同時不理會其他定義，但被選擇的定義往往是最容易量化的，而不是最公平的。

然而，雖然有著種種缺陷，但找出并對抗數據和算法中的偏見也會帶來一些機會——能以新的方式使偏見的輪廓呈現在我們面前。

COMPAS的預測偏見

COMPAS是美國各地法院使用的一款軟件，可以根據被告人對137個調查問題的回答，評估他們重新犯罪的可能性。評估結果將被用于指導保釋決定。

COMPAS的調查問卷并不涉及膚色、遺產甚至郵政編碼，但確實提出了諸如被告人是否居住在一個“犯罪很多”的街區(qū)，以及他們是否難以找到“超過最低工資”的工作等問題。這些問題更適合向社會提出，而非針對個人。請注意問題中的偏見：答案與種族等受保護的屬性有關，意味著算法可以學習有效地“發(fā)現”數據中的這些屬性。然而，推出COMPAS的Northpointe公司宣稱，他們已經對該軟件進行了校準，使其對再次被捕的預測準確性與膚色無關。

2015年，ProPublica的記者開始利用佛羅里達州布勞沃德縣一位COMPAS用戶的公開記錄來驗證這一說法。他們發(fā)現，當COMPAS預測被告再次被捕的風險很高，并且之后確實再次被捕時，其預測確實在最直接意義上是無關膚色的。但是，當COMPAS預測不準確時(要么預測的再次被捕沒有發(fā)生，要么沒有做出實際再次被捕的預測)，它通常會低估白人再犯的可能性，并高估黑人再犯的可能性。換句話說，它在一組統(tǒng)計數據中隱藏的偏見，在另一組統(tǒng)計數據中呈現了出來。

ProPublica在一篇文章中報道了這一發(fā)現，文章副標題是“全國各地都使用軟件來預測未來的罪犯，而它對黑人存有偏見”。Northpointe公司對他們的評價提出了異議，并對文中的論點進行了再次統(tǒng)計分析，以作為回應。Northpointe公司將爭論從錯誤率的差異轉移到另一個事實，即風險分數反映了一個真實而普遍的情況：未來再次被捕的非裔美國人被告確實更多。該公司指出，這意味著非裔美國人作為一個人群具有較高的風險得分并不奇怪。

Northpointe公司的中心論點有一個本質性的謬誤：因為在訓練數據集中，被警察歸類為非裔美國人的人會更頻繁地再次被捕，所以他們宣稱COMPAS有理由預測其他被警察歸為非裔美國人的人——即使在不同城市、州和時間段——更有可能再次被捕。在數據中進行分類的結果又作用于分類本身，這讓人不禁想起W·E·B·杜波依斯(W.E.B。 Dubois)在1923年所下的定義，“黑人就是在佐治亞州必須乘坐吉姆·克勞公交車的人”[吉姆·克勞(Jim Crow)原是19世紀初一個劇目中黑人角色的名字，后來成為“黑鬼”的貶義詞，之后美國南方針對黑人的種族隔離法案被稱為吉姆·克勞法，而吉姆·克勞的公交車指1960年代之前美國南方各州在公交車上實行的種族隔離]。

雖然這段插曲展示了算法決策帶來的許多危險，但也引發(fā)了一系列學術研究，得到了一個令人驚訝的結論：為一個被告指定風險評分的做法需要在“公平”一詞的兩種不相容的定義之間進行權衡。而且，這種權衡是普遍的?！叭魏螆?zhí)行這一過程的系統(tǒng)都將面臨這種挑戰(zhàn)，”康奈爾大學的計算機科學教授喬恩·克萊因伯格說，“無論它是一個算法系統(tǒng)，還是人類決策者?！?/p>

克萊因伯格及其同事發(fā)表了一篇論文，證明Northpointe公司和ProPublica對公平的兩種定義在數學上是不相容的。用術語來說，他們展示了預測性平價(無論黑人和白人被告是否有相同的風險評分總體準確率)和錯誤率平衡(無論兩個人群是否以相同方式獲得錯誤的風險評分)之間是相互排斥的。當任何兩個人群之間的測量結果——在COMPAS中是再次被捕的概率——具有不同的基礎比率時，如果應用相同的標準，就必然會對較高基礎比率的人群產生偏見誤差?！啊省菍е逻@一問題的原因，”克萊因伯格說道。任何使用風險評分的系統(tǒng)——機器算法或人類機構——都是如此，無論是使用哪些因素來生成。

延伸閱讀

推薦閱讀

猜您喜歡