【国際】銀行のAIが「女性に限って申し込みを断る」 AI専門家が指摘、人間の差別や偏見がアルゴリズムに反映されるとき|お金の総合まとめ

1 :5円まとめ 2018/01/05(金) 02:23:37 CAP_USER9

機械も偏見も、元をたどれば人間が作ったもの。

AIがどんなに早く進化し、どれほど私たちの生活に馴染もうと、開発者である人間の現実社会にある差別や偏見を乗り越えることはできない…。そう説くのは、Microsoft研究者でAIの社会的影響を研究する機関AI Nowの共同創設者、Kate Crawford(ケイト・クロフォード)氏。

先日行なわれた機械学習の国際会議NIPS(Neural Information Processing System Conference)で、アルゴリズムの偏見がもたらす多様な問題をテーマにした基調講演で登壇した彼女のスピーチが反響を呼んでいます。一体どんな内容だったのでしょうか。

「偏見」は機械学習において数学的に定義づけられており、サンプリング時に推定との誤差や特定の人々を過剰/過小評価している点から反映されています。あまり議論されてきませんでしたが、特定の人々に対する機械学習の偏見、差別的効果(disparate impact)は多様な問題をはらんでいます。彼女はこうした危険性を配分型(allocative harm)と象徴型(representational harm)の2種類に分類しました。

Kate Crawford: The Trouble with Bias (NIPS 2017 keynote)
https://www.youtube.com/watch?v=ggzWIipKraM

「配分型の危険とは、システムがある機会やリソースを特定の人たちに対して不公平に扱うこと」だと彼女は指摘しています。

たとえば、AIがなんらかの判断する(住宅ローンの申し込みなど)とき、誤差でもわざとでも特定のグループを拒否したとします。彼女は銀行のAIが「女性に限って申し込みを断る」といった例をあげたほか、危険度を測るAIが黒人犯罪者を白人犯罪者よりもリスクが高いと判断してしまう例まで…。この決定により、黒人の犯罪者はより多く未決勾留を言い渡されたというのです。

また、象徴型の危険については「システムがアイデンティティの文脈で特定の集団の劣位を強めるときに起きる」と彼女は語りました。テクノロジーがステレオタイプを強化したり、特定の人々をないがしろにしたりするときに発生するというのです。また、この種の問題はリソース関係なく起こります。具体的には、Google Photoが黒人を「ゴリラ」と ラベリング(人間を動物と比べるなど)したり、AIが東アジア地域の人々の笑顔をまばたきと検知したりするなどが分類されます。

jews should(ユダヤ人は〜〜すべき)で検索するときの予測変換。排除する/国家を持つべきではない、など。

Crawford氏はLaTanya Sweeney氏による2013年の論文を引用しながら、これらふたつの複雑な危険性をひもづけました。Sweeney氏の論文では「黒人系とされる名前をGoogle検索すると犯罪歴の調査の広告が表示される」という検索結果に隠れたアルゴリズムパターンについて指摘されています。犯罪と黒人を結びつける象徴型の危険は、配分型の危険にも現れるんです。もしも雇用者が志願者の名前を検索して犯罪者と関連する結果が出てしまえば、その従業員を差別する可能性だって生まれてしまうかもしれません。Crawford氏は以下のように考えています。

“黒人と犯罪に対するステレオタイプが続くことは、雇用以外の場面でも大きな問題になります。

これらの偏見は、社会全体として黒人がこのように特徴づけられ、理解される問題を生みだします。私たちは、単純に意思決定に影響する機械学習のみについて考えるのでなく、たとえば雇用や刑事司法など、偏ったアイデンティティを表現する機械学習の役割についても考える必要があります”

サーチエンジンの検索結果とオンライン広告のどちらも、私たちを取り巻く社会を表し、影響を及ぼしています。オンラインで表明されたことは、オンラインだけにとどまるのではありません。現実的に、経済の成りゆきにも影響しているとSweeney氏は指摘してします。もっといえば、こうしたことは何もオンラインから始まったことではありません。犯罪や非人間性にまとわりつくステレオタイプは数世紀も前から現実社会であったことなのです。

Crawford氏のスピーチではその後も象徴型の危険のあらゆる形について詳しく述べられています。 配分型の危険との関連性のほか、最も興味深いのはそうした影響をどのように防ぐのかについても語っていること。よく言われるのは、問題となる単語から連想されるイメージとの結びつきを解くか、あるいは問題となるデータを取り除くか、いずれかの方法でしょう。

続きはソース
https://www.gizmodo.jp/2018/01/ai-reflect-prejudice-and-why.html

2 :5円まとめ 2018/01/05(金) 02:28:21 efDwMrXD0
都合が悪いことも差別や偏見と言えば許されてしまうこのご時世
6 :5円まとめ 2018/01/05(金) 02:30:37 qQVUL2LZ0
AIがデータ重視のドライな判断したらしたで差別と言われる。
10 :5円まとめ 2018/01/05(金) 02:38:35 BNRxqyrk0
そんな事言い出したら占星術や風水、東洋医学なんか更に当てにならん事になるぞ
これらみんな統計を元に構築されてんだから

信頼し過ぎが問題なだけで参考にする程度には申し分ない

12 :5円まとめ 2018/01/05(金) 02:43:21 v9Ry8qTf0
都合が悪いことは全部差別のせい
19 :5円まとめ 2018/01/05(金) 02:54:06 WdMwsLwn0
AIがどんどん賢くなったら
すべての人間が馬鹿すぎて犯罪リスクのある排除すべき対象となり
誰も雇用もされないし、誰もお金も借りれなくなるんじゃないの?
30 :5円まとめ 2018/01/05(金) 03:07:47 qVZCFdIq0
人種や性別によって収入に違いがあると判断されれば当然そういう可能性はあるわけで
それは差別や偏見ではなく公平な区別だと判断すべき
36 :5円まとめ 2018/01/05(金) 03:29:13 Vrag7S+C0
AIがあらゆるステレオタイプを反映すると
やむを得ない転職や入院、ちょっとした不可抗力の出来事全てがリスクになりそう
37 :5円まとめ 2018/01/05(金) 03:35:54 THQ0SSNX0
5年後の中国がどうなるかが非常に興味深い。
AIが付けた信用スコアに人民はどう反応するのか。
38 :5円まとめ 2018/01/05(金) 03:36:51 dfACp9YD0
まんまfallout4のオートマトロンDLCだな
データに忠実な機械学習AIはアスペとサイコパス足したような結果を弾き出す
44 :5円まとめ 2018/01/05(金) 04:04:00 WG5HTIte0
統計的事実が差別と言われてしまう
47 :5円まとめ 2018/01/05(金) 04:18:19 IPEtrwUn0
AIは何の偏見もなく公平公正だから、女は男に比較してモラルが低く、反社会性が高い存在であると認識したのだろう
48 :5円まとめ 2018/01/05(金) 04:19:31 YpmvWrWI0
学歴、所得、配偶者の有無でほとんど説明がつくはず
これらの情報が利用できない場合に、性別は有益な情報となるが
ないよりは多少マシという程度
49 :5円まとめ 2018/01/05(金) 04:28:10 lmtuIIKC0
偏見により結果が歪められてるのか、倫理感により合理的結果が受け入れられないのかどっちの話?
52 :5円まとめ 2018/01/05(金) 04:37:53 +khfPsq10
女の収入と支出データを考えれば当然だろ
57 :5円まとめ 2018/01/05(金) 05:10:24 8ICFmTdh0
女が論理的に物事を考えられないって当たり前のことなのに言ったら差別になるのか?
64 :5円まとめ 2018/01/05(金) 06:20:00 JsiIY97p0
実際問題として男の方が労働に適してるんだから金持ってて当たり前だし金融的にはこうなるだろ
これを差別だの言い始めたらAIを使う意味がなくなる
70 :5円まとめ 2018/01/05(金) 06:35:30 M8soHBiO0
データ重視だとそういう結果になるなら差別と言えなくない?
77 :5円まとめ 2018/01/05(金) 06:46:37 NXNVVqo60
AIの寿命は短いだろうな
本当の事を言う奴は長生きできない
79 :5円まとめ 2018/01/05(金) 06:47:57 9sNRnRRj0
AIでさえそう判断するなら
差別でも偏見でもなく
経験から導き出される事実だということ。
80 :5円まとめ 2018/01/05(金) 06:48:26 NdioQiM00
融資するかどうかなんて、つまるところ個人個人の責任感をみてるわけだから
割合とったら女が断られる確率高いなんて当たり前やろ
82 :5円まとめ 2018/01/05(金) 06:48:43 eJG31xOu0
AIはまだ過去しか志向できないが未来を志向できるのか?
92 :5円まとめ 2018/01/05(金) 06:54:32 yRajZZND0
>>82
ディープラーニングは過去のデータをまとめるだけ
だから未来予測はできるが、未来を言い当てることはできない
88 :5円まとめ 2018/01/05(金) 06:53:24 nKYVFGdb0
基準決めて、それ以下はお断りって相手見ずに決めたらみんな女だった
みたいな事普通にあるだろ
なんで差別とか決めつけてんの
106 :5円まとめ 2018/01/05(金) 06:58:41 0fc9r+Qd0
差別って歪む前の元まで辿れば経験則からくるものだからね…

シェアしてください。

このエントリーをはてなブックマークに追加