機械学習におけるバイアスとは?
機械学習におけるバイアスとは、機械学習モデルにシステムエラーがあった場合や学習に使用されたデータの問題にあった場合に、不正確または偏った予測を示す傾向のことです。
機械学習におけるバイアスは様々な要因によって引き起こされます。よくある原因は以下のとおりです。
- 学習データが限定的である。
- 課題に不適切な機械学習モデルやデータの複雑さを把握するのに十分な能力がない機械学習モデルを選択している。
- データ収集、ラベル付け、特徴量設計の過程で人間によるバイアスが生じている。
機械学習におけるバイアスは、大抵の場合、特徴量エンジニアリングやアルゴリズムチューニングの過程で、データサイエンティストやエンジニアが特定のハイパーパラメータの重要性を過大評価または過小評価することによって生じます。ハイパーパラメータは、アルゴリズムがデータを学習する前に選択される機械学習のパラメータです。チューニングとは、学習アルゴリズムの損失関数を最小化し、最も正確な出力を提供するハイパーパラメータを選択するプロセスのことを指します。
特定の状況において、機械学習モデルの解釈性を高めるために、バイアスを利用できてしまう点に注意しましょう。例えば、バイアスが高くシンプルな線形モデルは、バイアスが低く複雑なモデルよりも理解しやすく説明しやすい傾向があります。
しかし、機械学習モデルが予測や意思決定を行う場合、バイアスによって最適でない結果が生じ、害を及ぼす可能性があります。これは特に、信用スコアリング、雇用、裁判制度、医療などのケースに当てはまります。このような場合、バイアスは特定のグループが不公平または差別的な扱いを受けることにつながり、現実世界に深刻な影響をもたらす可能性があります。
機械学習におけるバイアスと重み
機械学習におけるバイアスは、データ品質などの他の要因と密接に関連しているため、複雑です。機械学習モデルが偏りのないことを保証するためには、モデルを運用したときのパフォーマンスを継続的に評価することが重要です。
機械学習アルゴリズムは、訓練中に学習したことに従って、新しい入力の予測を行います。情報の一部が誤って、重みが過大または過小評価されてしまうと、アルゴリズムの出力にバイアスが生じることがあります。
例えば、海外の一部の知識では、有罪判決を受けた犯罪者の服役期間を勧告する裁判所システムに、機械学習ソフトウェアが使用されています。しかし、犯罪者の人種、学歴、配偶者の有無に関するデータの重みが高すぎると、アルゴリズムの出力にバイアスが生じ、同じ罪で有罪となった犯罪者に対して、ソフトウェアが勧告する刑期が大きく異なってしまうという研究結果があります。
機械学習におけるバイアスの例
機械学習におけるバイアスは様々な形態があります。具体例は以下の通りです。
- 予測バイアス:モデルは特定の人口統計学的グループに対して特定の予測を行う傾向がある。
- 表現バイアス:学習中に、特定の人口統計学的データが歌唱に表現されたり、除外されたりする。
- 測定バイアス:モデルが信頼性の低い、不完全な、または偏ったデータを使って学習する。
- アルゴリズムバイアス:モデルの設計や訓練に使用されるアルゴリズムが、ヒューマンエラーによって偏ってしまう。
以下に、人工知能(AI)によって人や企業が被害を受けたニュース事例をいくつか挙げます。
- 2016年のProPublicaの調査では、フロリダ州が導入したAIシステムCOMPASが、黒人の被告人に対して、白人の被告人の2倍の確率で再犯者となる可能性が高いと指摘してしまいました。これは、警察や刑事司法におけるAIの使用に関する懸念を抱かせた事象です。
- 2018年には、アマゾンの顔認識技術「Rekognition」が、肌の色が濃い女性に対して不正確な割合が高いことが報告されました。この顔認証技術が、コミュニティから疎外するように危害を与える使われ方をする懸念が高まりました。
- 2020年には、COVID-19パンデミック中に英国の国民保健サービス(NHS)が患者を選別するために使用したチャットボットが、誤った情報を提供し、間違った場所で治療を受けるよう誘導していたことが発覚しました。これは、AIを使用して医療決定を下すことの安全性に関して懸念を引き起こしました。
- 2021年には、The Markupによる調査で、同様の財政的特性を持つ白人に比べて有色人種の人々が住宅ローンを拒否される確率が80%高いことが明らかになりました。これは、住宅ローンの承認においてAIアルゴリズムがどのように使用されているかに関して懸念を引き起こしました。
- 2022年には、中国の学生に英語指導サービスを提供するiTutorGroupが、55歳以上の女性応募者と60歳以上の男性応募者を自動的に拒否するようにオンライン採用ソフトウェアをプログラムしていたことが発覚しました。年齢差別に関する懸念を引き起こし、米国雇用機会均等委員会(EEOC)が提訴するに至りました。
機械学習のバイアスを検出する方法
機械学習モデルでのバイアスを検出するためには、いくつかの方法があります。
- データ分析:モデルの学習に使用されたデータを分析して、不均衡なクラスや欠損データなどの潜在的なバイアスの原因を検出します。
- 公正性メトリクス:人口統計学的平等や機会均等などの公正性メトリクスを使用して、異なる個人グループに対するモデルの予測を評価します。
- 反実仮想分析:モデルのある特徴が異なる場合に、モデルの予測がどのように変化するかを評価するために使用されます。
- モデル検査:モデルのパラメータや決定境界を検査して、バイアスを示す可能性のあるパターンを検出します。
- パフォーマンス評価:異なるグループ間でのパフォーマンスの不一致を検出するために、多様なデータセットを使用してモデルのパフォーマンスを評価します。
- ヒューマン・イン・ザ・ループ(Human-in-the-loop):人間の専門家がモデルの予測を評価し、バイアスのある結果を探します。
機械学習のバイアスを防止する方法
機械学習モデルにおけるバイアスを防ぐために使用できる技術はいくつかあります。複数の手法を使用し、以下のように組み合わせることが推奨されています。
- 学習データを多様化する。
- 人口統計学的平等や機会均等などの公正性制約を使用する。
- バイアス補正アルゴリズムを使用する。
- L1正則化、L2正則化などの正則化技術を使用して、モデルの複雑性を減らし、一般化を促進する。
- バイアスを検出し、対処するために、定期的にモデルの予測を監査および解釈する。
- バイアスのない決定を確実にするため、モデルの予測プロセスに人間のフィードバックと介入を組み込む。
機械学習のバイアスとバリアンス
バイアスとバリアンスは、機械学習モデルの性能と精度を表すのに使用される概念です。バイアスが低くバリアンスも小さいモデルは、新しいデータに対して良い結果を出す可能性が高くなります。一方、バイアスが高くバリアンスも大きいモデルは、うまく機能しない可能性があります。
- バイアスは、現実の問題を単純すぎる機械学習モデルで近似することによって生じるエラーです。バイアスの高いモデルは問題の複雑さを理解することができないため、しばしばデータを過小評価します。
- バリアンスは、機械学習モデルが学習データに過度に注目しすぎることによって、新しいデータに対して正確な一般化ができない場合に生じるエラーです。バリアンスが大きいモデルは、しばしばデータに過剰に適合します。
実際には、バイアスとバリアンスの最適なバランスを見つけることは困難です。しかし、正則化や交差検証などの技術を使用して、モデルのバイアスとバリアンスを管理することで、パフォーマンスを改善することができます。