https://gigazine.net/news/20150702-google-photos-gorilla/

Googleの新しいフォトアプリ「Google Photos」にはアップロードされた写真に対して人工知能が自動的にタグをつける機能がありますが、
黒人2人組が写る写真に対し「ゴリラ」というタグが付けられる「事件」が発生しました。

ことの発端となったのはJacky Alcinéさんが行ったツイート。「Google Photosは最悪。私の友だちはゴリラじゃない」というメッセージと共に写真がアップされています。
高層ビル、飛行機、車、などは正しく認識されていますが、下段真ん中に写っているAlcinéさんと友人が「ゴリラ」と認識されていました。

さらに、AlcinéさんがGoogle Photos内で「ゴリラ」と検索をかけても2人の写真が検索されることから、「Googleはどういう写真からデータを集めているの？」と不信に思っていた様子。

AlcinéさんはすぐにGoogleのソーシャル部門のチーフ・アーキテクトであるYonatan Zungerさんに連絡。Zungerさんは謝罪すると共に「バグの報告をありがとう」と対応し、
Alcinéさんの許可を得てアカウントにアクセスすることで、その日のうちにバグは修正されました。

またZungerさんは「このようなことはよくあります」としつつも「マシン自体にバイアスはありませんが、我々が注意しないと彼らは容易に私たちから人種差別を『学んで』しまいます」とAlcinéさんにメッセージを送っています。
これは、インターネットには黒人とゴリラを結びつける差別的な情報があふれており、それをマシンが機械学習してしまう、ということだと考えられます。

現在、Google Photos内から「ゴリラ」というタグは削除されていますが、チームは依然「なぜ人間の顔が正しく認識されないのか？」ということを調査中。
このようなバグは初めてのことではなく、Zungerさんによると一度は人種に関わらず全ての人が「犬」と認識されることもあったそうです。

Googleの広報担当は「このような事態が起こり本当に申し訳ないです。同様の結果を招かないよう、迅速に対応していきます。
自動タグ付け機能にはまだまだ問題があり、今後、今回のような間違いを起こさないようにする方法を探っています」とコメントしています。