CSAMスキャンシステムを構築した大学研究者らがAppleに「危険な」テクノロジーを使用しないよう要請

尊敬される大学の研究者らは、 iPhone ユーザーの写真ライブラリをスキャンしてCSAM（児童性的虐待の素材）を探すというAppleの計画の背後にある技術に対して警鐘を鳴らしており、この技術は「危険」であるとしている。

プリンストン大学のコンピューターサイエンスと広報の助教授であるジョナナス・メイヤー氏と、プリンストン大学情報技術政策センターの研究員であるアヌネイ・クルシュレスタ氏は、どちらも ワシントン・ポスト紙 に 論説を執筆し 、イメージ構築に関する自身の経験を概説しています。検出技術。

研究者らは、エンドツーエンドの暗号化されたオンライン サービスで CSAM を識別するプロジェクトを 2 年前に開始しました。研究者らは、専門分野を考えると「データを第三者のアクセスから保護するエンドツーエンド暗号化の価値を知っている」と述べている。この懸念こそが、CSAM が「暗号化されたプラットフォーム上で急増する」ことに恐怖を感じているのだ、と彼らは言う。

Mayer 氏と Kulshrestha 氏は、この状況の妥協点を見つけたいと述べました。それは、オンライン プラットフォームが CSAM を見つけてエンドツーエンドの暗号化を保護するために使用できるシステムを構築することです。研究者らは、この分野の専門家はそのようなシステムの可能性を疑っていたが、なんとか構築に成功し、その過程で重大な問題に気づいたと指摘している。

私たちは、エンドツーエンドの暗号化を維持しながら、オンライン サービスが有害なコンテンツを識別できる中間点の可能性を探ろうとしました。コンセプトは単純でした。誰かが既知の有害なコンテンツのデータベースと一致するマテリアルを共有した場合、サービスに警告が送信されます。誰かが無害なコンテンツを共有した場合、サービスは何も学習しません。その情報が法執行手段を明らかにし、犯罪者が検出を回避するのに役立つ可能性があるため、人々はデータベースを読んだり、コンテンツが一致するかどうかを知ることができませんでした。

知識のある観察者たちは、私たちのようなシステムは実現可能とは程遠いと主張しました。何度も失敗を繰り返した後、私たちは実用的なプロトタイプを構築しました。しかし、明らかな問題に遭遇しました。

Apple がこの機能を発表して以来、同社 に は、CSAM 検出の背後にあるシステムが、圧制的な政府の要請に応じて他の形式の写真を検出するために使用される可能性があるという懸念が殺到している。アップルはそのような可能性に強く反発し、政府からのそのような要請は拒否すると述べた。

それにもかかわらず、CSAM 検出に使用されているテクノロジーの将来的な影響についての懸念は広く広まっています。メイヤー氏とクルシュレスタ氏は、政府がCSAM以外のコンテンツを検出するためにこのシステムをどのように利用できるかについての懸念が「動揺した」と述べた。

たとえば外国政府は、不快な政治的言論を共有する人々を排除するサービスを強制する可能性がある。それは仮説ではありません。中国で人気のメッセージング アプリである WeChat は、反体制的な内容を特定するためにコンテンツ マッチングをすでに使用しています。インドは今年、政府の政策に批判的なコンテンツの事前審査を義務付ける規則を制定した。ロシアは最近、民主化運動の抗議資料を削除しなかったグーグル、フェイスブック、ツイッターに罰金を科した。

私たちは他の欠点も発見しました。コンテンツ照合プロセスでは誤検知が発生する可能性があり、悪意のあるユーザーがシステムを悪用して無実のユーザーを監視の対象にする可能性があります。

私たちは非常に動揺したため、コンピューター サイエンスの文献ではこれまでに見たことのない措置を講じました。私たちは、独自のシステム設計に対して警告し、深刻なマイナス面を軽減する方法についてさらなる研究を促しました。

Apple は、 追加の文書 と FAQ ページ を公開して、自社の計画に対するユーザーの懸念に引き続き対処してきました。 Apple は、ユーザーのデバイス上で発生する CSAM 検出システムが、同社の長年にわたるプライバシーの価値観と一致していると信じ続けています。