生成AIが引き起こした情報漏洩事例5選
生成AIによる情報漏洩事例として、認証情報、ソースコード、アカウント情報、プロンプト、個人情報の5種類の漏洩が報告されています。
１．認証情報が漏洩した事例
2025年2月、ダークウェブ上のあるフォーラムで、大手生成AIサービスのアカウント認証情報とされる約2,000万件のデータが出品されている投稿が見つかりました。一部では「サービス側からの大規模流出」と受け止められましたが、その後のセキュリティ企業による検証の結果、当該サービスのシステムが直接侵害された形跡はないと報告されています。
調査では、問題となった認証情報の大半は、情報窃取型マルウェアに感染した利用者の端末から抜き取られたものである可能性が高いとされています。このケースは、企業システム自体が無事であっても、社員や関係者のPCがマルウェアに侵入されれば、結果として機密情報の流出につながり得ることを示す典型例といえます。
２．ソースコードが漏洩した事例
2023年4月、ある大手電子機器メーカーで、エンジニアが開発中のプログラムのソースコードを生成AIに入力し、バグの洗い出しを依頼していた事案が明らかになりました。送信したコードには、製品の構造や設計方針など、本来社外に一切出してはならない高度な機密情報が含まれていたとされています。
さらに、その生成AIについて「学習への利用を拒否する設定」を行っていなかったため、社内で厳重に管理していたソースコードが、学習データとして外部システムに取り込まれるおそれがあることが問題視されました。
加えて、この利用は担当エンジニアの独断で行われており、情報管理部門はすぐに状況を把握できませんでした。その結果、同社は本件を機に、社内におけるAIチャットボットの利用ルールを見直し、使用範囲の制限や管理体制の強化に踏み切りました。
３．アカウント情報が漏洩した事例
2023年6月、シンガポール拠点のサイバーセキュリティ企業が、大手生成AIサービスのアカウント認証情報がダークウェブで多数出回っている状況を明らかにしました。調査では、過去1年間にインフォスティーラー型マルウェアに感染した10万台超の端末から、生成AIサービスのログイン情報が窃取され、その記録が闇市場で売買されていたことが判明しています。2023年5月の時点で、こうしたログは2万6,000件以上に達し、その多くがアジア太平洋地域向けに流通していました。
この事案は、生成AIに投入するデータの扱いだけでなく、認証情報がマルウェア感染など別の経路から流出するリスクにも目を向ける必要があることを示しています。業務で生成AIを利用する場面が増えるなか、ログイン行為そのものがセキュリティ上の弱点となり得る点を意識した対策が求められます。
４．プロンプトが漏洩した事例
2024年3月、ある対話型生成AIサービスで、ユーザーが入力したプロンプトや登録情報が第三者に閲覧・編集可能な状態になっていたことが明らかになりました。データベースシステムの設定不備が原因で、ユーザーからの指摘を受けて判明したものです。
調査の結果、ニックネーム、メールアドレス、LINE ID などが外部から特定の操作によりアクセス可能だったことが確認されましたが、脆弱性はすでに解消され、情報の悪用も確認されていません。現在はシステム全体のセキュリティ改修や、外部専門家によるチェックなど再発防止策が進められています。
５．個人情報が漏洩した事例
2023年3月、大手生成AIツールでシステムのバグが発生し、特定ユーザーが「他のユーザーのチャット履歴の一部を閲覧できてしまう」という情報漏洩インシデントが起きました。原因はオープンソースライブラリの不具合とされており、ユーザーからの報告を受けた提供元はサービスを一時停止し、迅速に修正対応を行いました。
その後の調査により、この不具合により有料会員の氏名やメールアドレス、支払先住所に加え、クレジットカード番号の一部と有効期限といった個人情報も、一部閲覧可能な状態になっていたことが判明しています。
生成AIで情報漏洩が起こる原因
生成AIによる情報漏洩の主な原因は、入力ミス、設計上の問題、攻撃手法、教育不足、不正アクセスなど多岐にわたります。
個人情報や機密情報をそのまま入力してしまう
生成AIを活用する現場では、担当者が業務効率化を優先するあまり、個人情報や機密情報を無防備にプロンプトへ入力してしまうケースが多く見受けられます。そのデータがAIシステム上に保存された場合、セキュリティ対策が不十分だと第三者による不正アクセスや情報漏洩の危険性が高まります。
実際、顧客データや社員情報などが外部から参照可能な状態になってしまったという事例も報告されています。業務で生成AIを用いる際には、情報の種類や重要性を判断し、必要以上のデータを入力しないことが大切です。また、データマスキングや履歴の自動削除などの技術的な工夫も有効であり、管理体制と教育の徹底がリスクの低減につながります。
プログラム設計上のミスや予期しないバグの発生
生成AIを組み込んだシステムでは、設計時の見落としやバグが原因で、想定していない情報の露出につながることがあります。たとえば、ChatGPTでは利用していたオープンソースライブラリの不具合により、一部ユーザーのチャット履歴タイトルや決済情報の一部が、他ユーザーから閲覧できる状態になったと報告されています。
こうした問題は、履歴データの保存範囲やアクセス権を誤って設定していた場合や、システム更新・外部サービスとの連携時に不具合が混入した場合などに発生し得ます。その結果、本来は閉じた環境内にとどまるべき個人情報や機密情報が、予期せず外部に送られてしまうおそれがあります。そのため、設計段階からアクセス制御とデータ取り扱いルールを明確に定義し、運用開始後もログ監査やテストを通じて継続的に検証を行うことが不可欠です。
プロンプトインジェクション攻撃
生成AIへのプロンプトインジェクション攻撃は、外部から悪意のある命令文やコードを入力することでAIの応答を不正に操作し、情報漏洩を引き起こす代表的な手法です。たとえば、設定されたプロンプトに不正指示が埋め込まれると、本来なら秘匿されるべき機密情報や個人情報が漏れ出てしまう危険があります。プロンプト内容が悪意あるユーザーによって変更され、データ流出の事例も報告されています。
こうした攻撃を防ぐには、入力内容のバリデーション強化やアクセスログの監視、権限管理の徹底が必要です。さらに、AIチャットボットの設定項目に改ざん防止措置を施すことも有効です。
セキュリティ教育不足による安易な利用
生成AIの導入が急速に進む一方で、社内ユーザーがセキュリティリスクを正しく理解せず、安易に利用してしまうケースは後を絶ちません。たとえば、担当者が業務効率や利便性を重視するあまり、個人情報や機密情報の入力・共有に対する警戒心が薄くなり、結果的に情報漏洩を招いてしまいます。
セキュリティ教育が不十分な職場では、AIツールの履歴管理やアクセス権限を定期的に確認せずに運用してしまうことも指摘されています。このような状況では、従業員に対して生成AIの仕組みやセキュリティリスク、プロンプトインジェクションなどの攻撃手法に関する知識を定期的に指導することが極めて重要です。
学習データに対する不正アクセス
生成AIのトレーニングには、公開Webサイトの情報だけでなく、場合によっては企業の業務データや顧客情報などが利用されることがあります。こうした学習用データに対して、アクセス制御や暗号化が不十分な状態でクラウドに保存していると、不正アクセスや設定ミスをきっかけに情報が流出するリスクが高まります。
現実には、AI研究・学習用のデータをクラウドストレージに置いていたところ、アクセス権限の設定を誤ったために、社内向けのデータがインターネット経由で閲覧可能になっていた事例も確認されています。このような環境では、もし第三者にデータを取得されれば、顧客情報や事業戦略などのセンシティブな内容が漏洩する危険があります。
これを避けるには、学習データへのアクセス権限を最小限に絞ること、個人を特定できる情報をマスキング・匿名化すること、アクセスログを常時監視することが重要です。さらに、定期的な脆弱性診断と権限の棚卸しを実施し、不要な権限や古い設定を残さないことが不正アクセス対策として有効です。
生成AIによる情報漏洩を防ぐポイント
生成AIの情報漏洩防止には、入力内容の精査、設定管理、技術的対策の整備が不可欠です。
安易に個人情報や機密情報を入力しない
生成AIの運用現場では、利便性や作業効率を追求するあまり、安易に個人情報や機密情報を入力してしまいがちです。しかし、こうした入力内容がシステムの履歴やクラウドサービス上に残存した場合、情報漏洩や第三者による不正アクセスの危険性が著しく高まります。
実際の業務では、機密性の高い情報をAIに入力しないようにするための運用ルールを定め、従業員への定期的な啓発や教育を徹底することが重要です。また、入力前に情報の重要性や公開範囲を再確認するプロセスを設けることで、リスクを効率的に低減できます。技術的には、データマスキングや履歴自動削除設定の活用も推奨されます。
生成AIが学習しないように設定する
業務上の重要な情報が生成AIの学習に利用されてしまうと、将来的に思わぬタイミングで外部へ漏洩するリスクがあります。そのため、機密情報や個人情報がAIの内部データセットとして再利用されないよう、学習停止の設定や履歴保存制限を施すことが有効です。
たとえば、AIサービスの管理画面で「機密モード」や「学習対象外」設定を活用し、特定プロンプトや対話履歴の保存・活用範囲を制限する方法が推奨されます。また、業務フローの設計段階からAIツールの学習設定や運用方針を明確化し、履歴の自動削除や暗号化を併用することでセキュリティリスクの低減につながります。教育担当者による定期的なチェックも重要です。
セキュリティ対策サービスを導入する
生成AIによる情報漏洩リスクを効果的に防ぐためには、専門のセキュリティ対策サービスの導入が有効です。たとえば、アクセス権限を厳格に設定できるクラウド連携型セキュリティソリューションや、AI利用時の監査機能を備えたサービスが多数提供されています。
加えて、個人情報や機密情報の流出を防ぐには、データマスキング技術との組み合わせが非常に重要です。入力された情報を安全に加工・隠蔽し、本来AIに学習させる必要のない部分を保護できます。セキュリティ対策サービスとデータマスキングの両方を導入することで、企業は情報漏洩対策を強化しつつ業務効率化を実現できます。
生成AIの情報漏洩対策にはデータマスキングが重要
生成AIを業務で利用する際に機密情報の漏洩を抑えるには、データマスキングをはじめとしたデータ保護の仕組みが重要になります。データマスキングとは、氏名や住所、取引条件などのセンシティブな情報を、あらかじめルールに沿って置き換えたり難読化したりしてからAIに渡すことで、第三者が見ても元の内容を直接読み取れないようにする手法です。
こうした加工を施しておけば、プロンプトや応答ログ、学習用データに残る情報の粒度をコントロールできるため、漏洩時のダメージを抑えやすくなります。各種ガイドラインでも、個人情報や機密データをAIに投入せざるを得ない場合は、匿名化・マスキング・仮名化などの技術的対策を組み合わせることが推奨されています。
その意味で、データマスキングは生成AIの情報漏洩リスクを下げるうえで有効な選択肢のひとつです。ただし、これだけで安全が担保されるわけではないため、社内ルールの整備やアクセス権限管理、ログ監視などの運用面の対策と組み合わせて、総合的にリスクを抑えていくことが重要です。
生成AIによる情報漏洩対策にはデータマスキングソフトウェア「Insight Masking」
生成AIによる情報漏洩対策としては、データマスキングソフトウェア「Insight Masking」を組み合わせる方法が有力な選択肢のひとつになります。Insight Maskingは、データベースやファイルだけでなく、問い合わせ文やチャットといったフリーテキストから日本語の個人情報・機密情報を自動的に抽出し、あらかじめ定めたルールに従って置き換えや匿名化を行える製品です。
この仕組みを生成AIの手前に挟むことで、ユーザーが入力したテキストをまずInsight Maskingでマスキングし、その加工済みデータだけをAIに送る構成を取ることができます。そうすることで、プロンプトや応答ログ、学習用データの中に生の個人情報や社外秘情報が残りにくくなり、万が一ログや履歴が参照された場合でも漏洩リスクを抑えやすくなります。
さらにInsight Maskingは、IDの一意性や項目同士の整合性を保ちながらマスキングできるため、本番データに近い形でテストや分析・AI活用を行いやすい点も特徴です。セキュリティ対策サービスや社内の利用ルールと組み合わせて運用することで、自社のセキュリティポリシーに合わせて、生成AIに対する情報漏洩対策を強化することができます。ご興味をお持ちいただけましたら、ぜひお気軽にお問い合わせください。
Insight Masking お役立ち資料
Insight Maskingの紹介資料をダウンロードいただけます。
