セキュリティ/ガバナンス実践

リスク全体像 -- 4大リスクの深掘り

C01の4大リスクを振り返る

C01で扱った生成AIの4大リスクは、ハルシネーション、プロンプトインジェクション、著作権/知財、情報漏えいの4つでした。基礎編では「こんなリスクがある」と知る段階。このC14では、各リスクに対して組織としてどう対処するかを具体的に設計していきます。

リスクを正しく管理するには、発生確率と影響度の両軸で評価する必要があります。「全部危険だから使わない」は思考停止であり、「どのリスクを許容し、どこに防御を集中させるか」を判断できることがガバナンスの本質です。

%%{init:{'theme':'dark','themeVariables':{'primaryColor':'#00A5BF','primaryBorderColor':'#007A8F','primaryTextColor':'#e8e8e8','lineColor':'#00A5BF','secondaryColor':'#1a1a1a','background':'#141414','mainBkg':'#1a1a1a','nodeBorder':'#00A5BF'}}}%%
quadrantChart
  title リスクマトリクス(影響度 x 発生確率)
  x-axis "発生確率 低" --> "発生確率 高"
  y-axis "影響度 低" --> "影響度 高"
  quadrant-1 即座に対策必須
  quadrant-2 予防策を整備
  quadrant-3 監視を継続
  quadrant-4 受容可能
  "情報漏えい(機密データ)": [0.35, 0.92]
  "ハルシネーション(社外文書)": [0.78, 0.65]
  "プロンプトインジェクション": [0.30, 0.70]
  "著作権侵害(生成物公開)": [0.45, 0.55]
  "ハルシネーション(社内メモ)": [0.82, 0.25]
  "著作権(社内利用のみ)": [0.50, 0.20]

リスクマトリクスの読み方

縦軸が影響度、横軸が発生確率です。右上に位置するリスクほど優先的に対処が必要になります。注目すべき点は、同じ「ハルシネーション」でも社外文書と社内メモで象限が異なること。リスクは「何に使うか」で変動するため、用途単位で評価しなければ意味がありません。

業種別リスク傾向

ガバナンスの3層構造

AI利用のガバナンスは3層で構成されます。技術層(モデル設定、フィルタ、API制御)、運用層(ガイドライン、レビュー体制、教育)、経営層(方針決定、予算配分、リスク許容度の設定)。技術だけでは守れず、ルールだけでも守れない。3層が噛み合って初めて機能します。

%%{init:{'theme':'dark','themeVariables':{'primaryColor':'#00A5BF','primaryBorderColor':'#007A8F','primaryTextColor':'#e8e8e8','lineColor':'#00A5BF','secondaryColor':'#1a1a1a','background':'#141414','mainBkg':'#1a1a1a','nodeBorder':'#00A5BF'}}}%%
graph TB
  subgraph L3["経営層"]
    A["AI利用方針"] --> B["リスク許容度設定"]
    B --> C["予算・体制承認"]
  end
  subgraph L2["運用層"]
    D["ガイドライン策定"] --> E["レビュー体制"]
    E --> F["教育・研修"]
  end
  subgraph L1["技術層"]
    G["入力フィルタ"] --> H["システムプロンプト防御"]
    H --> I["出力検査・ログ"]
  end
  L3 --> L2 --> L1

ハルシネーション -- 自動ファクトチェックとGrounding

C01ではハルシネーションの存在を知りました。C14では「どう検出し、どう防ぐか」を具体的に設計します。人間による目視確認だけでは限界があり、自動化の仕組みを組み込むことが実運用の鍵です。

ハルシネーションの発生パターン

自動ファクトチェック手法

1. 外部検索によるクロスチェック

AIの出力に含まれる事実主張を抽出し、Web検索APIや社内ナレッジベースで裏付けを取る手法です。Perplexity、Geminiの検索モード、ChatGPTのWeb Browsingがこれに該当します。自社システムに組み込む場合は、出力から「検証すべき事実」を自動抽出するプロンプトが必要になります。

2. Grounding技術

RAG(Retrieval-Augmented Generation)のように、回答生成時に外部データソースを参照させる手法です。モデルが「知っていること」ではなく「参照できる事実」に基づいて回答するため、ハルシネーションの発生率を大幅に下げられます。Google CloudのVertex AI SearchやAzure AI Searchが代表例です。

3. 自己検証プロンプト

AIに自分の出力を検証させる手法。完璧ではありませんが、明らかな矛盾は検出できます。2段階プロンプト(生成 → 検証)を組むことで、単発生成より信頼度が上がります。

ファクトチェックワークフローの設計

%%{init:{'theme':'dark','themeVariables':{'primaryColor':'#00A5BF','primaryBorderColor':'#007A8F','primaryTextColor':'#e8e8e8','lineColor':'#00A5BF','secondaryColor':'#1a1a1a','background':'#141414','mainBkg':'#1a1a1a','nodeBorder':'#00A5BF'}}}%%
flowchart LR
  A["AI生成"] --> B["事実抽出"]
  B --> C{"外部ソース\nで検証可能?"}
  C -->|Yes| D["自動検索\nクロスチェック"]
  C -->|No| E["人間レビュー\nキューに追加"]
  D --> F{"一致?"}
  F -->|Yes| G["承認"]
  F -->|No| H["差分レポート\n生成"]
  H --> E
  E --> I["最終承認\nor 修正"]

プロンプトインジェクション -- 攻撃分類と多層防御

プロンプトインジェクションは、AIに対して意図しない動作をさせる攻撃手法です。C01では概念を学びましたが、ここでは攻撃の分類を理解し、防御を設計できるレベルまで踏み込みます。

攻撃の3分類

多層防御パターン

単一の防御策では不十分です。入力、処理、出力の各段階にフィルタを設置し、どこかが突破されても次の層で食い止める設計が求められます。

%%{init:{'theme':'dark','themeVariables':{'primaryColor':'#00A5BF','primaryBorderColor':'#007A8F','primaryTextColor':'#e8e8e8','lineColor':'#00A5BF','secondaryColor':'#1a1a1a','background':'#141414','mainBkg':'#1a1a1a','nodeBorder':'#00A5BF'}}}%%
flowchart TB
  subgraph Layer1["Layer 1: 入力フィルタ"]
    A1["パターンマッチング\n既知の攻撃文字列を検出"] --> A2["入力長制限\n異常に長い入力をブロック"] --> A3["文脈分析\nAIで入力意図を判定"]
  end
  subgraph Layer2["Layer 2: システムプロンプト防御"]
    B1["役割の明確化\nAIの行動範囲を厳密に定義"] --> B2["禁止事項の列挙\n絶対に実行しない動作を明示"] --> B3["優先度の指定\nシステム指示をユーザー入力より優先"]
  end
  subgraph Layer3["Layer 3: 出力検査"]
    C1["機密情報検出\n出力にシステムプロンプト等が\n含まれていないか"] --> C2["ポリシー適合検査\n出力が利用規約に\n適合しているか"] --> C3["ログ記録\n全入出力を監査用に保存"]
  end
  Layer1 --> Layer2 --> Layer3

システムプロンプト防御の具体例

実際のインジェクション攻撃パターンと防御策

攻撃パターンを知らなければ防御は設計できません。代表的な5パターンとその防御策を整理します。

5つの攻撃パターン -- 直接指示と役割変更は対策しやすいが、間接埋め込みとエンコード回避は検出が難しい

著作権/知財リスク -- 判例分析と企業防衛策

生成AIと著作権の問題は、技術の進歩に法整備が追いついていない領域です。「AIが作ったものに著作権はあるのか」「学習データの利用は合法か」。答えが出きっていない問いだからこそ、現時点の法的見解と企業としての防衛策を理解しておく必要があります。

日本の著作権法とAI

日本の著作権法第30条の4は、AIの学習(情報解析)目的であれば著作物を利用できると定めています。ただし、「著作権者の利益を不当に害する場合」は除外されます。この「不当に害する」の線引きが曖昧なまま議論が続いています。

争点の整理

文化庁ガイドラインの要点

文化庁は「AIと著作権に関する考え方」を公表し、AI開発・利用における著作権の取り扱いを整理しました。企業がおさえるべきポイントは3つ。

1. 学習段階と生成・利用段階を分けて考える -- 学習は30条の4で広く認められるが、生成物の利用は別問題
2. 生成物が既存著作物に類似する場合、利用者が著作権侵害の責任を負う可能性がある
3. AI生成物であっても、人間が十分な創作的関与をしていれば著作物となりうる

海外判例の動向(概要)

企業としての防衛策

1. AI生成物の社外公開前に類似性チェックを実施する体制を整備
2. 生成物に「AIを利用して作成」と明記するポリシーの策定
3. 自社の著作物がAI学習に無断利用されていないかモニタリング
4. 利用するAIサービスの規約(生成物の権利帰属、学習利用の有無)を法務部門が定期レビュー
5. 社内ガイドラインでAI生成物の利用可能範囲を明確化

情報漏えい/プライバシー -- DLP設計と匿名化

AIに入力したデータがどこに保存され、誰がアクセスできるのか。この問いに明確に答えられないまま業務でAIを使っている組織は少なくありません。情報漏えいリスクは「使い方のルール」と「技術的な防御」の両輪で管理します。

DLP(Data Loss Prevention)設計

DLPは「機密データの意図しない流出を防ぐ」ための技術・プロセスの総称です。AI利用においては、「AIに何を入力してよいか」のルールを明確にし、技術的に強制する仕組みを指します。

データ分類の4段階

匿名化技術

マスキング

個人を特定できる情報(PII)を置換する手法。氏名を「Aさん」に、電話番号を「090-XXXX-XXXX」に、メールアドレスを「user@example.com」に置き換えます。手作業でもできますが、正規表現やNLPの固有表現抽出を使えば自動化できます。

仮名化(Pseudonymization)

元データとの対応表を保持しつつ、識別子を置換する手法。マスキングとの違いは「元に戻せる」点。社内での分析には元データが必要な場合に使います。対応表自体を厳格に管理する必要があり、GDPRではこの手法が推奨されています。

AIを使った匿名化プロンプト

PII(個人情報)の検出と匿名化 -- 具体的な手法

匿名化を自動化するには、まずPIIを検出するパターンを定義する必要があります。代表的なPIIカテゴリと、正規表現による検出パターン、マスキングルールをまとめます。

メールアドレスやクレジットカード番号は正規表現だけで高精度に検出できます。人名や住所はNLP(自然言語処理)の固有表現抽出が必要で、Pythonならspacy + ja_ginza_electra が日本語PIIの検出に使えます。正規表現とNLPを組み合わせるのが実務での定石です。

主要AIサービスのデータ取り扱い比較

各サービスの規約は頻繁に更新されます。上記は2026年4月時点の概要であり、最新の規約を必ず確認してください。

AI利用ガイドライン策定

ここまでのセクションで個別のリスクと対策を学んできました。このセクションでは、それらを統合した「AI利用ガイドライン」を策定します。ガイドラインは組織のAI利用の基本方針であり、全社員が参照する「生きたドキュメント」です。

策定フレームワーク

ガイドラインには以下の6要素を含めてください。順番もこの通りが読み手に伝わりやすい構成です。

他社事例から学ぶ

実際のガイドラインの傾向を匿名化した形で紹介します。

A社は規制業種ゆえに厳格、B社はIT企業ゆえに柔軟。正解は1つではなく、自社の業種・リスク許容度・企業文化に合わせて設計する必要があります。

リスクアセスメント実践

リスクアセスメントは、Sec01のリスクマトリクスを体系的に実施するプロセスです。「何となく危なそう」ではなく、手順に従って網羅的にリスクを評価し、対策の優先順位を決定します。

アセスメントの5ステップ

%%{init:{'theme':'dark','themeVariables':{'primaryColor':'#00A5BF','primaryBorderColor':'#007A8F','primaryTextColor':'#e8e8e8','lineColor':'#00A5BF','secondaryColor':'#1a1a1a','background':'#141414','mainBkg':'#1a1a1a','nodeBorder':'#00A5BF'}}}%%
flowchart LR
  A["1. 資産特定\nAIで扱うデータ\nシステムを洗い出す"] --> B["2. 脅威特定\n各資産に対する\n脅威を列挙"]
  B --> C["3. 脆弱性特定\n脅威に対して\n弱い箇所を特定"]
  C --> D["4. リスク評価\n影響度 x 発生確率\nでスコアリング"]
  D --> E["5. 対策立案\n優先度に基づき\n対策を決定"]

Step 1: 資産特定

AIに入力するデータ、AIを組み込んだシステム、AIの出力を利用する業務プロセスを漏れなく洗い出します。「AIを使っている」と認識していない利用(ブラウザの翻訳機能、メールの自動補完等)も対象です。

Step 2: 脅威特定

各資産に対して、4大リスク(ハルシネーション、インジェクション、著作権、情報漏えい)に加え、以下の脅威も検討します。

• サービス停止リスク -- API障害、料金体系変更でAI依存業務が止まる
• コンプライアンスリスク -- 法規制の変更でこれまでの利用が違法になる
• レピュテーションリスク -- AI利用が報道され、社会的批判を受ける
• 依存リスク -- 特定のAIサービスへの過度な依存

Step 3: 脆弱性特定

脅威が現実化しやすい弱点を特定します。技術的脆弱性(API鍵の管理不備)だけでなく、運用上の脆弱性(ガイドラインの不在、教育不足)も含みます。

Step 4: リスク評価

影響度(1-5)と発生確率(1-5)のスコアを掛け合わせ、リスクスコアを算出します。

Step 5: 対策立案

リスクスコアの高い順に対策を立案します。対策は4種類に分類されます。

• 回避 -- リスクのある活動自体を行わない
• 軽減 -- 技術的・運用的な対策でリスクを低減
• 転嫁 -- 保険や契約で第三者にリスクを移転
• 受容 -- リスクを認識した上で許容する(記録を残す)

インシデント対応

どれだけ予防策を講じても、インシデントは起こりえます。発生した際に慌てず対応できるかどうかは、事前の準備で決まります。AI起因のインシデントは従来のITインシデントと性質が異なる面があり、対応フローの整備が必要です。

AI起因のインシデント類型

対応フロー

%%{init:{'theme':'dark','themeVariables':{'primaryColor':'#00A5BF','primaryBorderColor':'#007A8F','primaryTextColor':'#e8e8e8','lineColor':'#00A5BF','secondaryColor':'#1a1a1a','background':'#141414','mainBkg':'#1a1a1a','nodeBorder':'#00A5BF'}}}%%
flowchart TB
  A["1. 検知\nインシデントの発見・通報"] --> B["2. 初動対応\n被害拡大の防止"]
  B --> C["3. 調査・分析\n原因と影響範囲の特定"]
  C --> D["4. 報告\n関係者への報告・社外対応"]
  D --> E["5. 再発防止\n根本原因の解消と\nプロセス改善"]
  A -.- A1["社員からの報告\n監視ツールのアラート\nSNSでの指摘"]
  B -.- B1["AI機能の停止\nコンテンツの非公開化\nアクセス権限の制限"]
  C -.- C1["ログの確認\n入力データの特定\n影響を受けたユーザーの特定"]
  D -.- D1["経営層への報告\n法務部門との連携\n必要に応じて当局報告"]
  E -.- E1["ガイドライン改訂\n技術的対策の追加\n再発防止研修の実施"]

検知のポイント

AI関連インシデントの発見は難しい場合があります。ハルシネーションによる誤情報は「正しく見える」ため気づきにくく、情報漏えいは入力した時点で完了してしまうため後から検知しても手遅れのケースも。検知体制は「起きた後に見つける」だけでなく「起きる前に防ぐ」入力フィルタとの組み合わせが必須です。

初動対応で最も重要なこと

被害の拡大防止が最優先です。「まだ調査中だから」と対外的な対応を先延ばしにするのは悪手。事実確認が完了していなくても、「現在調査中」の一報を関係者に入れること、影響のあるシステムやコンテンツを暫定停止すること。この2つが初動の鉄則です。

報告テンプレートの構造

インシデント報告は以下の要素を含みます。発生から24時間以内に第一報、72時間以内に詳細報告が一般的な目安です。

1. 発生日時 / 検知日時 / 報告日時
2. インシデント概要(1-2文で要約)
3. 影響範囲(誰が、何件、どの範囲)
4. 初動対応(すでに実施した措置)
5. 原因(判明している範囲)
6. 今後の対応計画(調査、報告、再発防止)
7. 報告者 / 対応責任者

総合ハンズオン: ガイドライン+アセスメント完成

このコースの集大成です。これまでに作成したドキュメント(リスクマトリクス、防御プロンプト、データ分類表、AI利用ガイドライン、リスクアセスメントシート)を統合し、実務で使える完成版に仕上げます。

完成版に求められる品質

研修中に作成したドラフトと、実務で使える完成版の違いは以下の3点です。

• 具体性 -- 「機密情報は入力しない」ではなく、自社のデータ分類表に基づいて何が機密かを定義している
• 実行可能性 -- 承認フローの担当者名が入っている。レビュー日程が決まっている
• 整合性 -- ガイドラインとリスクアセスメントの内容が矛盾していない。対策の優先順位が一致している