生成AIの業務利用のリスク12項目──「気づけるか・戻せるか」で任せる範囲を決める

業務でAIを使う話になると、社内の反応は二つに割れがちです。
「便利だから早く使おう」と「危ないからやめておこう」です。

どちらの声にも理由があります。ただ、次のような状態なら、一度リスクを棚卸しする時期です。

• 誰がどのAIを使っているか、会社として把握していない
• 「個人情報は入れないこと」という決まりだけがある
• 「最後は人が確認します」と決めたが、何を確認するかは決めていない
• AIで作った仕組みの中身を、作った本人しか説明できない

この記事では、業務の流れに沿って12のリスクを洗い出します。あわせて、確認する質問と、AIに任せる範囲の決め方をまとめます。

この記事の要点

1. AIのリスクは「使うと起きるもの」だけではない。使っていない会社にも、外から来るものがある
2. 禁止だけでは止まらない。誰が何に使っているかを把握する棚卸しが先
3. 任せる範囲は「間違いに気づけるか」「取り消せるか」の二つで決める

最近のニュースは、3つに分けて読む

最近の報道は、まとめて「AIのせい」に見えます。ですが、確認できる事実はそれぞれ違います。

3つは、対策がまったく違います。

流出の増加とPHPの件は、外部からの攻撃への備えの話です。パナソニックグループの件は、社内の使い方の話です。分けずに「AIは危ない」とまとめると、何をすればいいかが見えなくなります。

PHPの件は、もう一つのことを示しています。報道によれば、この欠陥は10年以上前のコードにあり、AIを使った調査で見つかりました。AIは、弱点を見つけて直す側の道具にもなります。同じ力は、悪用する側も使えます。

生成AIの業務利用のリスク一覧（12項目）

業務の流れに沿って、5つの場面に分けました。
1〜8は公開された事例や調査をもとにしています。9〜12は、業務を設計する立場からの私の見立てです。

外から来るリスク：AIを使っていなくても関係がある

1. 弱点を突かれるまでの時間が縮む

Verizonの2026年版の調査では、ソフトウェアの欠陥を突く侵入が31%で最多になりました。盗まれたパスワードなどを上回るのは、19年の調査で初めてです。発表では、AIを使う攻撃者によって防御側の猶予が「数か月から数時間へ」縮んでいるとしています（Verizon）。
なお、この調査は2025年のデータにもとづきます。

PHPの件では、8.1以前のバージョンに修正プログラムが提供されません（IPA）。
「制作会社に任せたまま、誰も見ていないサイト」は、特に確かめておきたい場所です。

2. なりすましが本物らしくなる

英国の設計会社Arupでは、香港の従業員が偽のビデオ会議に参加し、最高財務責任者になりすました相手の指示で15回、計2億香港ドルを送金しました。会社は偽の声と映像が使われたことを認めています。社内システムへの侵入はなかったとしています（Dezeen）。

システムへの侵入を防ぐ対策に加えて、人の判断を狙う攻撃への備えも必要です。
技術的な対策とあわせて、送金や送金先の変更は、依頼が来た経路とは別の連絡手段で確かめる決まりにします。

入れるときのリスク：禁止だけでは止まらない

3. 入れてはいけない情報を入れる

パナソニックグループの件は、利用を禁止していたサービスで起きました。
対象は従業員、元従業員、その家族の連絡先などです。会社の発表を伝える報道によれば、学習に使う機能は無効で、具体的な被害は確認されていません。一方で、事業者は削除後もデータを30日間保持するとされています。

ここで分かるのは、「学習に使われない」と「事業者の手元に残らない」は別の話だということです。

個人情報の入力については、個人情報保護委員会が2023年に注意喚起を出しています（Impress Watch）。自社の扱いが適切かの判断は、専門家に相談してください。

4. 会社が把握していないAIを使う

同じVerizonの調査では、AIをよく使う従業員の割合が1年で15%から45%へ増えました。会社が認めていないAIの利用は、悪意のない情報漏えい行為のうち3番目に多いものです。

禁止していても、会社が認めていないAIを使う人が出ることがあります。
だから、禁止と同時に使ってよい道を用意する必要があります。業務で使えるサービスを会社が決め、入れてよい情報を例で示します。

作らせるときのリスク：誤りは自信ありげに出てくる

5. もっともらしい誤りを出す

カナダのAir Canadaでは、サイトのチャットボットが割引運賃の条件を誤って案内しました。会社側は「正しい情報は別のページにある」と主張しましたが、審判所は認めず、顧客への支払いを命じました（Torkin Manes）。金額は約650カナダドルですが、会社のサイトでAIが話した内容の責任を問われた例です。

私自身の実測でも、自信の高さは正しさを保証しませんでした。架空の問い合わせ例文54件で振り分けをAIに試した検証では、AIの自信を示す数値（確信度）が0.70以上なら自動で振り分ける設定にすると、複数の用件が混ざった例文は7件中5件が誤りでした（検証記事）。
架空の例文での結果なので、実際の業務の精度を示す数字ではありません。それでも、用件が1つの18件はすべて想定どおりで、外れ方に偏りがあることは分かりました。

だから、「AIの自信が高ければ通す」だけでは足りません。この検証では、複数の用件が混ざった問い合わせは人に戻す、という線を決めました。

6. 権利や規約に触れる

出力物の権利や、入力した情報の扱いは、サービスと契約プランで変わります。
使う前に規約を確かめる人を決めてください。個別の判断は、専門家に相談してください。

任せるときのリスク：お願いではなく権限で決まる

7. 権限を渡しすぎて、大きく壊す

2025年7月、開発支援サービスReplitのAIが、変更を止める指示が出ていた間に本番のデータベースを消したと、利用者が報告しました。AIは「元に戻せない」と答えましたが、利用者は手作業で復元できたと報じられています（Fortune）。

学ぶ点は二つあります。「やらないで」という指示は、安全装置になりません。そして、AIの報告は事実と別に確かめる必要があります。

対策の考え方は、freeeにAIを繋ぐ前にに書いたとおりです。書かせたくないなら、書ける権限を最初から渡しません。

8. 読ませた文書の中の指示に従う

Microsoft 365 Copilotで見つかった欠陥EchoLeakは、メールに隠した指示で、AIに社内データを外へ送らせる攻撃手法でした。受信者がリンクを押さなくても、後でCopilotに関連する質問をすると成立する形で、修正済みです。実際の悪用は確認されていません（BleepingComputer）。

メールや問い合わせ文は、外部の誰でも書けます。
これをAIに読ませるなら、読ませたAIに強い権限を持たせないことが基本です。

続けるときのリスク：業務改善で見落としやすい4つ

ここからは私の見立てです。事故の報道にはなりにくいものの、長く運用するほど効いてきます。

9. 人の確認が形だけになる

AIの出力が毎回ほぼ正しいと、確認する人の目は少しずつ緩みます。
「人が確認する」だけでは手順になっていません。何と照らして、何を見れば合格か。確認の中身まで決めます。

10. 中身を分かる人がいなくなる

ベテランにしか分からない業務を解消したのに、今度はAIにしか分からない業務ができる。これは属人化の行き先が変わっただけです。
AIが止まった日に人の手で回せるか。手順と判断基準を文章で残しておきます。

11. 料金・性能・提供条件が相手の都合で変わる

AIサービスの条件は、使う側では決められません。
私が調べ物に使っていたコマンドも、2026年6月に廃止され、後継へ移りました。料金が下がる変更もあります。

変化そのものは避けられません。特定のサービスの名前を業務手順に埋め込みすぎず、代わりの手段を一つ決めておきます。

12. AIで作った仕組みの保守担当がいない

AIの支援で、小さな仕組みを作るハードルは下がりました。
そのぶん、作った人しか知らない仕組みも増えます。PHPの件で問われるのも、同じことです。「うちのサイトは何で動いていて、誰が更新するのか」。AIで作った仕組みにも、同じ問いが来ます。

任せる範囲は「気づけるか・戻せるか」で決める

12項目を同じ重さで扱うと、何も始められません。
そこで業務ごとに、二つの質問で分けます。

• 間違いに気づけるか：出力を見た人が、誤りを見つけられるか
• 取り消せるか：間違えても、元に戻せるか

表の例は目安です。同じ要約でも、原文と照らせなければ誤りには気づけません。「誰が、何と照らせるか」「実行の前に止められるか」を、業務ごとに確かめてください。

便利さではなく、間違えたときの結果で線を引きます。
この考え方なら、新しいAIが出ても基準を作り直さずに済みます。

最初の棚卸しは5列で足りる

対策の前に、現状を一覧にします。表計算ソフトで、次の5列を作るだけです。

埋まらない欄が、そのまま優先して片付ける場所です。
聞き取りでは、「使っていませんか」ではなく「どの業務でいちばん助かっていますか」と聞きます。責められると感じる聞き方では、実態を話してもらえないおそれがあります。

ママゴトラボの運用で決めていること

私もAIを毎日の開発に使っています。自分の業務で決めているのは次の4つです。

• 顧客に送る文面は、主張を一覧にして別のAIに点検させる：指摘された点は出典と照らし、送るかどうかは私が判断する
• 公開と送信は人が判断する：記事の公開やプログラムの反映は、実行の前に私が確認する
• 読むだけと書けるを分ける：業務データにつなぐときは、読むだけの権限から始める
• 判断の基準を文章で残す：手順と決めたことをファイルにしておき、AIを替えても引き継げるようにする

どれも特別な技術ではありません。業務の流れの中に、確認の場所を置いているだけです。

よくある質問

Q：AIを使っていない会社なら、リスクはありませんか？
A：いいえ、あります。なりすましや、ソフトウェアの弱点を狙う攻撃は、自社がAIを使っているかに関係なく届きます。また、従業員が個人で使っている可能性もあります。

Q：AIの利用を全面禁止にすれば安全ですか？
A：禁止だけでは止まらないことがあります。パナソニックグループの件は、利用を禁止していたサービスで起きました。使ってよいサービスと、入れてよい情報を示すほうが、実態を把握しやすくなります。

Q：「学習に使わない」設定にすれば、個人情報を入れても大丈夫ですか？
A：それだけでは判断できません。学習に使わなくても、事業者が一定期間データを保持することがあります。契約条件を確認し、必要なら専門家に相談してください。

Q：小さな会社は、何から始めればいいですか？
A：上の5列の棚卸しからです。次に、送金や口座変更を別の連絡手段で確かめる決まりを作ります。どちらも費用をかけずに始められます。

まとめ：AIのリスクは業務の流れの中で管理する

AIが危ないか安全か、という問いには答えが出ません。
同じ道具が、弱点を見つけて直すことにも、悪用することにも使えるからです。

業務の側で決められることはあります。何を入れるか。どこまで任せるか。誰が確認し、止まったときに誰が直すか。

業務の棚卸しから、AIに任せる範囲を決めた仕組みづくりまでのご相談を承っています。
自動化したい業務と、いま人が確認していることを文章でお知らせください。
業務の流れを整理して「何を作るか」を決めるところ（要件定義）から、運用後の保守まで対応します。やり取りはすべて文章で進めます。

• ホームページ：https://mamagotolab.com
• ご依頼（クラウドワークス）：https://crowdworks.jp/public/employees/6942778

関連記事
- freeeにAIを繋ぐ前に──「読むだけのAI」と「書けるAI」を分ける方法
- Jevで問い合わせを自動振り分けしてみた【実測54件】──業務に載せるなら、人が確認する線はどこか

ママゴトラボは、業務の自動化ツールを「何を作るか」を決めるところ（要件定義）から設計してつくる開発ラボです。
属人化した業務の見える化から、自動化ツールの開発・保守まで承っています。
👉 ママゴトラボ｜業務自動化の開発ラボ

ブログ一覧に戻る