極楽せきゅあブログ

ときどきセキュリティ

生成AIの悪用事件を受けて考えたこと

報道(https://www.nikkei.com/article/DGXZQOUE2802U0Y4A520C2000000/)によれば、「インターネット上で公開されている対話型生成AI(人工知能)を悪用してコンピューターウイルスを作成したとして(中略)不正指令電磁的記録作成の疑いで逮捕した。」とのこと。トレンドマイクロブログ(https://www.trendmicro.com/ja_jp/jp-security/24/e/breaking-securitynews-20240529-02.html)にあるように「すべての序章」かもしれないし「実例は多数」なのかもしれない。しかしながら、脅威の図式がこれまでと大きく変わるとは思えない。過小評価したくないのでなぜそう思うのか文章にまとめて思考を整理してみたい。整理のために、まずは画像や映像は除外して考えてみる。
生成AIの良いところはそれっぽい文章やコードを専門家に頼らずに書けるところ。文章生成力はインパクトがあったし、これからも活用が進むだろう。文章面での悪用は確かに防ぎがたいが、洗練された文章になったとしても目的は同じなのでこれまでの検知手法が全く通用しないわけではないし、悪用側のコストが少し下がるくらいで大変革は起こらないのではないか。
コードを全く書けない人がそれっぽいものを生成できてしまう、というのもインパクトがある。難点は品質か。バグが思いのほか多くそのままでは使えないが、コードを書ける人が使うのなら生産性向上には寄与する、という感触が世間一般に通じるものらしい。参考:https://qiita.com/hiromichinomata/items/62526d01a20ed80bdb8b この品質問題が今のところ不用意な悪用を防ぐ最終防壁になっているのではないだろうか(逆に、コードを書ける人の生産性は向上するので、悪用する場合も同じことが言えるだろう)。実際、前述の事例(https://www.jiji.com/jc/article?k=2024052800315&g=soc)でも「実用化のためのプログラムは入手できなかったといい、これまでに被害は確認されていない。」と報じられていて、動くモノは入手できなかったようだ。
ただこの防壁は、世界的に品質向上意欲があるので早晩崩されてしまうだろう。さらに、コードの冗長さや性能という側面は悪人にとっては関係無い。まともに動きさえすれば悪の目的を達成できるからだ。AIの品質向上は多くの人に恩恵をもたらすが、その中に悪人も含まれるというわけだ。
ただそれも、プロフェッショナルなサービスであるXaaSが浸透した悪の世界への影響は軽微だろう。既にビジネスモデルとして完成しているので、生成AIの恩恵に浴さなくても効率良くウイルス・マルウェアを生産できるようになっているからだ。逆に言えば、生成AIの仕組みをうまく規制したとしても、悪のビジネスモデルへの影響は軽微だろうし、そもそも独自に無規制の生成AIを活用し始めている悪人達には規制は意味を成さない。
では社会全体への脅威が変化しないのかというと、残念ながらそうではない。堅牢なビジネスモデルを既に構築済みの悪人達は、生産性のわずかな向上程度の変化しか望めないだろう。しかし、そのレベルに到達できていない、言わば第二グループの悪人達には技術活用のカジュアル化による恩恵がありそうだ。さらに第三グループ以下ともなるとメリットは大きくなる。小金稼ぎのつもりで手を出す素人の参入障壁が下がる。悪人予備軍にとっては手を出す誘惑が強くなるのだ。前述報道にあった生成AIを使ってマルウェア制作をした事例でも「楽に稼ぎたかった」と言っているようだ(再掲:https://www.jiji.com/jc/article?k=2024052800315&g=soc)。欲に溺れた軽い動機や暗い将来を想像できない、無知等による悪人予備軍が過ちを犯し、罪を精算した後も社会的ハンディを負って同じ業界に居続けなければならない、となると悪人達の人的陣容が厚くなってしまうことになる。この、予備軍たちに道を誤らせないようにする、というのが解決すべき社会的な課題ではないだろうか。
ある意味その目的のために、セキュリティ・キャンプを始め、SECCONを立ち上げ、AVTokyoに関わるようになり、SecHack365を推進しているところもある。攻撃側の単純な謎解きよりも防御側の複雑な謎の方がおもしろいよ、とも言い続けている。しかし、どれも予算やリソースの限界があり選抜的なプログラムになっているため、客層が予備軍にジャストフィットしているわけではないし、そもそも選抜の方が目的としては重くなる。選抜されてプログラムに参加できる層も、選抜されない層も、そしてこういうプログラムの情報にリーチできていないがコンピューターの中身やOS、ソフトウエアの仕組みに興味がある層も、その多くは周囲に理解されず孤独であったりする。キャンプやSecHack365の最初のイベントに集まって選抜者同士が物理的に初めて対面するとき、あっという間に打ち解けて好きな話題の話が弾む。その光景は毎年同じ。親兄弟も教師も同級生も、誰とも全力で好きなことを話して盛り上がれない人たちが集まるとこうも楽しそうになるのか、と毎年思うが、それは普段の孤独の裏返しでもある。孤独であるが故に悪意を持った大人のおだてや偽りの称賛にも乗ってしまうし、もっと認められたい、と思う余りに犯罪的行為に飛び込んでいってしまう。おそらくこのプロセスのどこかで進行を阻害するような何かを仕掛けないと、本来なら将来有望なエンジニア予備軍が悪い業界に吸い取られてしまうままだ。
この課題、何とかしたいけどねぇ。今は考えるくらいしかできないが、ソフトウエアやシステム、あるいはコンテンツなどの何かを作ることで予備軍引き戻しに寄与できたら、とは思っている。