2018.02.19
自律兵器の規制から考えるAI時代の戦争と人間のかかわり
開発途中のAI搭載兵器
2017年11月13-17日に、ジュネーヴの国連で、特定通常兵器使用禁止制限条約（CCW）の政府専門家会議（GGE）が開催され、LAWSの規制に関する検討プロセスが始まった。LAWSは、機械の起動から作戦終了まで、事前にプログラムされた命令に沿って自律的に実施する兵器システムを一般的に表す言葉である。兵器システムが命令を実施する際に、その具体的方策は機械がAI（人工知能）などを用いて自律的に行い、命令自体も兵器が運用される環境の下で最適化するなど、人間の手を離れたところで作戦行動を行うシステムとされている。
LAWSは、将来開発が展望される兵器であり、各国で開発途上の段階にあるもので、完成した形は存在しないとされる。2010年代に入り、遠隔で操作されるドローンの攻撃が、捜査員の判断ミスなどで民間施設を誤爆する付帯被害の問題など、兵器と人道性の問題が国連などで取り上げられる中で、LAWSの問題に焦点が当たるものとなった。
LAWSは実存しないものの、各国はすでにAIを搭載した次世代兵器システムに関する検討を開始している。米国の「第三のオフセット戦略」では、ロボットやAIなどの新技術を組み込んだ自動兵器が提案されており、自動化兵器戦略では、集団の振舞いをもとに作られたスウォーム技術（群知能）を利用した無人兵器システムの開発方針が出されている。スウォーム技術とは、「蚊柱」や「イワシの大群」などで見られるように、個体同士が何らかの手法で通信し、統一的な行動をとると共に、たとえ密集状態でも衝突しない交信を行うものである。機械と機械のコミュニケーションの確立が、技術の重要なカギになる。
しかし、米国防総省は2012年に国防総省指令3000.09を発出し、自律兵器を一端稼働されると自律的に標的を選択して攻撃を加える兵器と定義し、管理可能な兵器が完成するまで米軍による運用を禁止している。ただし、戦術効率の観点から、攻撃指令を機械に委ねることへの関心は高く、米軍の各研究所の研究開発は継続している。米国の議論では、自律兵器は人間が判断するより速いペースで攻撃が可能なため、政軍関係を歪める可能性があると指摘されている。
ただ、ロシアのカラシニコフ社は、既に軍事見本市の「アルミナ2016」で無人システムの一部を公開しており、2017年にはニューラルネットワークを利用した兵器開発を表明している。アジアでも、韓国のサムスン社の子会社は、無人化された防御兵器システム（名称はSamsung Techwin SGR-A1）を発表している。イスラエルのハーピー（Harpy）やアイアンドームなどの各種兵器システムでも、自律兵器の完成が展望できる段階に至っている。
軍備規制と正当な技術開発の狭間で
このような動きに対応するように、2014年以降、国際社会は人道問題への関心を出発点として、CCWにおいてLAWS規制のあり方を議論している。プロセス開始直後の2014年から３回開催された非公式専門家会合、そして2017年のGGEを通じて、各国はLAWSが「有意の人間の管理（meaningful human control）」もしくは「有意の人間の判断（meaningful human judgement）」の下に置くべきことに、広範な同意があることが分かった。
しかし、CCWにおける議論のなかで、LAWS自体は未定義なまま残された。さらに、攻撃の判断における「人間の有為の介在」も、国際社会において、コンセプトには同意があるものの、その現実の在り方に対する理解は多様である。それゆえに、議論の成熟がない状態の下で、国際社会が厳格で実効的な規制を設けることは不可能であるとして、規制を設けること自体、正当な技術発展を阻害すると警戒する国は多い。
国際的な市民社会団体は、かつての対人地雷や小型武器と同様に、LAWSの規制に関心を持つ団体の連携を目指し、2013年に「殺人ロボット禁止キャンペーン（Campaign to Stop Killer Robot）」を立ち上げている。それに先立つ2009年には、「ロボット軍備管理国際委員会（International Committee for Robot Arms Control: ICRAC）」が設立され、2010年に当初のベルリン宣言を修正した後、2014年に設立趣意書を再確認している。この趣意書に書かれている、ロボット兵器の規制に関する方向性としては、人間の殺傷に関する決定を機械に委ねない、また、規制や禁止に関する法的規範を求めるなどの内容が含まれている。
この問題には、各国のAI研究者なども関心を寄せており、豪州のニューサウスウェールス大学のトビー・ウォレシュ教授、テスラ社やスペースX社のイーロン・マスク氏などは、AIの軍事利用の即時停止を求める書簡を2017年に豪州政府などに送付している（2015年にもAI研究者やスティーブ・ホーキング博士などが同様の内容を公開書簡として公表している）。ウォレシュ教授は、2017年のGGEに合わせて、スウォーム兵器が、ネット上で顔認証を登録した大学生等を襲撃する短編映画を作成し、同時にそれをYouTube上でも公開して話題となった。
この映画は、2017年のGGEのサイドイベントでも紹介されたが、多くの参加者より、そこで描かれたLAWSの形は国際社会を「ミスリード」する、として不評であった。この前から、CCWの議論では、LAWSや、自動兵器一般につき、メディア等が米国映画の『ターミネーター』を例示することで恐怖を煽ることを戒める意見が出されており、各国は、議論が「恐怖」に支配されて歪められることを警戒していた。
ただし、LAWSとはどのような兵器であるか具体的に示さないまま議論を進めることには批判がある。規制対象を未定義なまま議論を進める方針を堅持した、2017年のGGEの議長のインドのギル大使（Amandeep Singh Gil）の議事運営の問題点を指摘する声も聞かれた。
実際、規制対象を明示せず、将来の可能性を議論の対象とする軍備管理軍縮交渉には大きな欠点がある。それは、交渉の終結点が不明となり、議論を継続することだけが目的となってしまうことである。しかし、その兵器そのものや、兵器関連の技術開発の可能性に、民生および軍事などの両面でポジティブな意義が感じられる場合、その可能性を追求するインセンティブが生まれ、議論の停滞は各国の歓迎するものとなる。要するに、「時間が稼げる」ということである。時間を使うことで、将来の技術発展をも包括的に含んだ、効果的な規制措置が検討される可能性が高くなる。
ただし、将来の規制措置を考える上で、技術を規制する方法にも留意する必要がある。抽象的な表現方法になるが、技術の規制のラインが、今現在の自分の技術レベルの「下」になる場合、それは技術後発国の「キャッチアップ」を阻止することが目的になる。別の観点でいうと、それは拡散防止が目的、ということになる。
しかし、規制ラインが「上」に引かれる場合、それは「保有規制」もしくは「タブー化」ということになる。この場合、特定の技術の開発を禁止する方法と、当該技術を使用していい国を決める方法（聖域化）がある。規制ラインを自分より「上」に設定することを許す場合、それは技術的後進性を受け入れることを意味する。
米国や中国、さらにはロシアなどの技術先進国（もしくは技術開発の意思を持っている国）は、技術の「タブー化」以外は受け入れるだろう。日本やドイツなどの技術国は、規制ラインが自分の「上」に来ることを、全力で回避するよう行動している。
未確定な技術の軍備管理軍縮を進めるもう一つの問題は、規制対象を明確にすると、比較的簡単に結論に至るが、規制内容に同意できない国は結果にコミットしないため、交渉が不成立か、不完全な条約や措置に至る可能性が高い。ただし、短期的な成果が望ましいと考える国や市民社会団体は、それぞれの事情から、この方策に飛びつく傾向がある。2017年に合意された核兵器禁止条約も、その一例であるし、過去、対人地雷、クラスター弾など、条約成立という意味では成功だが、普遍的な措置としては、未だに不完全な状態にある軍備管理軍縮条約も、その歴史に加えていいだろう。
議論の隙間が国益を生む
LAWSの議論では、2014年の交渉開始当初、市民社会が「殺人ロボット」の完全禁止を求め、一部の有志国も追随しようとした。LAWSを、機械の判断で無差別に人間を殺傷する殺人ロボット兵器と形容したキャンペーンの効果は高く、国際社会には、AIの発展によって、SF小説やハリウッド映画で描かれる世界が近未来に出現するとの懸念が生まれた。前述したように、AI研究者などの署名活動などもあり、市民社会集団側にはCCWでの議論の停滞があれば、新規の禁止条約へと動き出すべきとの主張も見られたのである。
しかし、一部の有志国がCCWの枠外で、自らに規制を課す条約を成立させることは、LAWSに関心を持つ国にとって歓迎すべき動きだった。米国は、2016年の国防科学諮問委員会（DSB）の報告書で、AI搭載兵器は国家関係に「革命的」な変化をもたらすと評している。このように、大きな可能性を持つ兵器を保有することを、自ら放棄する国の存在は、彼らが軍事的に劣勢に落ちる可能性を自ら受け入れるということを意味するため、戦略的には歓迎することであった。産業競争力の面でも、独立した禁止条約を推進する国は、AIを含め、LAWSを可能にする技術の開発への制約を課すことにもつながる。つまり、そのような行動は、軍事的にも、産業的にも、通常の国際関係では自殺行為に近い。
このため、米国や中国など、LAWSの開発に関心を持つ国は、全面禁止を主張する国がCCWの枠組みから飛び出すことを期待した。そうすることで、CCWでの交渉が「落ち着く」ことが予想できたのである。しかし、2014年以降のCCWの議論の中で、その動きが実現することはなかった。当初、CCWから抜け出して、対人地雷の時のように個別の条約を求めていた市民社会集団も含め、CCW参加国は現実的な路線へと回帰して行った。これはつまり、議論の停滞を続けるか、それともCCW参加国が受け入れ可能な現実的な措置を考案することに行き着くことになる。
結果的に、2017年のGGEで「定義論争」を避けたことで、実は多くの国の利益となる「議論の停滞」が生まれた。同時に、一元的な禁止論が交渉の場を支配することなく、現実的な方策が提案され、その議論を深めていくことが可能になったのである。この結果に功罪はあるのは事実である。たとえば、既にAI搭載自律兵器の開発に踏み出し、プーチン大統領がAIの先進国と自認するロシアにとって、国際社会における交渉の停滞と議論の錯綜こそが国益となる。中国も2017年に新世代AI開発戦略を公表し、AI先進国になることを表明している。このため、ロシアと同様、議論の停滞は国益に通じる。
これに対し、自動化と自律化の定義を明確にし、自動兵器は開発するが自律兵器の開発は行わないと宣言するフランス、LAWS開発の具体的な計画がないと主張するドイツや日本などは、民生分野でのAIなどの技術開発を急いでいる。これら国にとって、議論の停滞により、将来の軍事転用（スピンオン）の可能性を追求する上で、禁止ではなく、規制の内容を争点として、開発が先行する国にタガをはめることを目指す余地が生まれた。
人間と戦争の関わりを変えるLAWS
LAWSは、従来存在した兵器とは完全に異なるものと見られがちだが、現実には兵器の自動化の先に展望できるものである。また、AIが搭載される兵器の危険が指摘されるが、現時点のAIは兵器使用に耐えるだけの信頼性はなく、近い将来に革命的な進展が期待できるものでもない。AIの最大の特徴である機械学習（マシン・ラーニング）が、攻撃の段階で有効に機能する局面は限定的であり、より多くの利得は、情報収集や分析において発揮される。ただし、攻撃の判断に至るまでの軍事的決定のプロセス（一般的に、Kill Chainと呼ばれる）が、それ以前の情報や判断に左右されることを考えると、AIが引き起こす問題がないとは言えない。
2017年のGGEでも、Kill Chainの各局面におけるAIの使用の制限が提案され、兵器の製造段階から使用に至るまでのプロセスで、1949年ジュネーヴ条約の1977年追加議定書の第36条（「新たな兵器」）の規範が順守されるかどうか査察を行うべきとの意見が出されている。いわゆる、「第36条運動」は、当初は武器製造企業を抱える各国政府に対し、企業に対する監督体制の強化を求めるものであったが、ドイツやフランスは、これを利用してLAWSの査察の手段として位置づけようとしている。
米国などでは、主要兵器から各兵士が戦場で使用する携行機器（たとえば、アンドロイドをベースにした携帯キットなど）まで、それぞれをネットワークに接続し、情報共有を高めようとしている。災害救援の現場では、リアルタイムの情報としてSNSが利用されることもあり、現場の人員にとって有用な情報がネットワーク上に存在する。さらに、ドローンが、「戦場の霧」を晴らす効果があると指摘されるが、それら手段を通じて得た情報を兵士が共有して行動すると、戦術的効果は極めて効率的になる。
司令官の判断の基準になる情報が、AI搭載機器に依存するようなことになれば、Kill Chainの中で攻撃判断を人間が司る（最終的に攻撃するかどうか）ことが保証されていたとしても、自衛権に基づく攻撃を行う際に国際人道法の適応基準の諸原則（区別原則、非無差別原則、比例原則、予防原則）の順守が図られると主張することは難しくなる。
つまり、AI搭載機器をどこかに組み込んだ場合、Kill Chainの全ての段階でLAWS固有の問題が発生するため、兵器の使用に際して、人間の管理が介在する必要があるのか（human in the loop）、判断を下すことが担保されていればいいのか（human on the loop）、という議論をする必要が生まれる。ただし、戦場の雑然とした混沌状況の下で、人間と機械の関係を整然と切り分けるのは困難であり、機械と機械のコミュニケーションに対して人間がどのように関与すべきかを決めることは不可能である。AIを搭載したLAWSを活用した戦場では、個別のプラットフォームはネットワークの中のノッドに過ぎず、そこでの人間の介在は、不可避的に小さくなる。
そのような状況の下では、国際人権法や人道法の順守を行うためには、そもそもAIのアルゴリズムの設定を厳密に行う必要があるとの主張がある。これは、当然の主張のように見える。しかし、AIの最大の利点が機械学習であり、一定のトライ・アンド・エラーの存在を前提とするものであることを想起し、そのエラーが戦場においてどのような意味を持つか考察すると、学習を「終えた」AI搭載兵器以外は、許容されないようにも感じる。この最大の問題は、兵器運用開始後に学習することを宿命づけられたものに、運用前に学習を終えることを前提とした兵器に求められる規範を適用するのが適切かどうか、ということになる。また、アルゴリズムを国際的に標準化することは、各国の戦術に直接関係するため、どの国もためらうだろう。
2017年のGGEでは、いくつかの解決方法が提示された。それは、禁止条約のような実効性の薄い象徴的な措置から、CCWの第4議定書（失明をもたらすレーザー兵器に関する議定書）と同じ行動規範を確認する議定書の採択、さらにはその他の実効的措置などである。その他の措置には、核軍備管理軍縮におけるIAEAのような、強制的な査察権限を持ち、技術発展とその軍事利用を監視する機関の設置が必要との意見も含まれる。軍備管理軍縮における、査察機関の設置は、措置の透明性を高める上で必要不可欠である。
各国がLAWSの開発に向けて動き出しているときに、規制がないまま放置することも、厳格な規制を設けることも、双方ともに最終的には軍備管理軍縮措置としての実効性を損なうことになる。したがって、LAWSをめぐる問題の焦点は、兵器使用の際の使用者の責任の範囲、そして兵器開発の際の開発者等の責任の果たし方、そして開発及び使用の際の査察措置の在り方、ということになる。
従来の国際人道法や人権法では、使用者が規範やルールを順守する条件が議論されてきた。LAWSの議論においても、たとえ兵器の完全自律化が実現しても、その他の通常兵器と同様に、使用者が法的責任を負うことに変更はないことに合意は存在する。しかし、LAWSに含まれるプログラムの複雑さゆえに、前述のジュネーヴ諸条約第一追加議定書第36条の規定を兵器の開発者が順守しているかどうかを、兵器開発の段階で検証プロセス（weapon review process）を設け、それを国際的に公開することが提案されている。そして、そこに査察制度を導入し、検証措置を設けることで、各国のコンプライアンスを確認する、というプロセスの設置も同時に提案されている。
これらの措置が、今後どのように具体化していくか、注目する必要がある。技術開発は、人間と戦争の関係を急速に変えつつある。しかし、国際社会の対応は遅く、不完全である。そのような制約の下で、CCWがこの問題に継続的に取り組んでいるのは評価すべきであり、そこでの議論の進展に期待するべきなのであろう。
プロフィール
佐藤丙午
拓殖大学国際学部教授・海外事情研究所副所長。岡山県出身。一橋大学大学院。1993年より防衛庁防衛研究所助手、主任研究官を経た後、2006年より拓殖大学海外事情研究所教授。国際学部教授を経て、2016年より現職。日本安全保障貿易学会副会長（前会長）、国際安全保障学会理事。専門は、国際関係論、安全保障論。