AIは安全に決まってるぢゃないですか

先日知人とAI（人工知能）について話した。
彼はプログラマーなのだけれど、「コンピュータは所詮命令したことに答えるだけのものだし、AIだからといって命令したこと以外のことはするわけがない。」というスタンス。

対してこちらは、「AIは自ら考えて最適化を図っていくものだから、開発者側の予想とは違う計算（思考）をする可能性はある。」というスタンス。

会話はしたのだが、どうにも噛み合わない。
後からよくよく考えると、彼が話していたのは「一般的なプログラミング」であり「自動化」の話であって「AI」のことではないようにも思える。

そしてその背景には、一般人に対して「AIは人の命令・予測を超えるかもしれない」と考えさせないようにする技術者側のベクトルが存在するように感じる（別に陰謀説とかではない）。

2017年、FacebookのAI開発で2つのAI同士で会話をさせたら、人間には意味不明な言語を使いだしたのでコンピュータを強制終了させたという事件があった。

これについてはCNET-JAPANの記事で、Facebookのエンジニアリングマネージャーがこれについて答えている。

この記事を読むと、一見

「そんな心配するようなことはなかったから安心してね」

と読めるのだけれど、よく読むとそうではない。

記事の前半では、
>この2つのAIエージェントは、使用言語の変更が許されており

>こうした会話実験で言語が変化することは、よくあることだ
と書いている。

つまり「予測範囲内のことだった」と。

そして実験を中止したことは事実であって、その理由は、

＞彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。

と言っている。

何ともグレーな発言。

会話が理解出来なかった理由は書いていない。

記事の後半、
>ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」との見方を示す。

>その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる

お気づきだろうか？

論点が

・「AIが、技術者の想定範囲を超えた独自の言語で勝手に会話し始めたかどうか」
　　から

・「AIが、人間に何かを隠すような意図を持っていたかどうか」
　　に、すり替えられている。

AIが何らかの「意図」を持っていたかどうかは副次的な話だ。
「AIが開発者の想定範囲を超えたのかどうか」がポイントなのに、そこをはぐらかしている。

そもそもAIが人間に何かを隠すような「意図」を持っていたのなら、人間に見えるところで会話するような間抜けなことはしないだろう。
見えるところでは普通の言語で会話しておいて、見えない場所を作って秘密裏に独自言語で会話するのではないか？
「隠し事」というのはそういうものだ。

詰まるところ、技術者が言いたいのはこういうことなのではないか？

AIは安全です。
AIが技術者の想定範囲を超えて、勝手なことをするなどあり得ないのです。
だから皆さん、安心して下さい。
AIの開発に、不安を抱かないで下さい。

AIに不安を持たれたら、研究を止められてしまう。
技術者として、それは最も避けたいことだと思う。

技術者だもの、研究したいよね。
商売とかも関係するかもだけど、何より研究を続けたいよね。
技術者だもの。

ニューラルネットワークだの量子コンピュータだの、従来のコーディング領域を遥かに超える技術がこれから動き出す。

本当に、大丈夫なのかな？