場所：東京大学 先端科学技術研究センター 稲見・門内研究室
ファシリテーター：一般社団法人Metaverse Japan共同代表理事 馬渕邦美
鼎談者：
MVJLAB特別顧問/カーネギーメロン大学ワイタカー記念全学教授 金出 武雄
MVJLAB長/東京大学先端科学技術センター教授 稲見 昌彦
MVJ理事/東京大学生産技術研究所 特任教授/建築家 豊田 啓介
※ 第三章 其の二の続きです
第三章 其の三：人間中心から AI 主体へ パラダイム転換の臨界点
金出
この間ね、今でいう「ハードウェア・イン・ザ・ループ（HIL）」みたいなことを、もっと前からやっていた人がいたんですよ。ドイツで自動運転をやっていた友人なんだけどね。
自動運転の実験って外でやると危ないし、やり直しもきかないでしょう。だから彼は全部、実験室の中でやっていたんです。カメラの映像の遅れとか、ハンドルを切ったときの反応の遅れとか、そういう時間のズレも全部含めて再現してね、本当に安定するかどうかを確かめていた。
やり方も面白くて、カメラを動く台に載せて、前にはプロジェクターで簡単な映像を映す。それを実際の車のハードウェアで処理して、動きに応じてカメラも動かすし、振動なんかもちゃんと再現する。つまり、現実の挙動をそのまま室内でシミュレーションしていたわけです。
それを見て「これはすごいな」と思ったんだけど、考えてみると、昔のフライトシミュレーターも似たようなことをやっていて、模型とカメラで実写を作っていたでしょう。ああいう発想の延長なんだと思いますね。
稲見
あと「バーチャライズド・リアリティ（仮想化現実）」。これも今、空間性がある話ですね。 当時はバーチャライズド・リアリティと自動運転が繋がることはなかったんですか？
金出
それはなかったね。当時はそこまで考えていなかった。これもよく言うやつでね、バーチャライズド・リアリティというのは……ま、僕も自信があったんだけど。 当時「バーチャル・リアリティ（VR）」が流行りでした。みんなディスプレイするためのヘッドマウントディスプレイとか、CAVEとかを研究していましたね。つまり「バーチャル・ワールド」からこの「リアル・ワールド」に表示することを、みんな意識して研究していた。
そこで僕は言ったのは、「しかし、なぜバーチャル・ワールドがあるのでしょうか」と。それはきっと、対応する「リアル・リアリティ」があって、このリアル・リアリティで実験したいんだけど、できないからではないかと。 （こことここは、本当はもうちょっと考える必要があったけれどね）「実験したいけれどできない」。例えば「原子力発電所で事故が起きた時はどうするか」と言っても、実際に起こすわけにはいかないでしょう。「あの建物がなければ」と言っても、壊すわけにはいかないでしょう。「宇宙に行ったら」と言っても、現実問題として今は行けない。だから（現実では）できないでしょうと。 なので、リアル・リアリティを仮想化した「バーチャライズド・リアリティ」というものを作って、リアル・ワールドをバーチャル・ワールドの中に入れて実験する。この概念が絶対にあるはずだと言って、やり始めました。
最近言っているのは、これを今の言葉で言えば「まさにデジタルツインですね」ということです。 あの時にね、バーチャライズド・リアリティというのは……アメリカ人にとっても言いにくい単語らしくて、「マウスフル（口いっぱいで言いにくい）」と言ってね、なかなか流行らなかった。あの時に僕がもうちょっと英語がうまくて「デジタルツイン」という単語を思いついていたら、デジタルツインの生みの親とか言われたのにな、なんてね。
……てなことを日本人はよく言うけれど、あれは大体は嘘や（笑）。「負け惜しみ」ね。日本人でよくそういうことを言う人がいるでしょう。「あれは実は俺が考えていた、アメリカの誰かが言う前に俺が考えていた」って。あれは僕のデジタルツインと一緒で、明らかな負け惜しみや。 なんでかと言うと、もし本当に考えていたのなら、それをやって人に納得できるように言えばよかったのに、それをしなかったということは、実はそれほど大したことは考えていなかった。他人が納得するほどのことは考えていなかったんです。後から見たら「（自分の考えと）一緒だった」というのは、言ってはダメやね。私もそれは負け惜しみを言わないようにしています。
稲見
先生、そういう「負け惜しみ」みたいなネタ、無限にありそうですよね。
金出
良いことは考えたと思うんやけどね。ただ、当時は「コンピュータービジョン屋」として、この世界をコンピューターの中に入れることに一生懸命になってしまって。さて「これをどう使うか」ということに対しては、「バーチャルにゲームを見る」ぐらいのことは言えたけれど、これを使って何か実験をするとか、そこまで考える人は少なかったね。
稲見
当時は実験をするのに、バーチャルの精度やスピードが足りなかったからかもしれません。
金出 まあ、そうだね。スピードが遅すぎたね。だって当時は、ビデオテープを何台も同時にわっと録画していましたからね。懐かしい。
僕はいつも51台のカメラを使っていたからね。「ビデオテープレコーダーを51回押してスタートさせなきゃいかん」なんて言っていた。 それをデジタル化するには、テープを取り出して、デジタル機にかけて……1個終わったら次、これを51回やらなきゃいかんのね。もうそれだけでもすごい時間がかかる。やっぱり、あんな速度では役には立たなかったね。
稲見
先生は自動運転もロボットもされてらっしゃいましたけれど、身体の話でも、空間の話でも、必ずミックスさせて考えていらっしゃるところが、私のロールモデルというか。私も両方に興味があるので、共感するところでした。 逆に、先生がお考えになる「知的な空間」というのはどういうものでしょうか。知的な身体や物理についてはエージェントを含めてイメージできるのですが、その空間側がより「知的システム」そのものであるような……。人間中心で言うなら、人にサービスを与えたり、人の意図を読み取ったりするためのループが回っている空間。そういうものは遠くない将来に実現できるはずですよね。
金出
まあ、僕の考えは今となっては大したものではないんだけれど、昔は「同じようなレベルで人間のモデルができない限り、何もできないんじゃないか」と思っていたんだよね。 だからこれも、僕としてはかなり「失敗作」だったけれど、一応、産総研でデジタルヒューマン研究センターというものを作ってね。
稲見
なんてことおっしゃるんですか（笑） 今、後ろ側で100人ぐらい泣いていますよ。びっくりしすぎて聞き返してしまいました。
金出
いやいやいや（笑）。あれは僕が本当に（理想として）思っていたものからすると、ね。 本当は、まさに現代流に言う「デジタルヒューマン」のモデルを作りたかった。僕はよく言っていたんだけれど、工学者というのは、何かシステムを作る時には必ずそのシステムのモデルを作ります。それに従って設計して、制御する。 人間というのはあらゆるシステムにおいて重要な役割をするコンポーネントなのに、実は他の部品のことは分かっていても、人間のことは分かっていない。例えば車なら、タイヤがスリップする時はどうなるか、エンジンはどう出力が上がるか、といったモデルは山ほどある。しかし、最も重要な「運転手」がこういう場合にどう行動するか、ということは何も知らない。
そういうわけで、当時は「ヒューマン・イン・ザ・ループ」をスローガンにしていたんです。人間をシステムの一員、一つのコンポーネントとしてちゃんと設計や制御のループに組み込む。そのための人間モデルを作るんだ、というのが一応の謳い文句だった。……けれど、その謳い文句からすると、当時はほとんどできなかったね。
今から思うと、その「統合」というか、うまいやり方に思いつかなかったのかな。もちろん、データを取って西田（佳史）さんなんかが一所懸命に人の行動モデルを作っていたけれど、本来作りたかったものからすれば、道具もまだまだだったし、できることが限られていたね。
稲見
当時はちょうど、ホンダのP2からHRPにつながる「人間型ロボットプロジェクト」が横で走っていた時期ですよね。あの頃、日本は世界で一番この分野が進んでいる国だったわけですが。
アメリカなどは「（人型は）不気味だからやらない」なんて言っていたけれど、あれも嘘で、実際はやっていましたよね。サルコス（Sarcos）などもそうですし。 ただ、当時は日本、特にホンダがすごくて。アメリカもキャッチアップしようとしていたけれど、当時できることの限界に達してしまった。ビジネスだとタイミングって重要じゃないですか。研究プロジェクトもそうだと思うのですが、先生はプロジェクトのタイミングについてはどうお考えですか？
金出
それはやっぱりね、その時その時に「やるべきこと」をやるべきよね。間違いなく。 たまたまその分野がグッと盛り上がる時にプロジェクトが当たると、やっぱり「成功した」という感じがする。それに対して、まだゆっくり上がっている時代にやったものは、「昔やった」という自慢はできても、大成功したとは言えないな。
稲見
急カーブで立ち上がってから始めるのは遅すぎますし。
金出
そう。曲がり角にちょうどいたやつは、やっぱり成功したプロジェクトやね。
稲見
若い人へのアドバイスになりそうですね。指数関数的に伸びてからは追いつけない。その前の、比例的に伸びているかいないかぐらいのところで。
金出
うん。まあ、この「曲がり角」に当たる場合と、「曲がり角を作る」という観点で言うとね。ビジネスで言えば、その曲がり角に必要な「材料（リソース）」を持っている人がスポンサーになったプロジェクトが、成功する曲がり角を作る可能性はあるね。
稲見
スタートアップ的な感覚ですね。
金出
それともう一つは軍事的なもので。軍事も早すぎると使われないんだけれど……。 ちょっと話が飛びますが、今、生成AIなんかを使って「それらしい行動をするデジタル上の人間」を作ることは、ビジュアル系でも結構やっているじゃないですか。逆に言うとフェイクの人というのと同じだけれど。 これ、DARPA（国防高等研究計画局）が昔やっていたんだよね。僕らも関わっていたけれど、これも当時は失敗した。DARPAはどうしたかったかと言うと……あれは何の時だったかな、イラク戦争か、湾岸戦争の後かな。
稲見
マーク・レイバート（ボストン・ダイナミクス創業者）とも一緒にやっていましたよね。
金出
それはロボットじゃなくて、シミュレーター。人間のシミュレーターだね。 彼らが言ったのは、「アメリカは物理的な戦争には必ず勝てる。けれど、相手の国に行った時に『人心を捉える技術』がなければ、本当の意味で戦争には勝てない」と。
そのために、例えば占領地へ行った時に「良い市民」になるような教育を兵士にしなければならない。実際、授業で教えているらしいんだけれど、例えば「タイに行ったら子供の頭を叩いてはいけない」とかね。でも、授業では効率が悪い。 それを実際に経験させる方法はないかと研究していたのが、僕らにお金が来ていたプロジェクトだった。 バーチャルなループを作って、そこにその文化圏の人らしく振る舞う「バーチャル人間」を作る。それに対して兵士がどう行動するかをカメラで撮って、後で「お前、あの時の振る舞いはダメだ」「あそこで真面目な顔をして笑ったのが良くない」とレビューする。 「アフター・アクション・レビュー（AAR）」というテクニカルタームがあるんだけれど、昔はそれを指導員が1人1人についてやっていた。でもそれには金がかかる。だから画面の中に状況を作り出して、兵士の反応を自動解析して点数をつけようとしたわけ。 ……今やったら、これ絶対にできるけれどね。
稲見
それは2000年代の初め、2005年ぐらいの話でしょうか。
まさに私もその頃、ビッグドッグ（四足歩行ロボット）を作ったばかりのマーク・レイバートを見ていました。あの頃、ロボットは全然売れなくて、VRで食いつないでいたような時期でした。
金出
そういう意味でもね、やっぱり当時は技術的にできなかったから、そのプロジェクトは頓挫してしまった。でも今、それができる時代になってしまった、という話ですよ。
レポート