講演者:岸 竜弘(早稲田大学)
題 目:2足ヒューマノイドの全身動作による人間の笑い誘発
日 時:2016年9月16日(金) 18:00-
場 所:早稲田大学西早稲田キャンパス63号館 4階 420教室
オープニング
司会 では、時間になりましたので、数理人セミナーを始めていきたいと思います。
きょうの講演者は、早稲田大学理工学研究所の岸さんです。岸さんは、早稲田大学創造理工学部総合機械工学科の高西研究室を御卒業されて、ことし学位を取られたんですね。
岸 はい。そうです。
司会 で、ことしから理工学研究所の次席研究員になられたという方です。もともと、私も理工学研究所の次席研究員で、その仲間ということになります。では、どうぞよろしくお願いいたします。
岸 御紹介いただきありがとうございます。早稲田大学理工学研究所次席研究員、岸と申します。
本日は、数理人セミナーということで数理的な発表ができればいいなと思ったのですけれど、自分の研究は全部が数理的に説明できる内容ではありません。人間の笑いを数理的に解明したいということがモチベーションになっているのですが、まだこういうふうにすれば解明できるのではないかという提案の段階にある研究です。そこで、この発表では将来の人間の「笑い」の数理的な解明に向けた提案をさせていただくのと、討論をさせていただきたいと思います。
本日の発表のテーマは「2足ヒューマノイドの全身動作による人間の笑い誘発」ということでお話をさせていただきます。
まず本日の発表の目次ですが、最初に研究の背景、何で笑いをロボットでやる必要があるのかという話と、先行研究の中でこの研究が占める位置を説明します。
その後で、ロボットが人間を笑わせるためにはどういう行動をとればいいのかということに関する大枠の話をさせていただきたいと思います。これに基づいてロボットのハードウェアをどういうふうに作ったのかというお話をさせていただき、最後に作ったロボットにどういう動きをさせてやるかという、ロボットの動作生成に関する話をさせていただくという流れで発表をさせていただきます。
講演
1.研究の背景
それでは、背景から説明させていただきます。私の研究において笑いに注目した一番大きな理由といたしまして、笑いには精神疾患の予防・治療に関する効果があるということです。近年、日本ではよくニュースになっていることですが、精神疾患は5大疾病中最大の患者数を持つ大変大きな問題となっています。ここで、笑いは精神疾患に対する治療法になると言われています。具体的には、抑うつ状態を緩和してくれたり、認知症の進行を抑制してくれたりといった効果が指摘されています。ただ、御存じのように、「笑い」を精神疾患の治療などの現場で使おうという取り組みは一般的に行われていることではありません。この原因としては、人間の笑い誘発メカニズムが十分に解明されていないという問題が挙げられます。人間の笑いがなぜ起きるのかとか、どうしてそれが健康増進に寄与しているのかということが解明できれば、こういう効果をもっと有効に活用していけるため、人間の笑い誘発メカニズムの解明が必要になってきます。
これまで人間の笑い誘発メカニズムを解明しようとする研究は結構行われています。それらは、主に心理学とか社会学といった分野で行われてきたもので、特に多いものは笑いが起きると人間がどのような反応を起こすかという研究です。例えば笑ったときに人間の体はこういうふうに動きますよとか、笑いの声というのはこういう特徴がありますよ、脳波がこういうふうに出ますよといったような、笑いにまつわる生理反応の研究はたくさん例があります。他には笑いの反応が発生したときに、人間はどのように心理状態とか健康状態を変化させるかという研究もあわせて行われています。例えばストレスが低減するとか、ナチュラルキラー細胞が増加するといったような研究例があります。
このように、これまで人間が笑ったときにどういう反応をみせるかという人間側のメカニズムは多くの研究例がある一方、どういう刺激を与えれば人間が笑うのかという刺激側のメカニズム解明に向けた研究はあまり行われてきていない特徴があります。私はこの刺激側のメカニズム解明のために、ロボットを導入することが有効ではないかと考えています。この理由を説明させていただきます。
人間を笑わせる刺激の特徴や生成法を解明するためには、まず同じ刺激を何度も別の研究者、違う国で行うような再現性が必要です。また、その動きの特徴を定量的に変えて印象を比較することが必要になってきます。さらに、笑いの誘発刺激は、ビデオなどを通して間接的に見せるのではなくて、ライブで直接目にするというのが大事だと言われています。これはお笑い芸人のライブのショーとかにたくさん人が来ているのを見ても分かります。これらの再現性、定量性を伴って直接入力できる刺激を作るということはちょうどロボットの得意分野に重なるものです。このために私の研究は、ロボットで人間を笑わせることを通じて、ロボットを人間の笑いを誘発する刺激の生成メカニズムを解明するツールにできないかということに注目した研究となっています。
関連研究として、ロボットで人間を笑わせようという先行研究例が幾つかあります(表1)。例えばロボットでなぞかけを生成することで人間を笑わせるような研究ですとか、あるいは人間のようにコンビで漫才をして人間を笑わせようとするロボットとか、簡単なコメディーのショーをやるというようなロボットもあります。ただ、どれも笑いを誘発するための刺激としては言語情報、しゃべる情報を中心に使っている特徴があります。
一方、これまで私の所属する高西研究室では、顔があったり手があったり全身での表現が可能なロボットを研究してきておりまして、こういうロボットを使うと一般的なお笑い芸人のように表情とか体の動きを使いながらもっと効率的に笑い誘発ができるのではないかということを考えました。
ここで、実際にこの動きとか表情というのは笑い誘発のために重要なのかということを考えます。まず表情とか体の動きにはどういう意味があるのかということを考えると、人間同士の対面でのインタラクションにおいて、大体65%の情報はジェスチャとか表情とか音韻といった非言語情報、話している内容以外の情報を使って伝達されると言われています。これは実は人間同士のコミュニケーションにおいては、しゃべっている内容そのものよりも表情とか場の雰囲気といったものが重要であるということを意味しています。また、特にその中でも表情とか腕は人間同士のインタラクション中に注目しやすい箇所であるとされており、これらの動きが意図を伝達するために重要な役割を果たすと言われています。
インタラクション全般ではなく、笑いだけに注目しても、例えばチャップリンさんとかミスター・ビーンさんとか世界的に有名なコメディアンというのは、非言語情報、体の動きとか表情を多用している方がたくさんいらっしゃいます。これらの例を見ると、非言語情報を多用することは、言語、文化の壁を超えた笑い誘発にもつながることが期待できると考えています。
本発表のこれまでの部分から目的と意義をまとめます。まず、目的は精神疾患の予防や治療への効果を期待して、人間の笑い誘発メカニズムの解明にロボットを使ってやるということです。
本研究で開発されたロボットやロボットの動作生成方法を世界の笑い研究者に提供することによって、色々な研究者に文化や言語を超えた笑い誘発メカニズム解明の強力なツールとして使っていただける可能性があると考えています。また、Pepperくんをはじめとして最近家庭にロボットが普及してきているのですが、今後こういうロボットが日常的に人間を笑わせてくれるような機能を持つようになれば、人間の精神疾患を日常的に予防してくれる、などの効果にもつながってくると考えています。
2.人間の笑いを誘発するためのロボットの行動規範の探索
ここまでで研究の背景を説明させていただいたのですが、ここからは、ロボットが実際どういう特徴を持つ動きをしてやれば面白いことができるかという、人間の笑いを誘発するためのロボットの行動規範の探索について話をさせていただきます。
まず、人間はどういうときに笑うのかを調べました。この結果、主に2つの仮説があることがわかりました。1つは、笑いは緊張が高まってそれが緩和されたときに発生するというもの。もう1つは、笑いは人間が論理のルールとの矛盾を発見して、これが解消される、納得して安心したときに発生するというものです。
本研究では特に体の動きによる一発芸に注目しています。こういうコンテキストに依存しない笑いというのは特に前者の、緊張を高めてやってこれを緩和することによって発生するということで説明できると考えられます。つまり、ロボットが人間の笑いを誘発するためには動きとか言語によって予想とのずれを生み出し、笑いを導くことが必要であるといえます。ただし、人間は予想が裏切られたときに必ず笑うというわけではなく、予想とのずれの作り方は何でもいいというわけではありません。したがって、適切な裏切り方といいますか、笑いにつながるような裏切り方をしてやることが重要になってきます。したがって、この笑いにつながる予想の裏切り方の構造について調べることとしました。
笑いを発生させるための予想の裏切り方を収集しようと考えたわけですが、動きのみで人間を笑わせるための方法論はこれまで研究が十分行われてきておりませんでした。逆に、漫才とか日常の会話とか、言語的な情報を使って人間を笑わせようという手法に関しては、こういうふうにすれば人間を笑わせられるんだよということをまとめている研究例がいくつかありました。今回は特に動作という非言語表現による笑い誘発に注目するのですが、非言語表現以外でも幅広い分野で人間を笑わせようとする手法に共通性があれば、これは非言語表現での笑い誘発にも適用できるのではないかと考えて、広い分野において人間を笑わせるための特徴を収集することとしました。
これを文献調査を通じて行いました。まず、可能な限り幅広い分野において研究者や専門家によって体系的に笑いを生み出す手法がまとめられている文献を集めました。これらのうち、特に有用であったものは今回お話しさせていただく日常会話、漫才、文学作品の3つの分野に関する文献でした。それらから収集された笑いを導く構造をこちらの表にまとめてあります(表2)。
まず、日常会話における笑いを導く構造を見ますと、例えば敢えてどうでもいいことを大げさに言うような「誇張」とか、矛盾したことをやる「勘違い」とか、あとは「ダジャレ」とか「時事ねた」とか何度も同じことを繰り返す「天丼」とか急に展開を変える「スカシ」といったように、こういうことをすれば人間を笑わせられるんだよという構造がまとめられていました。
漫才や文学を見ても大体似たような構造がここに出てきまして、表現手法によって特有なものももちろんいくつかあるのですが、文学作品、漫才、日常会話は表現手法が全く違うにもかかわらず、この表を見ると笑いを導く構造の共通性がかなり高いことがわかると思います。
例えば、「誇張」、また状況に対してあえて矛盾したことをやる「矛盾」、「ダジャレ・パロティー」、同じことをあえて何回も何回もやる「反復」、唐突にやっていることを変える「唐突な変化」、この5つの構造というのは表現手法を問わず、ある程度の共通性が見られるということがわかりました。これらの共通性の高いものを「笑いの方略」と呼ぶことにしました。
次に、これをロボットの動きにどう当てはめてやるかということを考えます。一般的に人間とロボットのインタラクション、人間とロボットが会話をしたり、やりとりをするときには刺激を相互にやりとりするループ状の関係があるというふうに言われています(図1)。これはまず人間が発言をしたり表現をしたことが刺激としてロボットに入力されて、ロボットはこれを認識して、それに基づいて内部状態を変化させ、この内部状態に基づいて行動生成、動作生成をして反応を人間に返す。これもまた人間に認知されて、人間がまたそれに応じて感情を変えたり気分を変えたりという内部状態を変化させて、それに基づいて表現をするという、ぐるぐる回るループのような関係があるということです。
これが一般的なロボットと人間の関係で、このような関係を満たす動作をロボットがしてやれば、人間にとっては適切な動きと感じられる。例えば人間が掃除をしろと言ったらロボットが掃除をしてくれたりとか、人間が手をつなごうとしたらロボットが手を出し返したりとか、そういう当たり前の行動がこういう流れによって説明できます。
私はここに対して、先ほど申し上げたような「笑いの方略」という笑いを導く構造を当てはめて、今言ったような当たり前の行動を変化させて、予想を裏切ってやることによって、面白い刺激というのが出てくるんじゃないかというふうに考えました。
ここで、今言ったような、ロボットの行動とか動作の生成に「笑いの方略」を当てはめることで本当に面白いものができるのかということを確認する実験を行いました。この実験では、まずプロのお笑い芸人の方に高西研究室で開発が進められているヒューマノイドロボットKOBIANを使って自由に芸を作っていただきました。次に、被験者実験を通じこれらの芸が面白いかどうかを確認しました。さらに、これらの芸の面白さを「笑いの方略」によって説明できるかどうかを確認しました。
芸人の方に作成していただき、この実験で使用した幾つかねたの例をごらんいただきたいと思います。
まず1つ目にごらんいただくのが、「入りのあいさつ」というねたです。
KOBIAN どうも。こんにちは。僕KOBIANです。人に媚びるからKOBIAN言うてます。社長、1軒寄って行きませんか。僕ロボットだから飲めませんけどね。すみません、店員さん、オイル水割り一丁。
岸 はい。これが万人を大爆笑させるくらい面白いかどうかというのはまた別の議論としまして、この中にある面白さがどう説明できるかを考えてみます。まず大きくおじぎをする動きの激しさは動作生成の「誇張」として説明できます。あるいは人に「媚び」るから「KOBI」ANという部分は「ダジャレ」で説明できます。また、手を挙げて、「社長飲みに行きませんか」と、飲みに誘っておきながら「ロボットだから飲めませんよ」と自分で断る部分は、今まで自分が言っていたことを突然変えるという「唐突な変化」と、それぞれ「笑いの方略」を当てはめたものと解釈できます。つまりこの芸の面白さの構造は、先ほどの「笑いの方略」で説明ができると考えました。
次に、もう1つねたをごらんいただきたいと思います。
KOBIAN 続きまして、びっくりした瞬間のマスオさん。「え~!」「え~!」「え~!」「え~!」
岸 はい。こちらはお笑い芸人キャン×キャンさんのびっくりした瞬間のマスオさんというねたになります。このねたの面白さを同様に説明させていただきますと、この「え~!」という部分は大声を出したり、ジェスチャとか表情を誇張して表現しており、これらは動作生成の「誇張」として説明できます。またびっくりした瞬間のマスオさんという声と「え~!」という声を全然違う声色や音量で言ったり動作とか表情を急に変える部分は「唐突な変化」として説明できます。あるいは何度も繰り返して「え~!」と言い続ける部分は動作生成の「反復」として面白さを説明できます。このように、先ほど申し上げた「笑いの方略」で、全てとは言えませんが、ある程度網羅的にこれらのねたの面白さを説明できたと考えています。
今、2つねたをご覧いただきましたが、実際にはこれを含めお笑い芸人の方に12個のねたを作っていただきまして、これらのねたも同様に「笑いの方略」で面白さを説明できるかどうかを検証しました。詳細はいろいろ議論が分かれるところだと思いますが、特に動きについてはロボットの行動生成や動作生成の段階でそれぞれ「誇張」、「矛盾」、「反復」、「唐突な変化」を当てはめたものとして面白さを説明できそうだということがわかりました(表3)。
ねたをいくつかご覧いただきましたが、研究者だけがこれは面白いねと言っていても仕方がないので、実際にこれで一般の人達を笑わせることができるかを検証する実験を行いました。これを確認することが、人間を笑わせるねたを「笑いの方略」に基づいて作ることができるということの検証につながると考えたためです。実験はねた12個を被験者の方にお見せして反応を確認する手法で行いました。
こちらの実験においては2つの方法で印象を取得しました。1つは被験者の方が実際に笑ったかどうかということを実験中の被験者の様子を撮影したビデオから判定する方法です。もう1つは被験者の方にそれぞれのねたがどのぐらい面白かったかを主観的に回答していただく方法です。
実験の条件としましては、「笑い」の実験に特有の難しさとして今のこのような教室のようにたくさんの人がいる中でビデオをご覧いただくと、1人が笑うと他の人がつられて笑う「誘い笑い」が起きてしまうということがありまして、こういうことが起きないように被験者1人ずつ実験を行いました。また、被験者の方が実験中に実験者が見えると緊張してしまいますので、実験者が見えないように個室の状況を作り、被験者にビデオをランダムな順で見ていただく方法で実験を進めました。こちらの実験には男性19名と女性2名の21名の方、平均年齢26.5歳の方に御協力をいただきました。
KOBIAN アニメ「サザエさん」からびっくりしたマスオさん。「え~!」
被験者 はははは……。
岸 これはかなり反応のいい被験者の方になるんですけども、このような形で、被験者の方の反応をビデオに記録したものから、被験者がそれぞれのねたに対してどのような反応を見せたかということを記録しました。この記録において被験者の反応は2つに分類しました。まず今の被験者のように噴き出し笑い、明らかな「ははは」というような笑いが起きた場合には、「笑い」と記録しました。次に、笑ってまではいなくても、表情が笑顔に変化する反応があった場合には「笑顔」というふうに記録する形で被験者の反応を分類しました。
こちらがその反応を示す結果になります(図2)。残念ながら全部のねたが被験者全員を笑わせたというわけにはいかなかったのですが、特にこの3つ、先ほどお見せした「マスオさんのものまね」とか、当時はやっていた「当たり前体操」とか、こちらも先ほどお見せした「入りのあいさつ」の3つのねたは半分以上の被験者を笑わせました。
また、もう1つの印象の取得方法として被験者の方が感じた主観的な面白さを計測しました。こちらの方法としては、まずこの絵(図3)のように下端に「面白くない」から「面白い」までの数直線が引かれたマグネットのボードを作りました。あわせて、一つ一つのねたをマグネットの駒にしたものを作りました。被験者の方にはこのボード上に一つ一つのねたの駒をそれぞれのねたから感じた面白さに応じて対応した位置を決めて貼っていただきました。その後、このボードの一番右端を100%、左端を0%とした位置から、被験者はどのぐらい面白さを感じていたか、主観的な面白さの結果を数値化しました。その結果をまとめたものはこちらのようになります(図4)。
こちらだけを見てもわかりづらいのですが、先ほどお見せした笑い反応のグラフとこちらのグラフを比較してみると、一部違うところはあるものの、大体同じような傾向があることがわかりました。考察として、やはりそれぞれのねたは被験者に面白さを感じさせて、これが笑いにつながったということがわかったと考えています。
ここで行った実験について簡単に結果と考察をまとめます。今回の実験ではロボットの動作による非言語表現の面白さを中心としたねたを被験者にお見せしました。まずそれらのねた中の面白さの構造は先ほどの日常会話とか漫才とか言語表現を中心とした色々な表現手法から抽出された「笑いの方略」に基づいて、ある程度網羅的に説明できました。また、それらのねたを被験者にお見せして、実際に笑い反応が確認されたということから、「笑いの方略」をもとにロボットの動作によるねたを生成すれば、ある程度面白いねたが作れることが基礎的に確認されたと考えました。
また、被験者の笑い反応と主観的な面白さを先ほどグラフでお見せしましたが、これらにある程度同様な傾向が見られたことから、「主観的な面白さ」を笑い反応への貢献の尺度として利用できる可能性が示されたと考えました。これはどういう意味があるんだというふうに考えられる方が多いと思います。笑い誘発刺激は一期一会という特徴があります。たとえば、マスオさんのものまねを見たとして、1回目は面白くても2回見せられるともうあまり面白くなくなってしまうということです。工学的な研究の場合、ロボットの動きを少しずつ変えていった際の印象を比較する実験をしたいと考えるのが普通です。ただし、「笑い」においては、マスオさんのものまねを少し変えたものを同じ被験者に見せると、その笑い反応を正しく判定できないという問題がでてきます。一方、「主観的な面白さ」であれば笑い反応ほど極端な一期一会ではないため、数値化による比較が比較的容易にできます。したがって、このような指標が見つかったというのも笑いの研究としては1つ大きなポイントになるところでした。
3.人間の笑いを誘発するロボットの開発
続けて、ここまでで説明したような「笑いの方略」に基づいて人間を笑わせようとするロボットを実際にどう作ったらいいのかという話をさせていただきたいと思います。私が所属している高西研究室ではヒューマノイドロボット、人間らしいロボットの研究をずっとやってきています。笑いは「予想」とその「裏切り」が重要と説明しましたが、この観点から考えますと、まず「予想」として、ヒューマノイドロボットは人間と同じような見た目をしているので、見ている人はロボットがある程度人間と同じような動きをしてくれるという期待を持つと考えられます。例えば、足があるロボットであれば人間らしく歩くんじゃないかとか、顔や手があるロボットであれば、表情を変えたり、ジェスチャを使った表現をしたりするんじゃないかとかいう予想が付くと考えられます。
笑いを誘発するためにはこの「予想」を裏切ることが必要になってくるわけですが、その裏切りは全く意味のわからないものでも、大き過ぎる裏切りでも、意味のわからない刺激というふうに受け止められます。ヒューマノイドロボットによって予想の延長線上で適切な大きさの裏切りを発生させるにはどうしたらいいかということを考えたところ、人間らしい動作だけども少し行き過ぎた、誇張した表現をロボットにさせればよいのではないかと考えまして、「誇張」した表現が可能なロボットを作ることにしました。
具体的なハードウェアとしてはこちらのようなものを作りました(図5)。1つは人間の表情を誇張した感情の読み取りやすい表情を表現可能なロボットの頭です。もう1つは大きな動きや速い動きで誇張した表現が可能なロボットの腕です。それぞれについて簡単に説明させていただきます。
まず、ロボット頭部の開発について説明します。これまでにも表情を表現できるロボットはたくさんありました。一方ではかなり人間らしい表情を表現できるロボットがあります。もう一方では、人間のように皮膚を変形させるのではなく、眉毛や瞼、唇などを単独のパーツとして持っていて、これを変形させることでシンボリックな表情を表現できるロボットもあります。人間にとってロボットはどういう表情を表現するのがいいのかなということを考えたときに、それぞれ評価する指標によってもちろん変わってくるとは思うのですけれども、今回目指すような誇張した表現を目指す場合には、人間らしい表現でなく、シンボリックな表現にした方が親和性が高いと考えました。
シンボリックな表情で誇張の度合いをどんどん上げていくにはどうしたらよいのかということを考えたところ、実際にシンボリックな誇張表現を多用している例として漫画的な表現を思い当たり、これを取り入れたロボットの表情を作ればいいというところに行き着きました。実際にロボット頭部を開発するにあたっては、最初に漫画的表現を取り入れてロボットが表現すべき表情を決めました。漫画的な表現の専門家はやはり漫画家だろうということで、漫画家の方にロボットの表情を作ってもらうことにしました。ロボットの表情を作るソフトを自前で作りまして、こちらを漫画家の方にお渡しして、基本6感情(「喜び」「驚き」「怒り」「恐怖」「悲しみ」「嫌悪」)といわれるそれぞれの感情を最もわかりやすく伝えるような漫画的な表情を作ってくださいというふうに依頼しました。
漫画家から収集された表情で予備的な評価実験を行いまして、そちらの中で一番評価が高かった、各感情を最も読み取りやすく表現できていたと示された表情がこちらになっております(図6)。こちらの一番左が無感情で、あとはロボットの喜び、驚き、怒り、悲しみ、嫌悪、恐れという基本6感情といわれる感情それぞれに対して、これらの表情が最も各感情を読み取りやすい漫画調の表情だということがわかりました。
次に、今お見せした表情を表出できるロボットをどう作ればいいのかという話になります。先ほどお見せしたような表情を網羅的に作ることができる自由度設定、自由度というのはモーターに相当すると考えていただいていいと思うのですが、これを考えたところ、こちらのような自由度が必要だということがわかりました(図7)。具体的には、まず目には左右の目を上下に共通に動かすものと左方向、右方向にそれぞれ動かすような3つのモーターがあります。瞼には、上瞼は開け閉め方向と、まぶたの端が回転方向に動くような自由度を左右それぞれ1つずつ、下瞼は共通に開け閉めをするような合計5自由度。あと眉毛は左右それぞれ4つのポイントがありまして、このように4つのポイントを上下させる合計8自由度。唇は、上唇の左右端を上下、左右に動かすようにそれぞれ2自由度ずつ、下唇は左右端の幅の伸縮方向に1自由度とそれぞれの唇の端を上下方向に動かすのが1自由度ずつ、さらに顎を開閉する1自由度の合計8自由度、頭全体で合計24自由度をロボットが持てば、先ほどの漫画家が作成してくれた表情を網羅的に表現できることがわりました。
開発されたロボット頭部の写真がこちらです(図8)。こちらのロボットは成人女性の頭部の平均寸法をもとに作られておりまして、大体幅15センチぐらい、高さ21センチぐらいの頭になっているのですが、その中に先ほど申し上げた24個のモーターを仕込みました。
開発されたロボット頭部によって実現された表情の写真がこちらのようになっておりまして(図9)、先ほどの漫画家の方にCGで作っていただいた表情をほぼ忠実に再現できるハードウェアができました。この頭部は、他のロボット頭部に比べ、人間の表情には見られないような誇張した表現を積極的に取り入れている特徴があります。例えば、怒りの表現における眉毛が上下に折れ曲がる表情のように、ロボットが表情で感情を表現する場合には、このような人間では観測されない表現も積極的に取り入れていくことが有効であることが示唆されたと考えています。
実際にこのロボットが動いている様子のビデオをご覧いただきます。
こちらのように、開発したロボット頭部は眉毛とか唇を大きく動かすことによって誇張した表情表現が可能です。
これらの表情が本当に人間にとって読み取りやすいものなのかということを評価する実験を行いました。被験者は27名の方に御協力をいただき、今までにお見せしたロボットの表情を写真に撮影し、無感情と各感情を表現したものを並べてお見せして、感情を表現した表情は何の感情に見えるかを回答していただく形で実験を行いました。この実験の結果です(図10)。青のグラフが高西研究室で昔作られた人間の表情をもとにしたロボットの感情認識率です。赤が今回開発した漫画的な表現を積極的に取り入れたロボットの感情認識率になっています。確かに漫画的な表現というのを積極的に取り入れて誇張した表現を行うことによって感情が読み取りやすいロボットを実現できたと考えています。
ただし、「恐れ」の感情に関しては、認識率がまだまだ低い問題がありました。ここで、これまで心理学などで実施された人間の表情を認知させる研究を見ましても、日本人は「恐れ」とか「嫌悪」といったネガティブな感情の表情を認識する力が低いと言われています。これに関しては、日本ではホラーの映画があまり人気ではなかったり、そもそも日本人は表情を表に出す文化がないことが影響しているといわれています。海外だと逆に表情を表に出すのが積極的なコミュニケーションには重要だと言われるのですが、日本人の場合表情を表に出さないことが美徳とされたりするので、ネガティブな表情は特に表に出さないようにする傾向があるために読み取られづらいのではないかということです。今回ロボットの表情の認識に関しても同じような結果が見られたと言えます。
開発したロボット頭部には「恐れ」の表情の読み取りやすさが不十分である問題があったものの、漫画らしい表情を用いるという方針には一定の効果が認められました。このため、ロボットの表情をより漫画らしくするという方針を進めれば、全ての感情を網羅的にわかりやすく表現できるのではないかと考えました。先ほど漫画的な表情を取り入れたロボット頭部の説明をさせていただいたのですが、もっと漫画的な表情を取り入れるということを考えると、漫画には「漫符」というマークを用いた表現もあるじゃないかと考えまして、この「漫符」を取り入れたロボット頭部の開発に取り組みました。
まず、9人の漫画家の方に、先ほど開発したロボット頭部のそれぞれの感情の表情に対応した漫符を描いていただいて、このような漫符を使うと人間が表情から感情をより読み取りやすくなるかを確認する実験を行いました。
実際に、効果がありそうだということが実験から示された漫符がこちらのようになっています(図11)。「恐れ」における垂れ線、「嫌悪」における口角のしわ、「悲しみ」における涙、「怒り」における血管の表現はそれぞれの感情を読み取りやすく表現するために有用な漫符であることがわかりました。これらをロボットに表示させるためには、ロボットの外装の曲面上にこれらの表現機構を搭載する必要があったため、 これらのマーク表現のため
まずフルカラーのLEDディスプレイに関してですが、外装の曲面上に配置ができる点が重要なポイントになってきます。これまで曲げられるディスプレイは市販されてこなかったため、外装に沿って曲げることが出来るフレキシブル基板の上にフルカラーの表現が可能な1ミリ角のLEDを2ミリの間隔で16行×24列に配置するディスプレイを作り、これによって外装の曲面上にマークを表現しました(図12)。
もう1つの垂れ線の表現は、黒い線を描いたシートを出したり入れたりすることによって表現しました。また、口角のしわに関しても、同じようにシート状のものを出したり入れたりして黒い線の表現を実現させました(図13)。
これらを統合して実現された表情がこちらのようになっております(図14)。怒りの血管のマーク、悲しみの涙、嫌悪の口角のしわ、恐れの青い顔色とか垂れ線といった漫符を含む表現が実現されていることがわかります。
この漫符がついた誇張した表情によって本当に感情を読み取りやすく表現できているのかを評価する実験を行いました。被験者は30名の方に協力をいただき、先ほどと同じように左側に無感情の表情、右側に感情を表現した表情を提示し、感情を表現している側の表情は何の感情に見えたか回答していただく実験です。
結果はこのようになりました(図15)。緑のグラフが今回開発したロボットで「漫符」を表示していない表情の感情認識率、赤いグラフが「漫符」を表示した表情の感情認識率です。緑と赤の対比から、同じ表情で「漫符」の有り無しの影響を比較してみると、「漫符」を表現してやることによって確かに感情認識率が向上していることがわかります。特に顕著なのが「恐れ」の感情の表現で、「漫符」がないものに関しては50%ぐらいの認識率しかなかったものが、漫符の表現をつけると80%ぐらいの認識率に高まったことがわかります。
また、全ての感情で80%以上の被験者に感情を意図通りに認識させることができたことがわかりました。さらに、怒り,悲しみ,驚きに関しては、被験者全員が意図した感情を読み取ったことがわかりました。これらの結果を見ますと、日本人は日常的に漫画を読む文化があると言われますが、日本人にとって「漫符」を利用した感情表現は感情を読み取る上で大変有用といえると考えています。
Q、被験者の人はみんな日本人。
岸 今回説明した実験の結果は日本人の方のみを被験者としたものです。今回の発表には含めていないのですが、実は外国人の方にも同様の実験をやっています。こちらの実験からはまた面白い結果がわかっています。漫符のうち、怒りとか涙は、人間にも見られるものを誇張した表現です。血管が浮き出てきたりとか、涙が出たりというのは人間ではここまではっきりしたマークでは出ないのですが、人間でも見られる表現です。逆に、恐れの表現の「垂れ線」は日本の漫画特有の表現で、文化を強く反映したものです。これらのうち、人間の表現を誇張したような「漫符」は外国人の方に見せても効果があることがわかりました。一方で、日本の漫画に特有の「垂れ線」などの表現は漫画の文化になじみのない人にとっては、逆に感情を読み取りづらくさせる表現になってしまうこともわかりました。
Q、研究のモチベーションとしては、最初にチャップリンとかそういったものを見ていろんな文化に依存しない古典的な笑いみたいなものを対象としていたのが、今は日本人で特に漫画文化に親しみのある人を対象にして、だんだん対象が狭くなっている気がしているんですけど。
岸 ロボットが全く同じ表現をすれば万国の人に通用するというのが一番良いのですが、非言語表現においてもこの結果のように受け手の文化背景に応じてある程度変更しなくてはいけないパラメーターがあるのかもしれないということがわかりました。
この結果を受けますと、将来的にはベースとなる表現は同じでもそれぞれの文化圏の人に合わせて、ロボットが調整していくような部分も必要になってくると考えます。今回発表する研究ではまだそのステップには至っておらず、日本人の被験者に対してまずどうかということを評価している段階になります。したがって、この研究の成果を海外にそのまま持っていったときに同じように笑ってくれるかどうかということはまだ議論の余地があると思います。
ここまでで表情の研究を説明させていただきましたが、次に体の動きの誇張についても説明させていただきます。ここに小島よしおさんの例を出させていただきましたが、人間のお笑い芸人さんの中で体の動きを積極的に使う芸人さんは、多くの場合誇張して体を動かすことで人間の笑いを誘発しています。
これまで人間を笑わせるためにはどのような体の動きの大きさとか速さが必要なのかということを研究された方はあまりいらっしゃりませんでした。したがって、お笑い芸人のような誇張した動きを実際にロボットにさせるために必要となる要件を決定するため、ロボットの構成を再現したCGに人間のお笑い芸人のねたを演じさせて、ねたの実現に必要な動作の特徴を調べました。なぜこの調査にCGを用いたかといいますと、人間とロボットでは関節の構造が異なりますので、人間の芸人のモーションキャプチャリングをしてもロボットの関節に必要な仕様は直接的にはわからないという問題があるためです。また、考えうる全部の動作を網羅的に調べるのは無理があるので、特徴の異なる芸人さんのねたを可能な限りの範囲で集めて、これらを実現できる仕様を設定しました。
算出された仕様をロボット実機で実現させるために、主に2つの点からロボットを開発しました。1つは大きな動作の実現、もう1つは速い動作の実現です。
まず、大きな動作の実現のため、肩のつけ根、鎖骨の部分にモーターを追加して動きの大きさを増やしました。また、各関節が動くことが出来る範囲、可動角を増やしてやることによって大きな動きを実現させました(図16)。こちらの図におきまして赤い丸はこのロボット腕部が開発される前、我々が元々持っていたロボットの手が動く範囲です。関節の配置はそのまま、各関節の可動角のみをふやしてやった場合に手が動く範囲が青で示されているもので、もともとの可動範囲である赤に対して大体1。5倍ぐらいの範囲で動けるようになります。さらに鎖骨の関節を追加してやった場合に手が動く範囲が緑で示されたもので、さらに広い範囲、赤の2。3倍ぐらいに動作できる範囲が広がるということがわかりました。これらから、鎖骨の追加と関節可動角の追加はどちらも効果的であることがわかったため、両者を取り入れて大きな動きを実現させました。
また、動きの速さについては、これまでのヒューマノイドロボットにはなかったようなかなり速い動きが必要となることがわかりました。これを実現するためには、腕を軽く作ることと腕の出力を高めるという、一見背反するような内容が要求されました。まず腕を軽くする点から考えると、特に腕の先のほうを軽くしてやることが重要です。このため肘と上腕のYaw軸の動力伝達にフレキシブルシャフトという部品を用いまして、胴体に配置したモーターのトルクを弾性体を用いて経路を考慮することなく伝達することによって、モーターを関節に配置しない分腕を軽く作ることができるという構造を採用しました。
また、出力の向上に関しては、特に大きな出力が求められる肩のつけ根部分では、モーターを2つ並列で使ってやることによって出力を拡大しました(図17)。このような構造を持たせることによって、一般的なロボットと同等の性能を持っていたと考えられる我々の旧型のロボット腕部に対して、最大速度で4。5倍、最大加速度で3。2倍の高速動作を実現させました。
今説明したハードウェアを搭載したロボットの全体像がこちらのようになっています(図18)。腕には6自由度を持っていて、内訳は肩のつけ根、鎖骨に相当する部分に、肩を上下させるRoll軸方向と、肩を前後に動かすYaw軸方向の2自由度、肩にPitch、Roll、Yawの3自由度、肘の曲げ伸ばしのPitch1自由度です。
腕に加えて、手首も人間のお笑い芸人と同様に高速な動作が実現できるものを作りたいと考えて、このようなパラレルリンク機構を採用した手首構造を作りました(図19)。
これにより、手首を含み腕部全体の高速動作に対応したロボット、KOBIAN-RⅣを実現しました(図20)。こちらのロボットには全身に64個と世界でも類を見ない多数のモーターが搭載されています。部位ごとに見てみると、頭に27自由度、首に4自由度、体幹に1自由度、腰に2自由度、肩のつけ根に2自由度ずつ、腕に4自由度ずつ、手首に3自由度ずつ、脚それぞれ6自由度で合計64自由度です。ロボットの大きさは1。5メートルぐらいで、人間の成人女性を参考に作られています。重量も60キロぐらいで、大体人間ぐらいのサイズです。
まとめると、ヒューマノイドロボットに誇張した表現に対応させるためハードウェアの開発を行い、漫画調の誇張した感情表現が可能な頭部と、速い動作を実現した腕部の2つを作りました。
4.笑い誘発動作の生成と評価
次に、今説明したロボットを使って、面白い動きを作るにはどうしたらいいのかということを説明させていただきます。この発表の最初に人間とロボットのインタラクションにはループの関係があり、これを通じて起こる当たり前なやりとりを「笑いの方略」を使って裏切ることで笑いが誘発されるということを説明させていただきました。今回の発表では色々あった「笑いの方略」の中から、特に「誇張」の方略を用いた笑い誘発動作生成に絞って説明をさせていただきたいと思います。
第一段階として、ロボットの行動生成とか動作生成にあたって、表現を「誇張」すると、本当に人間の予想が裏切られて印象が面白くなるかということを検証する実験を行いました。実験は2つの段階から行いました。まず1つ目は、「誇張」の表現が含まれると考えられる人間のお笑い芸人のねたを持ってきて、これからあえて「誇張」の特長を取り除いたら面白くなくなるのかを評価することで、逆説的に誇張したものが面白いかどうかということを検証する実験です。2つ目は、人間のお笑い芸人のねたをさらに誇張してやるともっと面白くなるのかということを検証する実験です。
まず、お笑い芸人のねたから誇張を取り除いたら面白さがどうなるのかという実験について説明させていただきますが、先ほどお見せしたようにお笑い芸人のねたというのは誇張表現を含んでいると考えられるものが多くあります。これから誇張の特徴のみを取り除いてやったら本当に面白さが減ってしまうのか。もしこれによって面白さが減るならば、「誇張」という特長はある程度面白さに与える効果があるんじゃないかということを検証する実験を行いました。
実験にはねたを3つ使いました。それぞれ、原西孝幸さんの「なるほど」、パッション屋良さんの「じゃんけん」、キンタローさんの「フライングゲット」というねたです。こちらについては少し長くなりますがそれぞれご覧いただきたいと思います。
こういう動きになります。こちらのように体を大きく動かしたり使ったり、速く動いたりと誇張した表現をもともと含んでいるねたから誇張という特徴を取り除くと面白さがどう変わるのかという実験を行いました。
実験の方法としては、お笑い芸人の動きを可能な限り忠実に再現した、もととなるねたをAとして、この動きの速さ、大きさを変化させたものを組み合わせた4条件のビデオを作成しました。
具体的には、AとBは元ねた通りの動きの速さ、CとDが動きの速さを遅くしたものです。また、AとCは動きの大きさが元ねたどおり、BとDは動きが小さいものです。このように、動きの速さと大きさを2段階ずつに調整して組み合わせることで、A、B、C、D4条件のビデオを先ほどの3つのねたに対して作りました。最終的に合計12個のビデオを作ってこれを被験者の方に見せて印象を取得する実験を行いました。
実験の結果であるグラフ(図21)を見ますと、速度を速くしたり大きさを大きくしていくごとに面白さがどんどん上がっていくということがわかりました。特に、動きが小さくて速度が遅い動作と、動きが大きくて速度が速い動作、一番誇張度合いが低いと考えられる動作と一番誇張度合いが高いと考えられる動作の間では有意に面白さが異なることがわかりました。これらを見ると、確かに誇張した表現を積極的に用いることが、面白さに寄与しているらしいというのがこちらの実験からわかったところでした。
今説明した実験では元ねたに対して「誇張」の度合いを間引いて、この影響を調べました。次にお笑い芸人のねたの誇張の程度をもっと上げたらもっと面白いねたにできるのかどうかということを検証する実験を行いました。
この実験では、元ねたの動作に関して、特に先の実験で印象に対する影響が大きいとわかった「速度」をより大きな範囲で変化させて、その影響を調べることとしました。実験は、元ねたの動作を誇張して元ねたより速くしたり、逆に元ねたより遅くした場合、面白さがどう変化していくのかを検証することを通じて行いました。
今回使用したねたは2つです。こちらも最初にご覧いただきたいと思います。1つは肩を上下に動かすねた、もう1つはペナルティのワッキーさんの「芝刈り機のまね」というねたです。
被験者34名の方に実験に参加していただき、今の2つのねたの速さを様々に変化させたものを見ていただき、印象を回答してもらいました。こちらが実験に使用したビデオで、それぞれ「芝刈り機のまね」のねたの速度を3倍速、2倍速、元ねたの速度、2分の1倍速、3分の1倍速の5段階に変化させたものです。こちらの実験においては音声はカットして、動きだけで評価を行いました。
これらの5個の条件×2つのねた、合計10個のビデオを被験者にランダムに提示しました。評価として、「主観的な速度」、「面白さ」、「新鮮さ」を測りました。まず、ロボットの動作がどのぐらい速く見えたかという「主観的な速さ」を聞いた実験の結果はこちらのようになります(図22)。こちらはロボットがそれぞれ元ねたの速度、2倍速、3倍速、2分の1倍速、3分の1倍速で動いたときに被験者がロボットがどのぐらい速く動いたと主観的に感じたかということを回答してもらったものです.結果から,ロボットの動作が速くなるにつれて被験者が感じた「主観的な速さ」の値が変化し、上昇していく傾向があることがわかりました。したがって、少なくともそれぞれの速さが異なることが認識されていることがわかりました。
一方で、2分の1倍速と3分の1倍速の間、2倍速と3倍速の間は回答値の変化の幅が小さい、つまり速度が速すぎたり遅すぎたりする場合には、主観的に感じられる速度の変化が小さいことがわかりました。先行研究においても人間は色々な刺激の大きさが大きすぎたり、小さすぎたりする場合はその大きさの変化に敏感ではなく、刺激の大きさがある程度の範囲にあると刺激の大きさの変化に対して敏感であるということが言われていて、同様なことがこの研究にも当てはまったと考えています。
次に、面白さと新鮮さに関しての結果はこちらのようになりました(図23)。これら2つはかなり近い傾向で遷移していることがわかります。実際に、この対応関係、相関を調べるとこちらのように高い相関が見られるということがわかりました。「新鮮さ」は最初にお話しした、予想と現実のずれに相当するものと考えていますが、この結果はロボットの動きが被験者の予想より速くなったり遅くなったりすることで被験者の予想とのずれが生じ、これが面白さにつながったことを示すものであると考えています。
ただし、こちらのグラフは単調増加ではなく、かなり面白い形状をしています。2分の1倍速、1倍速、2倍速という3つの段階においては、面白さが有意に上昇していきます。ただ一方で、さらに速く、3倍速になると面白さが下がってしまう。逆に2分の1倍速より遅く、3分の1倍速まで遅くなると面白さが逆に上がる傾向があるということがわかります。こちらに関して考察をしますと、被験者が感じる一番当たり前、このねたを演じるうえで最も自然と感じられたのがロボットが元ねた2分の1倍速の速さで動いた場合といえます。これより速くなっても遅くなっても予想に対してずれが生じ、これによって面白さが生じたと考えています。
また、2倍速よりもっと速く、3倍速にすると、今度は逆に面白さが下がってしまいました。これに関して被験者の自由回答を見ますと、速すぎて何をやっているのかよくわからなかったというような回答がよく見られました。このことから、予想と現実のずれが大きすぎても面白さは上がらないことがわかります。2分の1倍速よりも遅くしていった場合も、3分の1倍速になると2分の1倍速よりも面白さが上昇しました。ただし、これも3分の1倍速を超えてさらにどんどん遅くしていくと、今度はロボットがほとんど静止しているような状態になってきますので、今度は面白さが下がり始める点があるのではないかと考えています。
このように、一番当たり前に感じられる刺激の大きさから刺激が大きくなったり小さくなったりしていく場合、まずはどちらも面白さが上昇し,さらに刺激が「当たり前」なものから離れていくと今度はどちらも面白さが下降するという関係が見られると考えています。つまり、最も面白いねたは最も刺激の大きさが大きいねた、今回の場合は最も速いねたではないか、と考えていたわけですが、そうではなくて、最も面白いねたというのは最も適切な大きさで予想を裏切るねた、今回の場合は最適な速さがあるということが言えるというわけです。
Q、元ねたというのは、あるねたを測定とかして時間取ってみたいなものを作ったというかプログラミングしたんですか。元ねたというのを計測して……。
岸 元ねたの再現の方法ということですね。本当は人間のお笑い芸人さんを呼んできて、モーションキャプチャーをやってそれをもとに作るのが適切だと思うのですが、今回の研究では大体の見た目が同じになるように作っています。
今まで説明した実験はロボットが人間に対してあらかじめ決められた刺激を一方的に出力するものでした。ただし、将来的にロボットがもっと積極的に人間を笑わせようということを考えますと、最初のインタラクションのループのように人間から何か入力があってそれに応じてロボットが反応することが必要だと考えています。これは、例えば人間がロボットを殴ると、被験者はロボットは殴られたのだからこういう反応を見せるのではないかなと予想します。このように、インタラクションを通じれば、ロボットはこの後どう動くんだということを予想しやすくなります。ロボットが次に何をするかということを予想しやすくなるということは、ロボットは殴られたのだから怒るという当たり前の行動ではなくて逆に喜んでしまうといったように、予想に対して裏切りというものを簡単に発生させやすくなるのと考えられます。
このために、将来的にロボットは人間とのインタラクションの中で刺激を生成することが重要になっていくと考えています。こういうときに難しいのが、人間が殴りかかってくるのか、なでてくるのか、といった刺激の内容や、いつ刺激を入力してくるのかというタイミング、刺激の大きさなどはそのときに応じて違うということです。したがって、これらの入力された刺激に応じてロボットが行うべき反応は無数にあります。ロボットがインタラクションを通じて面白い刺激を生成するためには、これらの無数に存在しうる動作を自律的に面白いものへと変化させる必要があります。
今回は、この一部としてロボットがどんな動作に対してもこれらを「誇張」したものを自律的に生成するためにはどうしたらいいかということお話させていただきます。
もととなる動作に対し印象を誇張した動作を生成する手法に関しては、既にCGのアニメーションの分野で先行研究がありまして、それを参考にいたしました。参考にしたCGのアニメーション分野の先行研究を簡単に説明します。たとえば手を挙げるなどの単一の動きにおいて関節の角度の始点から終点までの遷移を考えると、普通であれば始点から終点まで一方向に動きます。この手法では、始点から終点とは逆の方向に少し戻った後で終点の方向に大きく動き、今度は終点を通り過ぎてまた戻ってくるというような動きを足してやることによって、誇張を実現させています。先行研究において直接制御する対象は関節の角度でした.一方、ロボットにこの手法をそのまま実装しようとすると幾つか問題が出てきます。まず、ロボットの手先の位置が直接制御できる対象にならなくなってしまいますので、実体を持つロボットでは例えば手先がロボットの体にぶつかる、などの問題がでてきます。また、腕の全ての関節角度の遷移に同様な誇張を導入するため、この手法だと手先の軌跡が揺れてしまう問題がありました。
したがって、もっと滑らかに誇張だけできないか、手を挙げる、物を持つ、といった行動の目的は変化させないでそれを構成する動作の印象だけを誇張するような手法はないかということを考えました。今回の提案手法におきましては、手先の位置の遷移に対して、先行研究と同様に始点からスタートした手先が終点と逆のほうに動く「予備動作」と、終点を行き過ぎる「行き過ぎ」を加えることによって印象を誇張する手法を提案しました。
こちらの動きの生成は手先速度の時間変化を変形することにより実現されます(図24)。手先の時間ごとの移動速度を記述したものがこちらのグラフです。通常であればこの点線のように最初は滑らかに加速を始めて、一方向に動いて滑らかに停止する「釣鐘型」が一般的な動きになります。これに対して最初逆方向、マイナス方向に速度が動いて、次に山がプラス方向に大きく動いて最後にまた逆方向に動くというように、エンドエフェクタの速度の軌跡を変化させてやることによって、予備動作とか行き過ぎを含む誇張された軌跡を定義することとしました。
実際の計算では、速度の軌跡を3つの3次のスプライン補間により定義して、こちらのスプラインの形状の計算を使って誇張の倍率を直感的に定義できるようにしました。具体的には1つは予備動作にかかる時間、1つは行き過ぎにかかる時間、もう1つは誇張の倍率、(誇張後の最大移動距離:誇張前の最大移動距離)を計算に含むように設定しました。
タイミングカーブが決まれば、手先軌道はこの面積を計算することで求められます。まず、図中の赤の面積を測ってやることによって、予備動作の終点の座標を求めます。さらに、図中の青の面積を測ってやることによって終点から行き過ぎる量というものを求めます。これらを結んでやることによって、誇張した軌跡が生成されるというわけです。
実際のロボットの動きの変化は、このビデオで左側が手先の軌跡が誇張されていないもともとのロボットの動き、右側がこれを誇張した動きになります。
誇張されている動きでは、説明したように1回動きが終点とは逆の方向に動いて、今度は動きが行き過ぎて戻る動きがみられます(図25)。
この手法によってロボットが誇張した動きを生成することで本当に人間に面白い印象を与えられるのかということを検証する実験を行いました。こちらの実験は、ロボットの1.5メートル前で被験者が風船を割ってやる。これに対してロボットがびっくりするというシナリオを作り、このときにロボットが普通のびっくりの仕方をした場合と、誇張したびっくりの仕方をした場合の印象を比較する方法で行いました。被験者の方は10名の方です。
こちらの実験では、被験者にロボットはこのぐらいの大きさでリアクションするんだろうな、こういうリアクションするんだろうなと、予想を正確にさせることが大事になりましす。このため、実験の最初に、実験者が風船を割って被験者の方にロボットの驚き方を観察してもらいました。このとき,ロボットには「誇張」のないびっくりの仕方をさせました.
次の2番目と3番目のステップでは、被験者が実際にロボットの前で風船を割って、それに対してロボットが誇張した驚き方、誇張しない驚き方をランダムな順で生成して、その際の印象はどうだったかということを評価してもらいました。
こちらの実験の結果はこのようになりました(図26)。結果から申し上げますと、誇張したリアクションのほうが有意に面白い印象を与えたということがわかりました。同時に新鮮さであるとか速度とか大きさというものを取りますと、新鮮さに関しましても速度に関しましても大きさに関しましても基準となるびっくりの仕方に対して、誇張となるびっくりのモーションは有意に大きな動作であるという印象を与えていたことがわかりました。
この結果から、実験者が最初に風船を爆発させたこのぐらいの動きで驚くんだろうなという予想に対して、大きくリアクションとってやったことによって、予想が裏切られてこれが面白さにつながったのではないかと考えることができます。今回は単純な実験になりますが、ロボットがインタラクション中に面白い動作を自動的に生成することができないかということを考えて、今、実験を進めているところです。
5.結論・今後の展望
それではかなり長くなりましたが、発表全体を通して結論をまとめさせていただきます。まず研究全体の目的は精神疾患などに効果がある笑いのメカニズム解明にロボットの動作の定量性とか再現性を利用することです。
人間の笑いを誘発するロボットを実現するため、まずロボットが人間の笑いを誘発するための行動規範を探索しました。この結果、日常会話であるとか漫才であるとかというものの面白さを作り出す構造というのにはある程度共通性があって、これらの中には「誇張」、「矛盾」、「唐突の変化」、「反復」といったようなキーワードが含まれることがわかりました。
次に、これらの動きの特徴の表現に対応したロボットの開発を行いました。漫画的に誇張した表情で感情表現を行う頭部ロボット、または腕を誇張して速く大きく動かす腕部を作りました。
最後に、この開発したロボットに実際に面白い動作生成をさせる手法、今回は「誇張」した動作を生成する手法に限ってお話しました。まず、「誇張」そのものの意義を問うために2つの視点から実験を行いました。1つは人間のお笑い芸人のもともと誇張された動きから誇張したものを取り去ってやると面白さがどう変わるかという実験、もう1つは人間のお笑い芸人の元ねたをの誇張の程度を上げるとそれがどのような印象につながっていくかということを検証する実験を行いました。最後に、人間とのインタラクションの中で誇張した動作を自動的に生成する基礎的な実験として、人間が風船を爆発させたときにロボットが誇張したリアクションを生成して返すと、それが面白さにつながることを示しました。
今後の展望として、今回の発表ではロボットの動作の誇張を中心に説明させていただきましたが、面白さを作る構造には他にも幾つかありまして、こういうものを多様に使いながら面白い動作を生成するにはどうしたらいいかということを考えていきたいと思います。
また、先ほどは風船を爆発させてそれに応じてロボットがリアクションを返すというかなり単純なインタラクションの話をさせていただいたんですが、今後は例えば人間があまり面白くなさそう、だからこういう動きをしてやろうといったように人間の気分や感情など内部状態も考慮したインタラクションにも挑戦していきたいと考えています。
あとは、笑いが本当に健康増進とかそういったことに効果があるのかといったこともロボットを使いながら検証していく実験もあわせて行っていきたいと考えています。
以上、長くなりましたが発表を終わらせていただきます。ありがとうございました。
質疑
司会 どうもありがとうございました。何か会場のほうから質問がありましたらお願いします。
Q、すみません、途中から見ちゃって、最初から聞いていないので、ひょっとしたら御説明があったのかもしれないんですけど、面白さと笑いって何か違いとかあったりするんですか。
岸 はい。面白さと笑いは異なるものだと考えています.まず笑いというのは不随意の生理反応です.従って,思わず笑ってしまうというもので,発声とか表情の変化とかを伴うものです.面白さというのは主観的な判断をした結果このぐらい面白いんだな,というふうに考える過程が入ってくるものです。
ただ、発表でも簡単に紹介した内容になりますが,研究の最初に基礎的な実験として笑いの反応と面白さの傾向を比較する実験を行いました.この結果面白さと笑いは完全に対応しているわけではないのですが、ある程度の対応関係が見られるということが示されました.したがって,面白さというものを上げてやるとそれが笑いにつながっていく、面白さは笑いに寄与するものであるといえると考えています。また、笑いというのは一期一会と言われていまして、同じものを何度も見ると笑いという不随意反応は発生しづらくなってしまいます.一方、それが面白いかどうかという判断にはねたを見た回数がそこまで大きく影響しません.したがって、今回の研究のようにロボットが同じような動きだけれども、ちょっとずつ特徴を変えたものを演じるときに印象がどう変化するかというのを検証するためには被験者が笑ったかどうかを直接評価指標とするのではなく、主観的な面白さが適切な尺度ではないかと考えました。
Q、笑わせるロボットって幾つかあると思うんですけど、ぱっと思い浮かんだのが「スター・ウォーズ」に出てくる「C-3PO」、「R2-D2」。たしかしゃべり方と不器用で面白いというのもあると思うんですけど、あれは結構2ついるから面白いというのはありますよね。そういう方法とかというのは考えなかったですか。
岸 はい。インタラクションの中で、例えばボケ役がいて、あとツッコミ役がいてみたいな、役割分担の中で面白さが出てくるというやり方もありだろうと思っています。実際に先行研究を見ますと、漫才で2つのロボットを使って1つがボケ役になって1つがツッコミ役になってというような研究を行っている方もいらっしゃいます。今回の研究に関しては、もっと基礎的にロボットがどう動いたら面白くなるかというところだけを突き詰めたものです.そのためにピン芸人ではないですが、1つのロボットを動かしてその印象を調べるという実験をやりました.将来的にはロボットと人間とか、ロボットとロボットとかでインタラクションをさせても面白いと考えています。
Q、多分、基礎的でない笑いのもうひとつかもわかんないですけど、割とお隣の人が笑っていることとかあるでしょう。テレビとかでも笑い声とか音声でくっつけたりしているのも、そういうものもこれから取り入れてみる。
岸 我々も実は誘い笑いに関する基礎的な実験をしたことがあります.この実験では、面白い映像を映しているディスプレイがあって、隣にロボットを座らせておいて、映像が面白いタイミングでロボットが笑ったら被験者も笑うかという内容を試しました。結果として,笑い反応の直接の増加は見られなかったのですが,被験者の印象の回答として楽しい雰囲気になったとか、家族でテレビを見ているようなほんわかした雰囲気になったとか言う回答が得られました.誘い笑いというのはそもそも無機物であるロボットと人間の間に起きるかどうかというところに議論が分かれるところかなと思うのですが、ロボットが面白いタイミングで笑ってみるといったやり方も十分作戦としては考えられるかなと思います。あとはロボットが自分が面白くないことをしたときにスベリ芸をしたりとか、ただ自分が面白いことをするだけではなくて、展開を使ったりとか雰囲気を使ったりとか、周りの環境とかも合わせて使っていくというのは検討していかなくちゃいけないと思っています。
Q、簡単な感想ですけど、最初のほうで笑いの要素というか緊張が解けると笑うという、あれは本当に大切で、関西のほうで有名な桂枝雀という落語家の方がいらっしゃるんですけど、もう亡くなった方なんですけど、その方とおっしゃっていることと本当に同じことだなと聞きました。質問ですけれど、一番苦労されたところとかもし教えていただければ。
岸 一番苦労したのは、動きで笑いを作るにはどうしたらいいのかなというところが先行研究で体系的にまとめられたものがなかったというところが一番大きいところと思います.どうやってやったらロボットが面白い動きができるのかなというところを手探りで探索していく必要がありまして、探索していったものもじゃあこれをどうやって評価したらいいのかなとか、今まで笑いというものは効果があるよというのはいろんな方がおっしゃっていたんですが、じゃあそれをどういうふうに作っていったらいいのという研究はあまり多いものではなかったので、そういう部分が一番難しいポイントだったかなと思います。
Q、お笑いそのものの研究とロボティクスをミックスしたようなものだと思うんですけど、前半のほうが特に難しかった。
岸 そうですね。例えば、誇張すればいいんだなというところに行き着いてしまえば、あとは誇張すればどうしたらいいんだろうというのはもうロボットの動作生成話になりますので、そういうところはある程度議論は進めやすいんですが、そもそもどういうことをしたらいいんだろうというところの探索というのはかなり苦労したところかなと思います。
司会 人間が笑わせているというところに歩み寄らせていますよね、ロボットを。
岸 そうですね。
司会 ロボットしかできない笑いみたいなものってあるんですかね。
岸 2つルートがあると思っています。1つはロボットしかできないことも含めてめちゃくちゃ面白いほうに突っ走るというルートと、もう1つは人間らしい手法を使って人間が他人を笑わせる場合の面白さを解明するというルートです.自分の場合は人間の面白さというのを解明するというところも1つの切り口にしたいなと思っていたので、今回発表したような内容の研究を行いましたが,例えばロボットの頭が外れちゃうとか、人間ができないところも含めてやるというのは1つの選択肢になるかなと思います。
司会 あともう1つは、多分早稲田のロボットというとかなり昔から歴史があるんですけど、先ほどの64自由度というのは、岸さんが思われる本当はこれくらい自由度がほしいんだけどなというようなハード制約がどのくらいかかっているのか知りたいです。
岸 ハード的な制約でいいますと、自由度の数としてはもう十分じゃないかなと思っています。
司会 ああ、そうなんですか。
岸 というのは、基本的にロボットの動きがどのように定義されるかといいますと、例えば手の位置と姿勢は位置のXYZとXYZ方向の回転の6個のパラメータで表現されます。なので腕と手にそれぞれ6自由度ずつの自由度があれば、身体全体の姿勢がある程度表現できてしまいます。体幹とか、あと先ほどお話ししたような肩のつけ根とかいろんなものを加えますと、それにアディショナルなことはできるのですが、そこも現在の自由度構成である程度のことができるため、自由度の構成としては十分ではないかと思っています。
ただし、ハードウェア全体の問題としては人間のように激しい動きはまだ十分にできなと思います。例えば、跳びはねたりとか、そういう動きがまだ今のヒューマノイドではできない。それはハードウェアの制約でもあり制御の制約でもあります.こういった跳びはねて回るようなさらにダイナミックなねたもできたらもっと面白くなるかもしれないと思っています。そういうことも含めると、自由度というよりは1個1個の関節のをもっと激しい動きに対応させたりとか、ある程度激しい運動をしても安定して立っていられるような能力を持たせたりとか、こういった分野でロボット全体の改良が進んでいったときに、それも取り入れるともっと面白いことができるようになるかもしれないなと思っています。
司会 先ほど片足で立っていました。
岸 はい。早稲田の2足歩行ロボットの研究、高西研で行われた研究の成果をもととしてこのロボットは歩いたり,片足でバランスをとったりといったことができます。ただし、よりダイナミックな跳びはねたりとかそういう動きに関してはまだ十分でないところがありまして、そういうところは今後できるといいかなと思っています。
司会 わかりました。
Q、小島よしおの片足上げるというのは難しいですよね。
岸 そうですね。姿勢の再現自体はできると思うのですけれども、あのスピードでやろうとすると全身のバランスが崩れてしまうと思います。あの動きが再現できない直接の原因はどちらかというとハードウェアよりも制御の問題だと思います。
司会 面白い。じゃあそろそろ時間になりましたので、この後はまた飲み会かなんかでお話伺いたいと思います。どうもありがとうございました。
プロフィール
2011年早稲田大学創造理工学部総合機械工学科卒業。2013年同創造理工学研究科総合機械工学専攻修士課程修了(工学)。
2016年同先進理工学研究科生命理工学専攻博士後期課程修了(工学)。
2013年度から2015年度まで日本学術振興会特別研究員(DC1)。
2016年度から早稲田大学理工学研究所次席研究員(研究院助教)。