科学研究費 特定領域研究「ITの深化の基盤を拓く情報学研究」

研究項目A03 人間の情報処理の理解とその応用に関する研究

研究課題: 行動や体験の記録にもとづく時空間表現メディアの研究

研究代表者
間瀬 健二(mase @ itc.nagoya-u.ac.jp)
名古屋大学 情報連携基盤センター 教授)

研究分担者
梶田将司(名古屋大学　情報連携基盤センター助教授)
平野 靖(名古屋大学　情報連携基盤センター助手)

1. 研究目的

本研究は、表現メディアとしてのコンピュータに着目し、共生型情報システムのアプリケーションを探索し表現メディアに必要な新しい機能を開発することを目的とする。具体的にはぬいぐるみ型ロボットなど人工パートナーの試作と種々のアプリケーションの開発を通じて、語り、対話、遊び、日常的な体験などの記録、整理、共有を可能とするコンピュータによる表現メディアの機能実現をはかる。時間軸を有する一過性の事象を操作性よく記録編集する手法の開発を通じて、記憶と体験の情報処理論的モデルを提案する。

　 本テーマは、コンピュータ仲介型コミュニケーション(Computer Mediated Communication, CMC)の一分野でもある。コミュニケーション支援や人工パートナーの新しい機能を提案し、ITの応用分野の発掘に貢献することをめざすものである。将来、ロボットやユビキタス情報環境は個人の行動を記録・認識しておいて、将来の行動予測をして必要な補助をするようになるだろう。これらのシステムが人間と共生できるための要因を抽出することは、重要な研究課題である。また、情報通信技術の発達によりコミュニケーション機会がますます増大しており、限られた人間の能力と時間のなかで効率的なコミュニケーションを支援することは今後重要となってくる。客観的な事実を伝えるだけでなく、主観を伝えあうコミュニケーションによって大量の情報の中から重要な情報へのアクセスを容易にする方法を考える。

2. 研究手法

研究メディア処理を含むさまざまなセンシング技術により、ユーザの置かれた状況を意味的に推定し、分節化の手がかりを得る手法を開発する。その際人工パートナーが状況を作り出すことにより、人間がシステムの複数メディアセンサとの相互作用をおこし、その強い同時性がメディア間につながりを与えることを利用する。

3. 研究計画

本研究では体験情報を要約して人工パートナーの視点で電子日記を生成することを目標とする。さらに、相互作用を学習し個人に適応する機能を付与することを探索する。長期的には記憶と体験のメカニズムを情報処理論的に説明することを試みる。

15年度

初年度は、まず本提案の研究に必要なぬいぐるみ型ロボットの基本設計と基本システムの試作を行う。それに並行して、各種センサーからの入力データの性質を分析し、分節化するアルゴリズムを開発する。試作機の完成をまって、機能の確認と、初期データの収集をおこなう。ロボットと相互作用する情報提供基盤の整備をする。

1. ぬいぐるみ型ロボットの基本設計と試作

本研究では、各種センサー（カメラ、マイク、接触、曲げ、加速度、コンパス、ＧＰＳ、ＲＦＩＤ、温度、電圧など）を装備したぬいぐるみ型ロボットを試作する。RFIDおよびGPSはこれまでの研究で考慮しなかった新しいデバイスである。これらは、自分の位置や環境との相互作用の手がかりを与える。　本体とＣＰＵ等を格納する部分との振り分け、ぬいぐるみ形状の大きさ、外見、キャラクターなどを検討する。

2. 分節化アルゴリズムの検討

センサー出力のパワーなど比較的単純な特徴のセンサー間相関により分節化の手がかりを得る。ＨＭＭ、ベイズネットなどの状態遷移を表現できるパターン認識モデルの適用を検討する。

3. 初期データの収集と分析

試作機設計のために、各種情報システムと相互作用するときの初期データの収集を行うとともに、データマイニング等の手法を用いて分析する。

4. 情報提供基盤の構築

ぬいぐるみ型ロボットがユーザと相互作用する際に、ユーザに関する背景知識を収集して付加的状況の理解を助けるための基盤を構築する。

次年度以降

本年度試作する予定の、ぬいぐるみロボットをベースに行動情報を収集し、情報 提供基盤およびそれに付随する固定センサー群との協調センシングからの分節 化手法を各種検討する。分節化の手がかりとして、顔表情を出すアクチュエー タと音声、音楽の表示、映像の投射などの機能を試作・組み込み、それを使っ た分節化アルゴリズムの改良と、それらの効果を検証する。　ウエアラブルコ ンピュータとの協調により、情動に関するデータの利用可能性も探る。また、 その後、類似のぬいぐるみロボットを２体用意し、２体からの行動データの統合と合成方法を検討する。また分節化された記憶体験データをそれぞれに分けて、分節単位での操作を可能にし、表現メディアの操作性としての機能を確認する。さらに、動作の教示によるアクチュエータ動作の記憶・適応、繰り返しパターンの学習による特異な（非日常的な）パターンのあぶり出しアルゴリズムを開発し、電子日記生成の（半）自動化の方法を探る。

4. テーマの特色・独創性

ユーザーの置かれた状況を、メディア処理を含むさまざまなセンシング技術により、意味的に推定し分節化の手がかりを与えることを特徴とする。意味的とは、例えば、人工パートナーが状況を作り出すことにより、人間がシステムの複数メディアセンサとの相互作用をおこし、その強い同時性がメディア間につながりを与えることを、ここでは考える。

5.研究テーマをささえる成果

研究代表者は、センサーを多数搭載した受動型ぬいぐるみロボットを試作し、 ３つのアプリケーションを試作実験してきた。

１．対面コミュニケーションモダリティの拡充

対面コミュニケーションにおいて、ぬいぐるみ操作による音楽演出が可能なメ ディアを試作し、ぬいぐるみ操作モダリティと音楽モダリティの付与がコミュニケー ションにおける発話様態に影響を及ぼすことを実験的に確認した。

・米澤朋子, ブライアン-クラークソン, 間瀬健二: 文脈 適応型音楽生成を伴うぬいぐるみインタラクション, 情報処理学会論文誌, vol.43, no. 8, pp.2810-2820, 2002年8月

２．遠隔コミュニケーションにおけるアウェアネス効果

２体の、音楽演出が可能なぬいぐるみを接続し、相互の操作状況に応じた遠隔音楽 演出が可能なシステムを試作した。これによりコミュニケーションアウェアネ スの達成と親密なコミュニケーションメディアを提案した。

・Kazuyuki Saito, Tomoko Yonezawa and Kenji Mase: Awareness Communications by Entertaining Toy Doll Agents, International Workshop on Entertainment Computing (IWEC2002), pp. 326-333, Chiba, Japan, May 2002.

３．パートナーの視点による行動記録

センサーを搭載したウエアラブルシステムやぬいぐるみを使って、ユーザが持 ち運ぶにつれて起こす多種多様な行動をパートナーの視点で記録することがで きるしくみを提案した。

　 ・Brian Clarkson and Kenji Mase and Alex Pentland: The Familiar: a living diary and companion, Proc. CHI2001 extended abstracts, pp.271-272, Seattle, April, 2001.

・間瀬健二、角康之:"インテリジェント・インタフェース", ヒューマン インタフェース学会誌, vol. 5, no. 2, pp.25-28, May, 2003.　

6.本研究テーマの成果

7.関連する研究

1. DARPAは2003年5月に"LifeLog"と呼ぶプログラムをスタートさせ研究テーマを 公募している。LifeLogは人間がコンピュータとより自然で簡単にインタラク ションできる能力を開発することをめざし、PDA(personal digital assistant)が将来はPDP(personal digital partner)になるだろうとしている。 LifeLogは経験、嗜好や目的を記録・分析し、過去の記憶を正確に思い出したり 将来のタスクをより効果的に支援する電子日記のようなものである。LifeLog は本テーマと目指すところは同じといってもよい。

・http://www.darpa.mil/ipto/research/llog/index.html

2. Microsoft Research(MSR)のGordon BellはMyLifeBitsというプロジェクト で自分の体験を全てディジタル化することを自ら実施している。Bellは自分が 書いた著書や電子メール・メモを記録するだけでなく、見たり読んだりした書 物や音楽や映画をすべてディジタルフォームで記録することを実践している。 現在アノテーションは人間が行っている。環境側が行動記録をしてい く仕組みととらえると、本テーマでは一緒に行動するパートナーを構築するこ とを狙っている。

・http://research.microsoft.com/research/barc/MediaPresence/MyLifeBits.aspx

3.　ウェアラブルコンピュータ(WC)の研究が各所で盛んである。MITメディア研 究所では個人の体験記録を１人称のシステムで行う研究を行っている。また東 京大学では心拍などの生理データを採取し体験のアノテーションをしている。 はこだて未来大では記憶想起支援を目指している。これらは１人称のシステム を構築している。

4.一方、センサーを張り巡ら した部屋や空間でユーザの行動を観測する研究は、CMU、京大、筑波大、ソフ トピアなど多くの機関で行われている。

本提案はその中間に位置づけられる人 工パートナーの研究と見ることができる。類似の分野としてはヒューマノイド ロボットによるコミュニケーションの研究が和歌山大、ＡＴＲなどで行われて いる。本研究は受動的なロボットであるぬいぐるみ型がもたらす優位性に着目 する。そのような研究は、研究代表者が関与する以外はまだない。ぬいぐるみ ロボットそのものについては、マイクロソフト、MITなどでの研究例があるが、 体験記録には及んでいない。

last update June 25, 2003.