A1101
研究会Ａ
SEMINAR A 		研究プロジェクト科目
Research Seminars
4 単位

ソーシャルクラウドロボティクス −共生・協働するロボットから共に発達するロボットへ−
Social Cloud Robotics - from symbiotic and cooperative robots to robots that develop together -

開催日程 秋学期 火曜日５時限,木曜日６時限
担当教員 高汐 一紀（タカシオ カズノリ）
関連科目 前提科目（関連）: B6136,B6046,B6139,C2097,B6100
授業形態 ディスカッション、グループワーク、実験、演習
履修者制限
履修条件

使用言語 日本語
連絡先 kazu@sfc.keio.ac.jp
授業ホームページ https://www.ht.sfc.keio.ac.jp/srobot
設置学部・研究科 総合政策・環境情報学部
大学院プロジェクト名

大学院プロジェクトサブメンバー

ゲストスピーカーの人数
履修選抜・課題タイプ=テキスト登録可 false
履修選抜・選抜課題タイプ=ファイル登録可 false
GIGAサティフィケート対象
最終更新日 2020/07/08 10:32:17

Additional Information about language support on this course

Language used in each of the course components

Lecture
Material Both (English and Japanese)
Discussion Mainly English
Group work English or Japanese based on the students’ preference
Presentation Both (English and Japanese)

Level of Japanese language skill necessary for the course

Reading Not necessary. There will be no problems without any Japanese language skill.
Writing Not necessary. There will be no problems without any Japanese language skill.
Speaking Not necessary. There will be no problems without any Japanese language skill.
Listnening Not necessary. There will be no problems without any Japanese language skill.

Other

研究会概要

目的・内容

*ソーシャルな存在としてのロボット*

/"Making robots more acceptable.." by Prof. Gordon Cheng（ICS／TUM）/

常時ネットワークに接続された次世代のロボットは，自ら M2M（Machine to Machine）コミュニケーション，M2S（Machine to Service）コミュニケーションを駆使する存在として，あるものはユビキタス情報サービスのアクターとして人々と共存し，またあるものは人の身体拡張を支援する，より社会的な存在となります．我々はこうしたロボットをソーシャブルロボット（Sociable Robot）と呼びます．社会性を備えたロボット，すなわち，ロボット同士，機械，情報サービス，そして人と能動的に繋がるロボットです．ソーシャブルロボットには，次のような機能が求められます．

- 異種ロボット間のクラウド型協調・連携機能（Cloud Network Robotics）

- 生体神経網と同等の高精度知覚・認知処理機能（Sentient & Cognitive Robotics）

- 豊かな表情での社会的・情動的インタラクション機能（Affective & Interactive Robotics）

第一の要件「クラウド型協調・連携」は言わば，ヘテロジニアスなロボット間連携・協調動作を実現するアーキテクチャです．多種多様なロボットのそれぞれが提供可能なサービスに関する情報を相互に共有することで，タスクに応じたコミュニティを自律的かつ臨機応変に形成し，様々なクラウドサービスとも連携しながら，ゴールの達成を目指します．本研究プロジェクトでは，ソーシャブルロボットの基本機能として適用可能な，異種ロボット同士，さらには多種多様な情報サービスとのクラウド型協調・連携を可能にするクラウドネットワークロボット間連携フレームワークを開発します．

高度な社会性（Sociality）を備えたロボットにとって，ロボット自身が持つ知覚・認知能力は，人とのインタラクションの中でロボットの所作を決定する重要なファクターになります．第二の要件「高精度知覚・認知処理」に関しては，TUM / ICSでの Hex-o-Skin プロジェクトとの共同研究プロジェクトが進行中です．TUM / ICS Hex-o-Skin プロジェクトで開発が進むパッド型人工皮膚は，高度にモジュール化されており，皮下受容細胞に相当する触感センサ（近接，直接の2種），温感センサ，さらには運動感覚，平衡感覚を受容する高精度な動きセンサを備え，複数のパッドを連接して使用することで，人間の皮膚に近いレベルでの実世界情報収集と状況認識を可能としています．本研究プロジェクトでは，これらの皮膚感覚に加え，人とロボット（H2R）のインタラクションにおけるロボットの知覚・認知処理の中でも特に重要と考えられる，視覚（画像知覚・認知）に着目し，視覚による対話相手の情動取得，すなわち人の感情変化の取得機構を議論します．

対話相手の情動認識機能は，第三の要件「社会的・情動的インタラクション」の実現に不可欠なものです．本研究プロジェクトでは，TUM / ICS のチームと共同で，生体神経網をモデルとしたスケーラブルな知覚神経ネットワークおよび認知機能を研究・開発します．他のロボットとの情報共有や，情動取得に関する視覚からのアプローチと併せて，センサクラウドとの連携も可能な，ソーシャブルロボット広域知覚神経網・認知システムとしての完成を目指しています．

さらに第三の要件「社会的・情動的インタラクション」に関しては，情動を含む周囲と相手の状況を理解した上での，多対多 H2R，さらには R2R（ロボット同士）インタラクションの実現手法を議論します．私たちはこれまでにも，「共感するロボット」「遠隔アイスブレーキング支援ロボット」等を実装し，様々な利用シーンでの多対多 R2H インタラクションを例示してきましたが，本研究プロジェクトでは，多対多 R2H インタラクションの実現に向けた会話コンテクスト管理・制御機構を提案し，情動的インタラクション実現の一例として，上述の視覚による情動認識機構を応用した，会話の中での身体的表現力増強ロボットの提案を目指します．

---

*IoT から Sociable Things の世界へ*

前述のヒューマノイド型のコミュニケーションロボットやパーソナルロボットをターゲットとして提案した技術を，より細粒度なモノやロボットに適用することで，次世代IoT環境の構築が可能となります．私たちはこれを，Sociable Things と呼んでいます．個々の Sociable Thing が高機能である必要はありません．ユーザの挙動や情動を理解し，共有し，それぞれのモノとしての機能を少しだけユーザに寄り添う形で提供する，そんなモノたちのコミュニティです．

モノがソーシャブルたり得る要件の1つに，人同士のインタラクションで日常的に見られる，多面的，多段的なインタラクション「駆け引き」があります．駆け引きという行為により，Sociable Thingsには，人に物理的に働きかけて関心を引き，次に行うべき行為に誘導するといった，より柔軟なインタラクションを繰り返し行うことを可能とする力があります．例えば，ソーシャブルなゴミ箱（Sociable Trashbox）は，ゴミを投げようとしているユーザを検知し，その方向に筐体を傾けます．ゴミを捨てようとしているユーザを発見し，自ら近づいて行ってもいいでしょう．物体の移動は人間の注意を引きますし，物体が傾く動作は人間における感謝を表すための「会釈」というボディランゲージに似ているとも言えます．ユーザが子どもであれば，子どもたちはゴミ箱そのものの動きに関心を寄せるでしょうし，会釈のように見える動作には愛着を覚えることもあるでしょう．結果として，「見逃されがちなゴミ箱やゴミを捨てるという行為に興味や楽しさを覚える」といった，意識の変化を見ることができるかもしれません．人々とのインタラクションの中で，それぞれの状況認識（センシング）機能，アクチュエーション機能を生かし，モノ同士が協調して駆け引きを行い，人に対しては効果的かつ身体的な学びを促し，同時にサービスとしての妥協点を探る．Sociable Things には，そんなインタラクションの未来があります．

ソーシャブルなロボットの次のステップとしての，ソーシャブルなモノ（Sociable Things）は，意義のある研究領域であり，有力な候補です．ロボットの実装やそれに対する利便性というロボット工学的なアプローチだけでなく，行動変容などの認知心理学的，医療的議論も必要な，学際的研究テーマとなるでしょう．既に，ユーザの疲労を検知してアクションを起こす「ワークライフバランスキーボード」や，モノたちが連携してユーザと駆け引きを行う「ダイエット支援サービス」をはじめとする，いくつかの関連プロジェクトがスタートしていますが，今後のさらなる研究的発展が期待されています．

---

*各自が得意の分野でエキスパートに*

研究会では，大学院プロジェクト（ユビキタスコンピューティング&ネットワーキングプロジェクト）とも連携し，調査，グループディスカッションといった研究活動を通して，論点の洗い出しを行い，メンバ個々に問題を設定，それらを解決するための手法を探ります．

各メンバには，学期中にこれら一連のサイクルを経験してもらいますが，特に，キャンパスや関係協力機関での実装・検証実験の経験を積むことで，実証的な議論の姿勢と，システム開発に必要な様々なスキルを学んでもらいます．

加えて，研究会のメンバには，1人1人が何かしらのエキスパートになってほしいと考えています．電子工作のエキスパート，特定のマイコンのエキスパート，機械工作のエキスパート，3D モデリングのエキスパート，機械学習のエキスパート，画像認識のエキスパート，制御系プログラミングのエキスパート等々，なんでも構いません．研究会活動の中で，各メンバが自分の得意分野を伸ばすだけでなく，メンバ同士がその得意分野をレクチャーし合うことでお互いのスキルアップを目指します．そのため，各自がテーマを設定し講師となるスキルアップセミナを，学期中に1回は開催してもらいます．

---

*■ 感じるロボット／気付くロボット・・プロジェクト*

- exo-NeuroNet： 行動意図に応じてアドホックに構築可能なロボットのための外部神経網

- 水中状況認識を可能とする水中パッシブセンサモジュール（水中ロボットのための人工スキン）

- 中高等教育向け STEM ロボットキット “そしゃぼっと”（仮）

- ユーザと場の共有をする AR エージェント

*■ Sociable Things／やわらかい機械／ゆるいロボット・・プロジェクト*

- Metamorphic Cloudbot： クラウド・ロボティックス・アーキテクチャをベースにしたパーソナル・ロボット・フレームワーク

- 「駆け引き」のできるモノたちとのインタラクション

- 空中浮遊型ゆるふわロボット

- 悶える自動改札

*■ 繋がるロボット／伝えるロボット・・プロジェクト*

- 多対多 R2H コミュニケーションのための特定話者認識と追跡手法

- 多対多 R2H コミュニケーションにおける会話コンテクスト制御

- 多対多 R2H インタラクションのためのネットワークリソースを活用した話題生成機構

- 多対多 R2H インタラクションにおけるパーソナル・スペース分析 〜Pepper に壁ドンはできるか〜

- 一期一会 〜HRRH 遠隔アイスブレーキング〜

- Symonds 尺度を用いたロボットのパーソナリティ発達

*■ ロボットとヒトの協調／ヒトの身体拡張・・プロジェクト*

- Ex-Amp Robot: Expressive Robotic Avatar with Multimodal Emotion Detection to Enhance Communication of Users with Motor Disabilities

- 2.5次元 H2R インタラクション

- 人との間に適切な間合いを生み出すロボット

- メンタルサインを考慮した人間とロボットのインタラクション

- アイコンタクトによるロボットと人の協調動作

- ロボットの感覚を伝える装着型感覚ディスプレイ

- exo-NeuroNet による生体神経網の空間的拡張と論理的身体感覚形成（Logical Body）

---

*Social Interaction with Cloud Network Robots*

/“Making robots more acceptable..”/

is the words of Professor Gordon Chen who leads ICS (Institute for Cognitive System) at Technische Universität München (TUM). What exactly is a robot that does not give discomfort to us and we can easily accept its existence as a part of everyday life?
Now we obtain capabilities to access ubiquitous information spaces and our human ability and cognitive performance will be gradually enhanced. Robots will also be integrated well into the human life and helping us naturally. They will have rich sensory perception and expressive facial signals, and are going to be social partners for us. In this laboratory, we are discussing what kind of “sociality” robots should have in human robot interactions (HRI).

Being human, the behaviors with “sociality” will have an important meaning. Like communication skill to understand or sympathize with others, skill to recognize multiple contexts at the same time correctly and skill to create moderate intervals with interaction partners, ability to ensure social performance is various. Robots, and even everyday things, are also similar. An information system or a robot which has advanced interpersonal communication skill, can show correct judgement in all circumstances and be able to cooperate with people, robots, everyday things and various information services, such existence is probably an “acceptable” information system or robot.

Robots are interactive interfaces in real-world between users and ubiquitous information services. If the robot technology advances and many of objects in our everyday life are robotized, the cooperative world with such novel things “next generation IoT” will be opened. We call robots and IoT devices which provide a certain kind of sociality “Sociable Robots” and “Sociable Things”.

Robots that work as an edge terminals of cloud services are called a “Cloud Network Robots”. The architecture of the Cloud Network Robots which realizes cooperative operations among heterogeneous robots can be the base of Sociable Robots and Sociable Things. A wide variety of robots aim at achieving their goals while sharing information on services that each can provide, autonomously and adaptively forming communities corresponding to tasks they are faced with, and working together with various cloud services. Some of them will coexist with us as actors of ubiquitous and cloud information services and some will argument our human ability by making full use of M2M (Machine to Machine) communication and M2S (Machine to Service) communication.

The Cloud Network Robots are beginning to be implemented in various forms such as agent software on information devices like smart phones, communication robots, and personal mobility robots such as wheelchairs and EV vehicles. The technical issues of Cloud Network Robot are as follows.

- Cooperation and collaboration technologies among heterogeneous robots

- Data linkage technologies between robot and cloud information service

- Many-to-many human robot interaction technologies

In addition to these issues, we are discussing the following two more issues for Sociable Robots.

- Highly accurate perceptual processing and context recognition technologies for HRI

- Social and affective interaction technologies in HRI

From the viewpoint of the sociality, the perception and context capturing function possessed by robots themselves is an important factor in determining behaviors of robots in human interactions. We are focusing attention on the emotional recognition of the communication partner, that is, the acquisition mechanism of human’s emotional changes, which is indispensable for realizing “social and emotional interaction”, and have been exemplifying its principles, implementation methods, and application examples. We have exemplified many-to-many human robot interactions in various usage scenes by implementing “sympathizing robot”, “remote ice breaking robot system”, etc. Topics covered in this lab range over “pseudo-emotional behaviors of robot in HRI”, “the personality of robot naturally being built by HRI”, “creating moderate interval and proximity in HRI” and so on. They are examples of next generation social and emotional human robot interactions.

---

*Topics in detail*

- Cloud Network Robotics

- Robots active at the edge of services

- Raising robots with cloud AI

- Creating robot community

- The changes in human robot interaction

- Robots who began to have Physical Characteristics

- Robot design in first person viewpoint

- Understanding what’s going on around itself

- Understanding the partner’s emotions and intentions

- Robot that began to have feelings

- Can people sympathize with robots?

- Robots acting Social - Sociable Robots -

- Eleven requirements for sociality

- Understanding the flow of conversation - conversation context management -

- Management the interval and the proximity in HRI

- Interaction fosters robot’s personality

- Robots supporting human to human communication

- Practice in the nursing care field

評価方法

出席，研究会への貢献，タームプロジェクト（学期を通してのシステム等の構築）成果物，各マイルストーンでのプレゼンテーション・デモンストレーションを総合して評価します．

---

Both of contributions for our lab and term project outputs including presentations and demonstrations will be evaluated.

教材・参考文献

- Lab. Leaflet (PDF) ( [https://www.ht.sfc.keio.ac.jp/pamphlet2015_final_mini.pdf] )
- ICS (Institute for Cognitive Systems) TUM ( [http://www.ics.ei.tum.de] )
- その他，研究会ホームページの Projects and Publications を参照のこと

関連プロジェクト

総務省 CUBIQ プロジェクト，JST CREST OSOITE プロジェクト，JST CREST DEOS プロジェクト，EU-Japan Clou-T プロジェクト，他

---

MIC CUBIQ Project, JST CREST OSOITE Project, JST CREST DEOS Project, EU-Japan Clou-T Project and others

課題

来期の研究プロジェクトのテーマ予定

ソーシャブルなモノ，ロボット，情報空間の構成法

---

Sociable Things, Robots and Information Services

その他・留意事項

履修希望者は，必ず事前に（学期開始前なるべく春学期中に）メールで連絡，または適宜，オンラインで高汐を捕まえてください．

---

Students who want to join our lab should contact me by e-mail before the semester will start.

授業スケジュール