研究者詳細 - 中澤　篤志

Corneal Reflection Analysis for Point of Gaze Estimation and Other Applications

Atsushi Nakazawa, Christian Nitschke

The 7th International Workshop on Robust Computer Vision 2013年

Arm Pose Copying for Humanoid Robots

Yasser Mohanamad, Toyoaki Nishida, Atsushi Nakazawa

2013 IEEE INTERNATIONAL CONFERENCE ON ROBOTICS AND BIOMIMETICS (ROBIO) 897 - 904 2013年

記述言語：英語出版者・発行元：IEEE

Learning by imitation is becoming increasingly important for teaching humanoid robots new skills. The simplest form of imitation is behavior copying in which the robot is minimizing the difference between its perceived motion and that of the imitated agent. One problem that must be solved even in this simplest of all imitation tasks is calculating the learner's pose corresponding to the perceived pose of the agent it is imitating. This paper presents a general framework for solving this problem in closed form for the arms of a generalized humanoid robot of which most available humanoids are special cases. The paper also reports the evaluation of the proposed system for real and simulated robots.

DOI： 10.1109/ROBIO.2013.6739576

角膜イメージング法を用いたパララックス誤差に頑健な注視点推定法

中澤篤志, クリスティアンニチュケ

画像センシングシンポジウム 2013年

角膜イメージング法を用いた校正無し注視点推定

中澤篤志, 中澤篤志, ニチュケクリスティアン

日本ロボット学会学術講演会予稿集(CD-ROM) 31st 2013年

I see what you see: Point of Gaze Estimation from Corneal Images

Christian Nitschke, Atsushi Nakazawa, Toyoaki Nishida

2013 SECOND IAPR ASIAN CONFERENCE ON PATTERN RECOGNITION (ACPR 2013) 298 - 304 2013年

記述言語：英語出版者・発行元：IEEE COMPUTER SOC

Eye-gaze tracking (EGT) is an important problem with a long history and various applications. However, state-of-the-art geometric vision-based techniques still suffer from major limitations, especially (1) the requirement for calibration of a static relationship between eye camera and scene, and (2) a parallax error that occurs when the depth of the scene varies. This paper introduces a novel concept for EGT that overcomes these limitations using corneal imaging. Based on the observation that the cornea reflects the surrounding scene over a wide field of view, it is shown how to extract that information and determine the point of gaze (PoG) directly in an eye image. To realize this, a closed-form solution is developed to obtain the gaze-reflection point (GRP), where light from the PoG reflects at the corneal surface into a camera. This includes compensation for the individual offset between optical and visual axis. Quantitative and qualitative evaluation shows that the strategy achieves considerable accuracy and successfully supports depth-varying environments. The novel approach provides important practical advantages, including reduced intrusiveness and complexity, and support for flexible dynamic setups, non-planar scenes and outdoor application.

DOI： 10.1109/ACPR.2013.84

Virtual Dance Hall : 身体動作を用いたヴァーチャルキャラクターとのダンスインタラクション (マルチメディア・仮想環境基礎)

安永卓哉, 中澤篤志, 竹村治雄

電子情報通信学会技術研究報告 : 信学技報 112 ( 221 ) 61 - 66 2012年9月

記述言語：日本語出版者・発行元：一般社団法人電子情報通信学会

モーションキャプチャを用いたキャラクターアニメーションは,映像コンテンツやゲーム等のエンターテイメント分野に広く利用されている.本稿では,この技術を用いたインタラクティブシステムの1つとして,ユーザーがヴァーチャルキャラクターとダンスインタラクションを行う「ヴァーチャルダンスホール」システムを提案する.ユーザの体の動きはKinectセンサを用いて3次元的に捉えられ,動きの盛り上がりを検出する.この動きの盛り上がりに同調するようにキャラクタの動きをモーションキャプチャデータを用いて生成すると,ユーザはキャラクタと共にダンスを演じる感覚を体験できる.本手法は,音楽解析に基づいた舞踊動作生成手法に基づいており,音楽のリズムとモーションキャプチャデータのリズムを合わせるようにモーション遷移グラフを探索することでキャラクタの動作を生成しているが,それに加え,Kinectセンサから取得したユーザの盛り上がりとモーションキャプチャデータのの盛り上がりのマッチングを行い,モーション遷移グラフを辿ることで,ユーザーとのインタラクティビティを実現する.

角膜表面反射像の超解像処理による高解像シーン画像の推定(一般セッション,パターン認識によるインタフェースの未来)

ニチュケクリスティアン, 中澤篤志

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 112 ( 225 ) 65 - 70 2012年9月

記述言語：日本語出版者・発行元：一般社団法人電子情報通信学会

角膜表面反射像は,人の取り巻くシーンの光が入・反射したものであり,その画像を解析すればシーンの状況を復元できることが知られている.しかし実際には画像の品質が限られているため復元されたシーン画像の解像度も低い.この問題を解決するため我々は,複数の角膜表面反射画像を統合して超解像処理を行い,解像度の高いシーン画像を復元する手法を提案する.復元された高品質のシーン画像から,1枚の撮影像では観察できなかった細かな情報も得ることができる.本手法は角膜を球面と見なし,角膜表面反射の撮影像を3次元空間に逆投影することにより角膜周辺の光線マップを復元する.複数の画像から得られた光線マップを統合し,再構築型の超解像処理を適用する.このため,眼球のみならず球面ミラー等の非単一焦点をもつ反射光学系にも適用可能である.実験では,高周波数テクスチャのあるシーンが投影された角膜反射画像や金属球の反射画像から超解像処理を行い,本手法の有効性を確認した.

Wiimote 及び Kinect を用いたユーザコントロールを導入した音楽に合った舞踊動作の自動生成

安永卓哉, 中澤篤志, 竹村治雄

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 112 ( 225 ) 23 - 28 2012年9月

記述言語：日本語出版者・発行元：一般社団法人電子情報通信学会

近年,キャラクターアニメーションに関する研究が数多く行われ,エンターテイメントの分野に応用されている.本稿ではユーザの盛り上がりをWiimoteとKinectを用いて取得し,舞踊アニメーションの動作生成に導入する手法を提案する.モーションキャプチャデータを用いて,ユーザの盛り上がりに同調するようにキャラクタの動きを生成することでユーザとのインタラクティビティを実現する.本手法では,音楽データからは楽曲構造解析によって曲をセグメントに分割し,リズム特徴量を抽出する.モーションキャプチャデータからは,モーションのリズムと盛り上がりを抽出する.これらの解析結果から,音楽のリズムと高い相関を示す動きセグメントを取り出し,モーション遷移グラフを生成する.舞踊生成時はそれぞれのセンサデータから取得したユーザの盛り上がり値とモーションの盛り上がりのマッチングを行い,モーション遷移グラフを探索することで舞踊動作を自動生成する.この手法を用いて,ヴァーチャルキャラクタとインタラクティブにダンスを行えるアプリケーションを開発し,それぞれのインタフェースについて考察を行った.

大阪大学における新入生の普通教科「情報」に関する調査報告

間下以大, 清川清, 中澤篤志, 竹村治雄

情報教育シンポジウム2012論文集 2012 ( 4 ) 29 - 34 2012年8月

大阪大学の情報教育システム

中澤篤志, 間下以太, 清川清, 竹村治雄

研究報告教育学習支援情報システム（CLE） 2012 ( 8 ) 1 - 5 2012年5月

センサ内蔵人形を用いた大規模モーションキャプチャデータの検索手法

沼口直紀, 中澤篤志, 白鳥貴亮, ホギンスジェシカ

電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 111 ( 430 ) 41 - 46 2012年2月

記述言語：日本語出版者・発行元：一般社団法人電子情報通信学会

大規模な動作データベースからユーザーの所望のデータを検索するために,センサを内蔵した人形インタフェースを用いる手法を提案する.このセンサは人間と同様の形状・自由度であるため,キーワード等の方法に比べ直感的に検索できる.我々は人形動作と動作データの比較手法として,部分空間法を用いた異常データ検出の考え方に基づき,人形動作と動作データを互いの部分空間に投影することで比較を行う双対部分空間法を開発した.実験では,ユーザーの入力に対し時系列データを比較する異なる5種類のマッチング法を用いて検索を行い,インタフェースの操作性,検索精度および検索時間を評価した.

加速度センサによるユーザコントロールを導入した音楽に合った舞踊動作の自動生成

安永卓哉, 中澤篤志, 竹村治雄

研究報告音声言語情報処理（SLP） 2012 ( 25 ) 1 - 6 2012年1月

記述言語：日本語出版者・発行元：一般社団法人情報処理学会

近年，キャラクタアニメーションに関する研究が数多く行われ，エンターテインメントの分野に応用されている．我々は従来からモーションキャプチャデータベースを利用して音楽に合った舞踊アニメーションを生成する手法を提案してきた．本稿ではこの手法を拡張し，ユーザの動きの盛り上がりを加速度センサを用いて取得し動作生成に導入することで，インタラクティブにキャラクタの動きの盛り上がりをコントロールできるシステムを開発した．音楽データからは楽曲構造解析によって曲をセグメントに分割し，リズム特徴量を抽出する．モーションキャプチャデータからは，音楽のリズムと高い相関を示す動きを候補セグメントとして取り出す．舞踊生成時は候補セグメントから，加速度センサによる盛り上がりの相関および隣接する候補セグメント同士の連結性をリアルタイムで考慮することで最適な動きを選択する．この手法を用いて，加速度センサによりインタラクティブに舞踊動作をコントロールできるアプリケーションを開発した．This paper presents a new approach for synthesizing dance performance matched to input music, based on the emotional aspects of dance performance. Our analysis method extracts motion rhythm and inten- sity from motion capture data and musical rhythm, structure from musical signals. We rst extract candidates of motion segment sets whose features are matched to those of music segments. For synthesizing dance perfor- mance, we select the motion segment set whose intensity by accelerometer and connectivity is matched to that of music segments. We evaluate all synthesizing time and matching value.

Human-computer dance interaction with realtime accelerometer control 査読

Takuya Yasunaga, Atsushi Nakazawa, Haruo Takemura

MM 2012 - Proceedings of the 20th ACM International Conference on Multimedia 1157 - 1160 2012年

記述言語：英語

Motion-capture-based character animations are widely used in computer graphics and interactive games.In this paper, we show a novel approach to create dancing character animations that react to input music and an accelerometer manipulated by a user. Since the sensor reads express intensities of users' body movements, the system can synthesize character motions whose intensities are synchronized to those of users. Our system consists of analysis phase and synthesis phase. In the analysis phase, the musical beat and segments are detected from input sound, and motion rhythm and intensities are found from motion capture data. With the results of this analysis, we generate a motion graph that can generate character motions matched to the musical rhythm. In synthesis phase, the system receives the output data from an accelerometer and traverses the motion graph according to the matching result between the sensor data and the motion intensity. As the result, our system adds an interactive component to live dancing performed by virtual characters. © 2012 ACM.

DOI： 10.1145/2393347.2396407

Scopus

大阪大学の情報教育システムに関する現状と展望

中澤篤志, 間下以大, 清川清

大学ICT推進協議会年次大会論文集 5p 2012年

Super-Resolution from Corneal Images

Christian Nitschke, Atsushi Nakazawa

PROCEEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 2012 2012年

記述言語：英語出版者・発行元：B M V A PRESS

The corneal imaging technique enables extraction of scene information from corneal reflections and realizes a large number of applications including environment map reconstruction and estimation of a person's area of view. However, since corneal reflection images are usually low quality and resolution, the outcome of the technique is currently limited. To overcome this issue, we propose a first non-central catadioptric approach to reconstruct high-resolution scene information from a series of lower resolution corneal images through a super-resolution technique. We describe a three-step process, including (1) single image environment map recovery, (2) multiple image registration, and (3) high-resolution image reconstruction. In a number of experiments we show that the proposed strategy successfully recovers high-frequency textures that are lost in the source images, and also works with other non-central catadioptric systems, e.g., involving spherical mirrors. The obtained information about a person and the environment enables novel applications, e.g., for surveillance systems, personal video, human-computer interaction, and upcoming head-mounted cameras (Google Glass [5]).

DOI： 10.5244/C.26.22

Virtual Dance Hall : 身体動作を用いたヴァーチャルキャラクターとのダンスインタラクション (第91回ヒューマンインタフェース学会研究会人工現実感および一般)

安永卓哉, 中澤篤志, 竹村治雄

ヒューマンインタフェース学会研究報告集 14 61 - 66 2012年

センサ内蔵人形を用いたモーションキャプチャデータの検索手法

沼口直紀, 中澤篤志, 白鳥貴亮, ジェシカホギンス

研究報告グラフィクスとCAD（CG） 2011 ( 1 ) 1 - 8 2011年11月

記述言語：日本語

モーションキャプチャは現在の映像やゲームの制作現場において必須の技術である．特に最近では安価なモーションキャプチャシステム等の開発もあり，モーションキャプチャデータ（動作データ）の一般ユーザーへの利用も広がっている．このような背景から，大規模なモーションキャプチャデータベース（動作データベース）がインターネット上に公開され，ダウンロード・利用できるようになっている．本研究では，大規模な動作データベースからユーザーの所望のデータを検索するために，センサを内蔵した人形インタフェースを用いる手法を提案する．このセンサは 17 自由度を持ち，人と同様の形状・自由度であるため，キーワード等の方法に比べ直感的に検索できる．我々は人形動作と動作データの比較手法として，部分空間法を用いた異常データ検出の考え方に基づき，人形動作と動作データを互いの部分空間に投影することで比較を行う手法を開発した．実験ではユーザーテストを行ってインタフェースの操作性や検索精度および検索時間を評価し，提案手法の有効性を確認した．Intuitive and efficient retrieval of motion capture data is essential for effective use of motion capture databases. In this paper, we describe a system that allows the user to retrieve a particular sequence by performing an approximation of the motion with an instrumented puppet. This interface is intuitive because both adults and children have experience playacting with puppets and toys to express particular behaviors or to tell stories with style and emotion. The puppet has 17 degrees of freedom and can therefore represent a variety of motions. We develop a novel similarity metric between puppet and human motion by computing the reconstruction errors of the puppet motion in the latent space of the human motion and those of the human motion in the latent space of the puppet motion. This metric works even for relatively large databases. We conducted a user study of the system and subjects could find the desired motion with reasonable accuracy from a database consisting of everyday, exercise, and acrobatic behaviors.