時区間に基づく動的イベントの記述と学習
マルチメディアイベントの認識
- 人のしぐさや表情・発話、ジェスチャーなどの動的なイベントを理解する
- 人間にとって自然な情報提示・応答のタイミングを抽出する
解決すべき課題
モダリティ間の時間関係（発話と唇の動きがどの程度ずれても良いかなど）や、息の合った、間合いの取れた状態をいかに表現するか
人間が自然に感じるような「タイミング・間」を記述学習する枠組みが必要
自律ダイナミクスに基づくイベントの区間記述
- 「同じダイナミクスに従う時間範囲」は、同じ区間として定義する
- 動的なイベントを区間の時間的な前後関係や包含関係として記述する
ひとつのダイナミクスは単純な変化のパターンを状態遷移によって生成予測できる
モデル：綿形システム
- 複雑な変化を単純な変化の組み合わせで表現可能
- 区間同士の関係によって時間幅やタイミングの学習が可能
１． ダイナミクスの自己組織化
〜観測される時系列データに内在するダイナミクスを見つけ出す〜
- 観測データを細かな時間で分割して、多くのダイナミクスを求める
- より近いダイナミクスを持つ区間を順に併合していく
- 併合した区間でダイナミクスを再度同定
- 区間内の予測誤差が大きく変化する時点で併合を停止
２． ダイナミクス間遷移の区間記述
分節化された区間から区間への遷移則を学習
学習するパラメータ
- 同じ区間に留まる持続時間分布
- 区間から区間への遷移確率
３． 区間に基づくマルチメディアイベント記述
モダリティ間の時間関係や会話の「間」を時区間で記述
区間の始点と終点の関係を学習する
参考文献
動的イベントの分節化・学習・認識のためのHybrid Dynamical System
川嶋宏彰, 堤公孝, 松山隆司, 第3回情報科学技術フォーラム(FIT2004), pp.175--178, 2004.9 (FIT論文賞)- 力学系の自己組織化に基づく唇映像の構造化
川嶋宏彰, 堤公孝, 松山隆司, 第7回情報論的学習理論ワークショップ(IBIS2004), pp.86--93, 2004.11 - 表情譜: 顔パーツ間のタイミング構造の記述とその自動獲得
西山正紘, 川嶋宏彰, 松山隆司, 情報処理学会研究報告(2005-CVIM-149), Vol.2005, No.38, pp.179-186, 2005.5 (卒論セッション優秀賞)
