#navi(contents-page-name): No such page: 當間研

目次

学籍番号:氏名

025634G:玉城絵美

タイトル

単眼ビデオカメラによるダブルハンドマウスの提案

概要

 本研究では、安価な単眼のビデオカメラのみを使用したダブルハンド
マウスを提案し、実装を試みる。ダブルハンドマウスとは、両手を3次元
で認識する事によりコンピュータ操作を実現する入力デバイスインタフェ
ースであり、複数のポインタ操作をともなったインタフェースである。し
かし、一般的なコンピュータ操作環境の中で、単眼ビデオカメラのみで指
先の動作を3次元認識するには、情報量の少なさや背景・照明からのノイズ
など多くの障害があり、その問題解決のための基礎研究を行う。また、複
数ポインタを用いた操作手法の提案を行う。

本文

1. はじめに

 コンピュータが生活のあらゆるところに使用される現代、老若男女問わず
コンピュータに触れる機会が多くなった。また、技術の進歩に伴い、GUIの
操作感だけでなく作業効率も飛躍的に向上した。入力デバイスやインタフェ
ースの研究開発も盛んに行われている。しかしながら、キーボードとマウス
以来画期的で効率良い入力デバイスは普及していない。本研究ではマウスを
開発したアラン・ケイ*1の「コンピュータのユーザー・インターフェイスは人
間の直感的な理解と感性の上に組み立てなくてはいけない」の言葉通り、直
感的で理解しやすく効率の良い次世代インタフェース・ダブルハンドマウス
を提案し、その実現に向けた基礎研究を行う。

2 コンピュータ操作に関する現状

 20代から80代まで8866人(内60歳以上の割合31%)を対象としたコンピュー
タ操作のつまづきについて報告された調査結果を以下の図に示す[1]

figure1.jpg
図1: 全体的にみるつまづきの種類

figure2.jpg
図2: 初心者におけるつまづきの種類

 調査の結果から、全体では46%、初心者では56%の対象者がマウス操作全般
わずらわしく感じている事がわかる。調査報告によると、全体ではクリック・ダ
ブルクリックの操作、初心者ではそれに加えてドラッグなどのマウス操作が困難
とされている[1]。この事より、直感的な使用方法だけでは補えない知識慣れ
必要とする事がわかる。本研究では、これらの点を改善した、直感的な分かりや
すさ慣れやすさを踏まえた上で、さらに作業効率も良い入力デバイスシステム
を提案する。

3 認識方法

 両手の3次元認識方法として、まずは操作を行っている両手の上部前方から単
眼ビデオカメラで撮影し、カラー動画像を取得する。個人カラー情報と推測した
背景画像から両手と思われる部分を抽出し、ノイズを取り除く。その後、輪郭を
とり、変曲点*2が一番高い所を指先(ポインタ)とする。さらに、手の甲と指先を分
離して腕の動き情報を取得する。指先の追跡を行い、オプティカルフロー*3を求め
て、追跡の効率化と3次元認識をする。ノイズ消去には平滑化*4・拡大縮小処理*5
面積の大小による判別、手の甲と指先の分離にも拡大縮小処理、指先の追跡と3次
元認識にはモンテカルロ法*6とLucas-Kanade法*7[2]を組み合わせたものを使用する。


image.jpg
図3: 実験環境

flow.jpg

図4: 認識フローチャート

4 ダブルハンドマウスと複数ポインタ

4.1 ダブルハンドマウスの定義

 本研究でのダブルハンドマウスとは
何も持たない・装着しない両手でGUI操作できる一般的な操作環境で使用可能
の3要素を満たす新しい入力デバイスとして提案する。

4.2 複数ポインタシステムとは

 複数ポインタシステムとはダブルハンドマウスの機能の内のポインタGUIである。
認識した指先座標を元に、利き手を主作業(フォアグラウンド)、もう片方を副作業(バ
ックグラウンド)とする。ポインタ数は2個以上となっており、主作業に優先度があ
る。

5 実験

表1の環境で実験を行った。

表1: 環境
hyo.jpg

言語はprocessing*80090から0095を使用した。
また、 [3] [4] [5]の資料も参考にして実験を行った。

5.1 カラー判別のみの両手抽出

個人の手の色情報のみで手の抽出実験を行った。

colors2.jpg

図5: カラー判別結果

 意外にもカラー判別のみでの両手の抽出は上手く行く事がわかった。しかし、図5
からもかわる通り、いくら個人の肌色情報を持っていたとしても、手に装飾品を
つけている場合には対応できない。その上、急激な照明の変化には耐えられない。
やはり他の抽出方法と合わせる必要性がある。

5.2 背景推測処理

 背景推測処理とは1フレーム前の画像と現在の画像を比較し距離を求め、ほぼ変
化がないければ推測背景に一定割合だけ色情報を追加する事により推測を行う処理
の事である。
 具体的にはRGB値の3次元ベクトル要素をもつ動画像をM、推測背景画像をPとし、
現在のフレーム数をn、ピクセル位置をi、αを推測背景に現画像を追加する割合、と
した時式(1)により各ピクセルごとの画像間の3次元ベクトル距離Dを求める。

m1.jpg

もし、3次元ベクトル距離Dの値が小さい場合は、式(2)の様に推測背景画像Pに色
情報を追加する。

m2.jpg

以上の処理をフレームの全ピクセルに行う事により背景画像を推測する。

 これにより、カラー判別に加えて照明の変化などの対応策として、推測した背景
画像以外を手とする抽出方法する事が可能となる。

ダウンロード:filewin_BgSub_JMyron2.zip

image1.jpg

図6: 背景推測処理結果 

 図6の画面左が現在の動画像、画面右が推測背景画像となっている。推測背景画
像に残像が残るのは仕方ないとしても、操作が一時停止した場合の対応策も考えな
ければならない。また、しきい値やαの最適化が必要である。

6 まとめと今後の課題

 本稿ではダブルハンドマウスの提案をした。現段階は調査と実装化の最中である。
現行の処理手段においては動画像からの両手抽出は綺麗に行える事が確認できた。
だが、照明環境が変わった場合は抽出率が落ちたため、それを解決するためにRGB
処理からHVC*9への移行を検討している。また、オプティカルフローでの
追跡、個人カラー情報の管理方法、複数ポインタ操作システムの構築と最適化の実
験、高速化などの課題について今後研究を進めて行く。

7 参考文献

7.1 参考資料

[1] 森 純子 園田学園女子大学
高齢者のパソコン操作におけるつまずきについて〜マウス体操の開発とその評価〜

[2] Lucas, B.D. and Kanade, T.,
“An Iterative Image Registration Technique with an Application to Stereo Vision,”
Proc. DARPA Image Understanding Workshop, pp.121-130, 1981

[3] 蔵田武志 興梠正克 加藤丈和 大隈隆史 坂上勝彦 産業技術総合研究所 知能システム研究部門
ハンド マウスとその応用:色情報と輪郭情報に基づく手の検出と追跡
映情学技報, VIS2001-103,Vol.25,No.85, pp.47-52 (2001)

[4] 松井 望 山本 喜一 ,慶應義塾大学大学院 理工学研究科
バーチャルキーボード ビデオ画像からの頑健な実時間指先検出の実現
2000年3月20 日本ソフトウェア科学会オブジェクト指向コンピューティング研究会
[5] 吉村 康弘 宮崎大学
指先情報を用いたVision-based Interface の提案
2005年2月21日 宮崎大学 情報システム工学科 卒業論文

7.2 参考リンク

関連資料

別刷りPDF添付

プレゼンテーションファイル添付

関連リンク

コメント

注釈


*1 アラン・ケイ:マウスなどのパソコン環境を次々と発案したアイデアパーソン、ジャズ演奏家。詳細
*2 変曲点:極大点
*3 オプティカルフロー:画像中のあるてんや図形が次の瞬間にどのような方向へ、どの程度度の距離を移動するかを、示すベクトルのこと。詳細
*4 平滑化:画素ごとの濃度値の細かい変化 を減らし滑らかな画像にする処理の事。詳細 
*5 拡大・縮小処理:画像中の描画要素をn回拡大、n回縮小する処理。ノイズ除去や切り離し処理に使用される。詳細
*6 モンテカルロ法:乱数を用いたシミュレーションを何度も行なうことにより近似解を求める計算手法。詳細
*7 Lucas-Kanade法:詳細
*8 processing:別名p5、proce55ing。Javaで作成されたプログラミング言語と開発環境。 今回は、動画像取得用追加ライブラリのJMyronも使用した。詳細
*9 HVC: H色相、V明度、C彩度で表された色表記詳細