Previous research on augmented reality has been mainly focused on augmentation of visual or acoustic information. However, humans can receive information not only through vision and acoustics, but also through haptics. Haptic sensation is very intuitive, and some researchers are focusing on making use of haptics in augmented reality systems. While most previous research on haptics is based on static data, such as that generated from CAD, CT, and so on, these systems have difficulty responding to a changing real environment in real time. In this paper, we propose a new concept for the augmented reality of haptics, the SmartTool. The SmartTool responds to the real environment by using real time sensor(s) and a haptic display. The sensor(s) on the SmartTool measure the real environment then send us that information through haptic sensation. Furthermore, we will describe the prototype system we have developed.

SmartToolとは「触覚におけるオーグメンテッドリアリティ」の研究を通じて生み出されたものです．オーグメンテッドリアリティ(Augmented Reality:AR)とは「現実世界の情報にバーチャルな情報が融合付加された状態」を示す言葉で，電脳コイルのような世界を考えてもらえば良いかと思います．しかし従来は視覚的なAR，つまり現実世界の「映像」にCGなどバーチャルな「映像」が融合付加された状態が主として考えられてきました．そこで我々は特に触覚に着目し，現実の触覚情報にバーチャルな触覚情報を重畳付加する「触覚におけるオーグメンテッドリアリティ」の研究に取り組んできました．このSmartToolではリアルタイムインタラクションを重視し，変化する環境に関する情報をセンサで取得し，その情報を触覚を通じて人に対して提示しています．このとき，現実の触覚情報とセンサ情報からなるバーチャルな触覚情報が融合して提示されることにより，医療などを含む実世界における作業の支援，あるいはエンターテイメントなどへの応用が可能になると考えられています．

 

 Publications:

• 渡邊淳司, 板垣貴裕, 野嶋琢也, 稲見昌彦, 舘暲: Beings – Haptic artwork with SmartTool -, 芸術科学会論文誌, Vol. 2, No. 4, pp. 116-122, 2003. 
• Takuya NOJIMA, Dairoku SEKIGUCHI, Masahiko INAMI and Susumu TACHI, “The SmartTool: A system for augmented reality of haptics“, Proceedings of IEEE Virtual Reality, (Mar.24.2002), pp.67-72, 2002. (PDF)
• 野嶋琢也, 稲見昌彦, 苗村潔, 川俣貴一, 伊関洋, 舘暲: 力覚のオーグメンテッドリアリティを用いた手術支援システムの研究, 日本VR医学会論文誌, Vol.1, No.1, pp.78-82, 2002. (author ver. PDF)
• 野嶋琢也, 関口大陸, 稲見昌彦, 舘暲:力覚提示を利用した実時間実環境作業支援システムの提案, 日本バーチャルリアリティ学会論文誌, Vol.7, No.2, pp193-199, 2002. (PDF)
• Takuya NOJIMA, Masahiko INAMI, Ichiro KAWABUCHI,Taro MAEDA, Kunihiko MABUCHI, Susumu TACHI, “An interface for touching the interface”, Conference Abstracts and Applications of SIGGRAPH 2001, Los Angeles, USA , p.125, 2001. (PDF)

Patents:

• T. Nojima, D. Sekiguchi, M. Inami, K. Mabuchi and S. Tachi, Smart-tool and method of generating haptic sensation thereof, US Patent Application 20030057973 , 2002
• 野嶋琢也, 関口大陸, 稲見昌彦, 満渕邦彦, 舘暲, 「スマートツール」, 特許第4660679号(平成23年1月14日登録)