文章编号:1007-757X(2021)02-0008-04
朱惠娟，王军！朱俊
(南京理工大学紫金学院计算机学院，江苏南京210046)
摘要：Leap Motion是采用双目视觉原理来对手部进行距离的精准测量的体感交互设备，因此常被用作交互式沉浸系统的开发"以Leap Motion传感器为手势识别设备，采用TBD(Track-Before-Detect检测前跟踪)技术对手部进行追踪，根据两个摄像机进行深度成像，从而提取人体手部各关节点的深度信息并建立手部立体模型"最后，通过Cinema4D创建虚拟环境仿真要素，与Unity3D结合实现商用沉浸式艺术展示的效果"经试验证实该系统可通过手势交互实现较好的沉浸感，表明了该系统实现方法的实用性和有效性°
关键词：Leap Motion；体感交互；虚拟现实；沉浸体验
中图分类号：TP391文献标志码：A
Research on Immersive Somatosensory In t eract i o n Sys t em Based on Leap Mo t i on
ZHU Huijuan,WANG Jun,ZHU Jun
(Computer College,Nanjing University of Science and Technology Zijin College,Nanjing210046,China) Abstract:Leap Motion is a somatosensory interactive device that uses binocular vision principle to accurately measure the dis-anceofthehand.Therefore!itisoftenusedforthedevelopmentofinteractiveimmersionsystem.TheLeap Motionsensoris usedasgesturerecognitiondevice.ByusingLeap Motionsensorasagesturerecognitiondevice!TBD(trackbeforedetect) technologyisusedtotrackthehand!andtwocamerasareusedfordepthimaging!soastoextractthedepthinformationof each joint point of human hand and establish a three-dimensional model of hand.Finally,Cinema4D is used to create virtual en-vironmentsimulationelements!combined with Unity3Dtoachievetheefectofcommercialimmersiveartdisplay.Theexperi-mental results show that the system can achieve be ter immersion through gesture interaction!which shows the practicability andefectivenessofthesystem.
Key words:Leap Motion；somatosensory interaction；virtual reality；immersive experience
0引言
我国对于体感交互技术的相关研究主要开始于《国家中长期教育改革和发展规划纲要(2010-2020年)》和《教育信息化十年发展规划(2011-2020年)》掀起的技术、应用和教育信息化理论三方面的研究浪潮&
2011年胡赢⑴在文中提到“所谓的，体感交互，就是指'使用者通过人体姿态来控制计算机
在教育领域，李青和王青提出“体感交互技术在教学中可作为教学工具，将体感和白板结合，可以扩展电子白板的功能2同时与现有教学形式相结合，推出情景化教学、个别化学习及游戏化学习等教习方式，极大地提升孩子的学习兴趣。
在游戏娱乐领域，于洪达⑶运用双画立体投影显示系统及Kinect网络，实现将3D游戏中的同一个场景分别输出到不同的角度的玩家眼中，使得不同视角的玩家所观察到的环境相互独立&
发达国家在动作捕捉领域的研究已经进入了实用化阶段，市面上有许多商品化的运动捕捉⑷设备，例如Sega Game、MotionAnalysis、FilmBox等&以MotionAnalysis来说，其应用领域十分广泛，在电影艺术方面有大量的特技采用MotionAnalysis系统进行采集制作。美国好莱坞建立了一个基于MotionAnalysis系统且有16镜头的工作室，许多著名电影均使用了该系统的动作捕捉技术，例如《猩球崛起》《阿凡达》《魔戒》《黑客帝国》等&
可见，随着计算机技术的不断进步，人机交互技术有了巨大的突破，体感交互正在不断地出现在人们的
视野中&本文即采用Leap Motion双目视觉成像的特点，与Unity3D结合实现了商用沉浸式艺术展示的效果。自定义不同的手势动作，将Leap Motion获取到的关键手势信息进行分类识别，给用户带来沉浸式体验感&
1设备原理
1.1体感交互
基金项目：江苏省高校自然科学研究面上项目(18KJB520023);2020年全国高等院校计算机基础教育教学研究项目(2020-AFCEC-278)；南京理工大学紫金学院2020年教育教学改革与研究重点(20200103001)；南京理工大学紫金学院校级科研项目(2019ZRKX0401007, 2019ZRKX04010062020ZRKX0401005)；南京理工紫金学院2020年度校级精品课程建设项目(03145011)
作者简介：朱惠娟(1985-)，女，硕士，讲师，研究方向：虚拟现实、三维仿真。
王军(1998-)，男，本科，研究方向：数字媒体技术&
朱俊(1986-)，女，硕士，副教授，研究方向：推荐算法&
论是肢体动作还势%眼动、语音等交互命令，都需要体感传感作为人机交互之间的媒介，例如Leap Motion传感行手势交互；使用眼动仪囚捕捉眼球转动、视线聚焦点信息；使用Kinect获取肢体动作信息等&
度来看，动作捕捉的本质就、跟踪、记录物体空间的&说，典型的运动捕捉设备如口表1所示。
表1一般运动捕捉系统的组成部分及作用组成部分描述
传感器跟着装置，向动作捕捉系统提供物体的运动信息
负责信号捕捉，不同的运动捕捉系统使用不同的信号捕捉设备备
数据传输设备数据处理设备将运动数据从信号捕捉设备快速准确地传到计算机系统进行处理
将经过动作捕捉系统捕捉的数据修正、处理，并与型完画制作
Leap Motion®体感控制学式捕捉设备, Leap Motion传感器定位精度高，两颗120帧率的摄像头使作捕捉有着较高的，体积小巧与使用，而就手势处理来说.Leap Motion传感器的4立方识别已够，且Leap Motion表面使用的滤镜完全见光，纟，两颗灰像头无论在黑暗中还强射能完美得到半灰度的红像，无需再加任何波&
以上原因，本系统采用Leap Motion传感器作为体感交互部分的体感传感器&
1.2Leap Motion设备信息
1.2.1Leap Motion基本原理
Leap Motion是一款由体感控制器制造公司Leap在2013年发布的面向PC及苹果电脑MAC的体感控制器如口图1所示。
8cm
1.5cm IR Receiver IR Receiver
IR Emittei^^IR Emitter Emitter
3ci
男2cm J■
图1Leap Motion结构实体图（左）和Leap Motion结构示意图（右）Leap Motion控制由两个高清的摄像头、光学传感个红外LED灯组成&Leap Motion采用双目视觉原理来对手部进行距离的精准测量，根据内
置的摄像头从不的角度捕捉画面人类的立体视觉，纟势：维空间的位置信息进行判断。Leap Motion以超过每秒200的速度部，纟感器上方的25毫米到600间的倒四棱锥体，精确程度1/100毫米。
1.2.2Leap Motion基本数据
Leap Motion的基计算机视理的识别，纟立体视觉⑺的方&其广泛，小到Kmect设备，大机装配等高精度的作业&目前比较有代表性的就是Leap Motion的手势识别，微软开发的头戴式显示器HoloLens上该&双目立体视方法如口图2所示&
Leap Motion的API为开发者提供了一系列追踪手部运动的数据信息，官方文档中定期发送的部的信息“帧（Frame）o每包含了Leap Motion的系基本定数据纟数据的（hands）的列表和信息、、指（fingers）的列表和信息、所工具（tools）的列表和信息（工具定义、笔直的，比手指长的东西，例如）、指向（ponables），即所有手指和工具的列表及信息和手势（gestures）o帧数据下所包含的数据层级示如口图3所示&
图3Frames（帧数据）所包含的数据层级示意图
1.2.3Leap Motion的信息特征提取
Leap Motion是基于双目视觉的手势识别设备，利用双目立体视觉成像原理，通个摄像机进行深度成像，
提取部的位置信息，根据深度立手部立体模型后信息识别手势&人体手部的骨骼位如口图4所示。
4部骨示
每根手指包含了许多个骨，从上别为远端指骨、中端指骨、近端指骨、掌骨。其中拇指指不同，只根指骨，并骨&LeapMotion传感识别出每只手的指，同时记指的空间坐标&-程，Leap Motion指的掌骨设为长度为零的掌骨，每根手指4根骨头&
2系统设计
无论是在展馆展览还是课堂辅助教学应用该系统，系统
的交互方式通的创新性来吸引游客或者学生的&展示内容，且能被大多数1理解该内容所表达的意义！论该内容教学或者：的目的&，本系统以“花海”的展示为主，通过自定义的势控制花的展示，表的。在创新方面，则是选择以数字媒体的形式展现！
科技感&展览吸引眼球！常的商业展览等，提的参与度系统设计的核心交互功能，如图5所示&
|程序开始|
LeapMotion初始化
“花”进入“待命”状态
手退出l~T转动无变化|
手进入
1初始状态1「I旋转手势旋转|
T开始变化手毎卜|开始开花］
冷手势交互|--1放大缩小手势H放大缩小I
变换颜手孙H颜改莎|
T加速变化手讣|变化加速|图5核心交互功能
3核心手势交互功能的开发
3.1变化加速
Leap Motion传感器未检测到手的情况下，“花”处于不“生长”的，当传感入时，“花”便开始产化，与自然界的的特点类似，此时“花”变化速度缓慢&通互动作！化速度增加！更改动画animator播放速度的方法来加速“花”的“生长”。交互势为数字52如图6所示&
图6交互手势“8”
手势“8”的 方法为使用bool类型的方法IsEight (Hand hand)，该方法定义了列表List"Finger〉unt初始值为0，然后遍历指，若count值为0、1!指展count；若count值1，展‘count。最后当count值为5时返回true。
32
互'展，交互［放大&互可以大，以方便观察，如图7示。
图7交互手势“8”
在实现变大交互的部分，定义了bool类型方法isOpen-FullHand(Hand hand)判断每手指展状态&
3.3颜变换
上下左右移动时，考虑到正常情况下手会有抖动，因此设定一个常量smallestVelocit=4f用于判定手处于静止状态，当手的移动速度hand.PalmVelocity.Magnitude 小于这个值时isStationary返回true，手视为静止状态如口图8、图9所示&
手势“上”识别手势“下”识别
8
势“”识别势“”识别
图9
完成手势判定之后，调方法完成交互命令，取网格组件的方式，根据交互手势的］，分别修质的、红、蓝以及初始&
4沉浸式体感交互系统
4.1系统呈现效果
本系统使用手势进行交互，对于初次使用LeapMotion 传感备次本系统的，操作方式及手势细加以说明如口图10所示&
图#0手势学习页面
进入场景后，用户的起始展示台较远的一个通道内，类行动，入最终宝弱
的密室中的场景如口图11所示&
图##虚拟场景
南京理工大学紫金“花朵”被置于展示台上，昏暗的环境配以高光来突出“花”的与，以通过“W”“A”“S”“D”操控L进行自由，标来观察&
展示!会系统提示!以字“G”入的操控面!如12示。
图12展示页面
在手势交互界面，可以势的性状，通过“OK”手势的,
态，如图13所示&
图13“OK”手势控制
通过数字8的手势可以加的开放速度，如图14所示。
14控制
(上接第3页)
比本域访问增加了决策时间，尤其是在并发数150后，由于信任度计算大导致
加。但考虑到电力中！体的本域访，所以，可以的决策时间&
5
有效的安全防护是电力云安全运作的前提，访问控制是云平台安全的第一道安全防线&本文在abac访问控制策略的基础上提基于信任度的属控制模型TM-ABAC，模型引入信任度对属行信任评价，根据主体的访问行历史记录计算信任度，并调整的控制策略以及开放合适的权限，从而能够实现细粒度访问控制&通证了本文所提模型的！一步化奠定了基础，也为电力资控制提供新的解决方案&
参考文献
)1*沈亮，王栋，玄佳兴.电力信息系统云安全风险分析与5总结
本系统利用Leap Motion采集自行定义的关键手势动作的精确位置及方向信息，并完沉浸式体感交互系统的计与开发，该类似的商业作品展示等领域，也为Leap Motion人机交互新的灵感&，由专业人员，画面效果，将在今后工作中研究并&
参考文献
)1*胡赢.视频体感交互试衣系统开发[D*.武汉：华中科技大学，2012.
[2*李青，王青.体感交互技术在教育中的应用现状述评[J*.远程教育杂志,2015,33(1)：48-56.
[3*于.基于立体双画技术的射击影院系统[D*.济南：山东大学，2015.
)4*吴少军，胡燕红.动作捕捉技术发展新趋势及其对影视工业影响简论[J*.文天地，2012(3):129.
)5*于洋，姜英杰，王永胜，等.瞳孔变化在记忆加工中的生物标记作用[J*.心理科学进展，2020,28(3)：
416-425
[6*王红全，淮永建.基于Leap Motion手势识别方法在树木交互的应用[J*..应用与软件，2018,35(10)：
153-158
)7* 曹之乐，严中红，王洪.双目立体视觉匹配技术综述[J*.重庆理工大学学报(自然科学)，2015,29(2)：
70-75
[8*张牧.体感交互设计在新媒体艺术中的应用研究[J*.
传媒论坛,2018,1(23):12.
(收稿日期:2020.07.29)
评估技术)J*.电信科学,2018,34(2):153-160.
[2*罗霄峰，王文贤，罗万伯.访问控制技术现状及展望)J*.信息网络安全,2016(12):19-27.
[3*王继业，范永，余文豪，等.基于细粒度访问控制的大数据安全防护方法)J*.计算机技术与发展，2019,29
10):134-140
)4*史国振，王豪杰，慈云飞，等.动态自适应访问控制模型)J*.通信学报，2016,37(11)：49-56.
)5*于芳芳，马建红.基于多优化技术的ABAC模型)J*.
应用，2015，3211)+312-316
[6*刘莎，谭良.Hadoop云平台中基于信任的访问控制模型)J*.计算机科学,2014,41(5)：155-163.
)7*王静宇，赵山杉，郑雪峰.一种基于信任评估的云服务属性访问控制模型)J*.微电子学与计算机，2015,32
12)+1-7
)*刘晓威，周雷，王国军.基于环境属性的访问控制系统设计与实现)J*.计算机工程，2018,44(2)：171-176.
(收稿日期：2020.06.01)
发布评论