I nte rna t io na l J o urna l o f   E lect rica l a nd   Co m p ute E ng in ee ring   ( I J E CE )   Vo l.   7 ,   No .   3 J u n e   201 7 ,   p p .   1308 ~ 1 3 1 5   I SS N:  2088 - 8708 DOI : 1 0 . 1 1 5 9 1 / i j ec e . v 7 i 3 . p p 1 3 0 8 - 1315           1308       J o ur na ho m ep a g e h ttp : //ia e s jo u r n a l.c o m/o n lin e/in d ex . p h p /I JE C E   Rea l Ti m e In te ra ctive Pr esenta tion  Appara tus b a sed  on Dep th  I m a g e Rec o g nitio n         Ah m a d H o irul B a s o ri O m a M .   B a ruk a b   F a c u lt y   o f   Co m p u ti n g   a n d   In f o rm a ti o n   T e c h n o lo g y   Ra b ig h ,   Kin g   Ab d u laz iz Un iv e rsity ,   Je d d a h ,     Kin g d o m   o f   S a u d A ra b ia       Art icle  I nfo     AB ST RAC T     A r ticle  his to r y:   R ec eiv ed   J an   2 1 ,   2 0 1 7   R ev i s ed   Ma y   1 ,   2 0 1 7   A cc ep ted   Ma y   1 4 ,   2 0 1 7       T h e   re se a rc h   o n   h u m a n   c o m p u ter  in tera c ti o n .   Hu m a n   a lrea d y   th in k in g   t o   o v e rc o m e   th e   wa y   o f   in tera c ti o n   t o w a rd n a tu ra in tera c ti o n .   Kin e c is  o n e   o f   th e   to o ls  th a a b le  to   p r o v id e   u se w it h   Na tu ra Us e r   In terf a c e   ( N UI).  It  h a c a p a b il it y   to   trac k   h a n d   g e stu re   a n d   i n terp re th e ir  a c ti o n   a c c o r d in g   to   th e   d e p th   d a ta  stre a m .   T h e   h u m a n   h a n d   is  trac k e d   in   p o i n o f   c lo u d   f o r m   a n d   s y n c h ro n ize d   sim u lt a n e o u sly . T h e   m e th o d   is  sta rted   b y   c o ll e c ti n g   th e   d e p th   im a g e   to   b e   a n a l y z e d   b y   ra n d o m   d e c isio n   f o re st  a l g o rit h m .   T h e   a lg o rit h m   w il c h o o se   se o th re sh o ld a n d   f e a tu re sp li t,   th e n   p r o v id e   th e   i n f o rm a ti o n   o f   b o d y   sk e leto n .   In   t h is  p r o jec t,   h a n d   g e stu re   is  d iv id e d   i n t o   se v e ra a c ti o n su c h   a s:  wa iv in g   to   rig h o lef t   to w a rd   h e a d   p o siti o n   th e n   it   w il in terp re a n e x o r   p re v io u s slid e .   T h e   w a iv i n g   is  m e a su re d   in   d e g re e   v a lu e   to w a rd s h e a d   a c e n ter  p o i n t.   M o re o v e r,   p u sh i n g   a c ti o n   w il tri g g e to   o p e n   n e w   p o p   u p   w in d o w   o f   sp e c if ic   slid e   th a c o n t a in   m o re   d e tailed   in f o rm a ti o n .   T h e   re su lt   o im p le m e n tatio n is  q u it e   f a sc in a t in g ,   u se c a n   c o n tro t h e   P o w e r P o in a n d   e v e n a b le  to   d e sig n   t h e   p re se n tati o n   f o rm   in   d if fe re n w a y s.  F u rth e rm o re ,   w e   a lso   p re se n a   n e w   w a y   o f   p r e se n tatio n   b y   p re se n ti n g   W P F   f o r m   th a c o n n e c ted   t o   d a tab a se   f o d y n a m i c   p re se n tatio n   to o ls.   K ey w o r d :   Dep th   i m a g r ec o g n itio n   Han d   g es tu r e   P r esen tatio n   m ec h a n i s m     R ea l ti m in ter ac t iv e     Co p y rig h ©   2 0 1 7   In stit u te o A d v a n c e d   E n g i n e e rin g   a n d   S c ien c e .   Al rig h ts  re se rv e d .   C o r r e s p o nd ing   A uth o r :   Ah m ad   Ho ir u l B aso r i   Facu lt y   o f   C o m p u tin g   a n d   I n f o r m at io n   T ec h n o lo g y   R ab i g h ,     Kin g   A b d u laziz   U n i v er s it y ,     J ed d ah ,   Kin g d o m   o f   Sa u d A r ab ia .   E m ail:  u ch ih a. h o ir u l @ g m ai l.c o m       1.   I NT RO D UCT I O     Kin ec t   i s   ca m er th at   ca n   p r o v id u s er   w it h   d ep th   s tr ea m   i m a g in   r ea ti m u s i n g   i n f r ar ed   an d   R GB   len s .   I n   th b e g in n i n g ,   Kin ec i s   d esig n ed   f o r   g a m i n g   co n s o le  XB OX.   Ki n ec c an   p r o v id n at u r al   tr ac k in g   co n tr o b y   co m b in w it h   a n   al g o r ith m   f o r   s k eleta l   tr ac k in g .   T h Kin ec d ev ice  w il m a k co m p u te   o b tain   th co o r d in ate  o f   th p la y er s   in   3 an d   th e n v ir o n m en t,  d esig n   th ta s k   m u c h   ea s i er .   I also   id en tif ie s   th u s er s   w h e n   th e y   tal k ,   d etec ts   th p er s o n   id en tit y ,   T h it  also   ab le  to   tr ac k   th eir   ac tiv itie s   an d   in t er p r et  th e m   to   p o s itio n   t h at  cr ea to r s   ca n   u s to   f i g u r n e w   i m m er s io n .   T h w ir ele s s   m o tio n   s e n s i n g   h as  b ee n   r esear ch ed   th o r o u g h l y   f o r   m a n y   y ea r s .   Hu m an   te n d s   to   ch an g t h w a y   o f   in ter ac t io n   as  n atu r al  as  t h e y   d id   in   th eir   d ail y   l if e.   Ho w ev er ,   tec h n o lo g y   e v o l u tio n   i n   t h g a m i n g   i n d u s tr y   h as   en ab led   m o tio n   s e n s i n g   i n p u t   d ev ices  to   b ec o m r ea lit y   with   t h r elea s o f   T h Mic r o s o f Kin ec t.  Kin ec b ec o m v e r y   p o p u lar   r ec en tl y ,   th e y   h a v b ee n   u s ed   in   m a n y   d if f er e n f ield s   s u c h   as:  i n d u s t r ies,  m ed ical  o r   ed u ca ti o n .   Ki n ec is   o n o f   s ter eo   ca m er th a p r o v id d ep th   i m ag s tr ea m   as  tr ac k i n g   d ata.   T h k e y   o f   Kin ec is   I R   s e n s o r   th at  en ab les  th e   tr ac k in g   a n d   p o s es r ec o g n itio n   in   r ea l ti m e.   Fu r t h er m o r e,   Hu m a n   C o m p u t er   in ter ac tio n   h a s   ch a n g i n g   f r o m   ti m to   ti m e v e n   s i n ce   c o m p u ter s   w er i n v en ted .   A t h b e g i n n i n g ,   u s er s   o n l y   ab le  to   i n ter ac w it h   co m p u ter   u s i n g   C o m m an d   L in e   I n ter f ac e   ( C L I )   t h r o u g h   k e y b o ar d .   Ho w ev er   it  i s   also   n o g o o d   en o u g h ,   h u m an   s ti ll  n o s ati s f ied   an d   th e y   ar lo o k in g   f o r   n e w   i n ter f ac w h ich   is   t r ig g er   Gr ap h ical  User   I n ter f a ce   ( GUI )   b o r n .   GUI   h as  b ee n   u s ed   m o r t h a n   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       R ea l Time  I n tera ctive   P r esen ta tio n   A p p a r a tu s   b a s ed   o n   Dep th   I ma g R ec o g n itio n   ( A h ma d   Ho ir u l B a s o r i )   1309   d ec ad es,  it  u s ed   w id el y   a n d   m an y   p eo p le  lik th i s   in ter f ac e.   R ec en tl y ,   n e w   id ea   h a s   g r o w in g ,   h u m an   w a n t   to   d o   in ter ac tio n   in   n atu r al  w a y s   t h at  b ec o m b eg i n n i n g   o f   Natu r al  U s er   I n ter f ac e   ( NUI ) .   Natu r al  User   I n ter f ac co v er s Ges tu r e,   B r ain   C o m p u ter   I n ter f ac o r   Vo ice/sp ee ch   r ec o g n it io n .   I n   th i s   p ap er   w w ill  f o cu s   o n   g est u r tr ac k i n g   as p r esen t atio n   co n tr o l.       2.   R E L AT E WO RK   T h id ea   o f   in ter ac tin g   w it h   c o m p u ter s   i n   n atu r al  w a y s   h as  ex is t ed   s in ce   t h o ld   ti m w h e n   co m p u ter   s cien ce   n ee d s   s o m e   tec h n o lo g y   r ev o l u tio n .   Ho w ev er ,   t h id ea   s t u ck   a n d   r e m ain ed   a s   d r ea m   f o r   th e   p ast  4 0   y ea r s .   No w ad a y s ,   th e s r esea r ch es  h a v tr ig g er ed   g r ea p r o ce s s   at  u n iv er s ities ,   g o v er n m en an d   in d u s tr ies   r esear ch   in   v id r ec o g n it io n   a n d   g r ap h ic s ,   n at u r al  lan g u ag an d   s o f co m p u ti n g .   A s o m s tag e,   t h r esear ch   f o r   NUI ( Natu r al  User   I n ter f ac e)   h av s ev er al  ap p r o ac h es  to   s tar tin g   w i th   v o ice  co m m an d ,   m u lti to u c h   in ter f ac e   an d   e n d in g   w i th   m o r u n co n v en t io n al  m et h o d s   li k Mic r o s o f S k i n p u t   p r o j ec [ 1 ] ,   m u s cle - co m p u ter   in ter f ac e   [ 1 ]   o r   b r ain   co m p u ter   i n ter f ac u s i n g   E lectr o en ce p h alo g r ap h y   ( E E G)   [ 2 ] .   On e   o f   t h f ir s t   ap p licatio n s   o f   NUI   is   t h to u ch   a n d   m u lti - to u c h   i n ter f ac e .   T h e y   p r o v id m o r in tu i ti v in ter ac tio n   w it h   c o n tr o ls   an d   ap p licatio n s   t h a n   th s tan d ar d   cu r s o r - b ased   i n ter ac tio n .   I n s tead   o f   clic k in g   o n   t h g r ap h ica l   r ep r esen tatio n   o f   an   ap p licati o n   th u s er   ca n   s i m p l y   to u c h   it.  T h Mic r o s o f Kin ec t,  t h e   n e w   r e v o lu tio n ar y   g a m e   co n tr o ller   f o r   t h Ki n ec t   w a s   t h r ea l   cr u cial  m o m en f o r   NUI ,   it  is   th e   f ir s co n tr o lle r   ev er   to   en ab le  to   tr an s late  b o d y   m o v e m en i n t o   r ea tim g a m ac tio n s   w it h o u n ee d   to   h o ld   an y   d ev i ce   in   h a n d s .   I n   t h e   b eg in n i n g   w a s   o n l y   d esi g n ed   as  p ar o f   x b o x ,   h o w e v er   th d ev ice  h a s   b ee n   h ac k ed   f e w   h o u r s   a f ter   its   r elea s e,   th d ep th   d ata  h as  b ee n   r elea s ed   to   p u b lic  an d   o p en   n ew   o o p o r tu n it y   f o r   n atu r al  i n t er f ac ap p licatio n   in   s o m ar asu c h   as  m ili tar y ,   m ed ical,   en g i n ee r in g ,   co m m er ci al  an d   ev en   ed u ca tio n .   T h m u lt i - f i n g er   to u ch - i n ter f ac g iv tan g ib le  s e n s a tio n   b y   p u tti n g   t h ac tio n   t h r o u g h   f i n g er   o n to   s cr ee n ,   s o   in s tead   o f   th m o v in g   t h cu r s o r   to   an   ite m   a n d   ch o o s to   o p en ,   u s er   ca n   to u ch   t h g r ap h ical   r ep r esen tatio n   d ir ec tl y   in   s i m p ly   w a y s .   A ls o ,   b ec au s o f   t h ab ilit y   to   r ec o g n ize  m o r th an   o n e   f in g er ,   th e   u s er   ca n   p in c h   t w o   f i n g er s   t o   zo o m   i n   o r   o u t,  p r o v id in g   m o r n at u r al  a n d   m o r in tu iti v co n tr o [ 3 ] .   A d d itio n al l y ,   t h r o u g h   p r ed ef i n ed   m o tio n s   an d   g e s tu r e s ,   th e   u s er   ca n   i n ter ac w ith   t h s y s te m   b y   tap p i n g   o r   d r ag g i n g   o b j ec ts   ac r o s s   th s c r ee n ,   o r   f lick i n g   t h s cr ee n   to   s cr o ll  u p   o r   d o w n .   Fu r t h er m o r e,   r esear ch er   h as   g iv m o r f o cu s   o n   to u c h - l ess   in ter f ac w h er th i n v e n tio n   o f   R GB   an d   in f r ar ed   s en s o r   ca p ab le  o f   r ec o g n izi n g   th d ep t h   i m ag an d   m a k co m p u ter   to   r ec o g n ize  th e n v ir o n m en in   th r e e - d i m en s io n al  s p ac e.   T h is   ab ilit y   h a s   o v er co m th r eg u lar   s e n s o r   an d   o p en   n e w   p r o s p ec o f   r ec o g n izin g   th h u m an   b o d y ,   f ac an d   ev en   h an d   p o s tu r r ec o g n itio n .   T h b o d y   s k eleto n   tr ac k in g   w il allo w   u s   to   cr ea te  an   al g o r ith m   t h at  ca n   tr ac k   g esti c u lat io n   o f   h u m a n   b o d y   w h ile  f ac r ec o g n itio n   w il g i v r ea ti m m i m ic  ex p r es s io n .   Fin all y ,   th h a n d   r ec o g n itio n   w ill  e n ab le  t h f in g er   o r   h an d   p o s t u r r ec o g n it io n   [ 3 ] .   W h en   t h m ac h i n ca p a b le  o n   r ec o g n izi n g   th b o d y   m o v e m en a n d   g es tu r eso f   h u m a n   in   r ea ti m e,   it  w il d r iv to   n e w   w a y   o f   h u m a n - co m p u ter   in ter ac tio n   ca l led   T o u ch - less   I n ter f ac [ 4 ] .   On o f   th f ir s a p p licatio n s   o f   T o u ch - le s s   i n ter f ac is   m o v i n g   t h e   cu r s o r   ac r o s s   th e   s cr ee n   u s i n g   t h u s er 's  h an d .   C o m b i n i n g   Sk e letal  T r ac k in g   w it h   Ha n d   Dete ctio n   t h u s er   c an   p er f o r m   clic k .   Firs th e   u s er   w ill  tak p o s itio n   i n   f r o n o f   Ki n ec ca m er an d   r ai s ed   th h an d s ,   t h e n   m o v e s   th c u r s o r   o n   th s cr ee n   w it h   h i s   h a n d   m o v e m e n t s .       On   th o th er   h a n d ,   r esear ch er   also   aim s   to   i m p r o v r ea lis ti f ac ial  ex p r ess io n   o f   v ir t u al  h u m a n   to   au g m e n t h i n ter ac tio n   b et w ee n   h u m a n   an d   v ir tu a r ea lit y .   So m n u m er o u s   m et h o d s   s u c h   as:  f l u id   s i m u lat io n   f o r   s w ea a n d   tear s   ef f ec t.  t h o x y g e n atio n   co n ce n tr atio n   u n d er   s k in   al s o   b ec o m co n s id er atio n   t o   ad j u s s k i n   co lo u r   o f   a v atar   [ 1 2 - 1 6 ] .   T h i n ter ac ti v it y   b et w ee n   h u m a n   a n d   m ac h i n als o   ca n   b p er f o r m ed   th r o u g h   b r ain   co m p u ter   i n ter f ac th at  r ea d   an d   an al y ze   b r ai n   s i g n a in   ac co r d an ce   to   th e m o tio n al  co n d it io n   o f   h u m an .   S u b s eq u e n tl y ,   e m o tio n   s tate  w i ll  b m ap p ed   to   b o d y   ac tio n w alk ,   co lli s io n   a v o id an ce   b eh a v io r   an d   f ac ia ex p r es s io n   [ 1 7 - 2 0 ] .   T h p r ev io u s   s tate m en h a s   d elib er ate  th at  K in ec t   h a s   a f f ec s o m e   s ec to r   s u c h   as  m ed ical,   m ili tar y   o r   ev e n   en g i n ee r i n g ,   t h e y   ar p r o d u cin g   a n   i n n o v ati v w a y s   o f   i n t er ac tio n   f o r   as s is ted   s u r g er y   u s i n g   n e w   i n t er f ac [ 2 1 - 2 3 ] .       3.   R E S E ARCH   M E T H O D   T h is   s ec tio n   w ill  d escr ib t h e   m eth o d o lo g y   o f   th p r o p o s ed   p r o j ec t.   T h f ir s s ta g is   d etec tin g   th e   o p tim u m   o b j ec th en   it  co n tin u e s   w ith   d ep th   i m ag d ata  s tr ea m   p r o ce s s in g .   T h n ex s t ep   is   d o in g   p atter n   class i f icatio n   w i th   r an d o m   d ec is io n   f o r est.  Af ter w ar d ,   t h b o th   h an d   w i ll  b tr ac k ed   an d   s y n ch r o n ized   s i m u lta n eo u s l y .   T h is   p o s it io n   w il l b m ap p ed   in to   co n tr o llin g   th p r ese n tatio n ,   r e f er   to   Fig u r 1.   Ma ter ials :   a.   Ma te r i al   f o r   ex p er im en ts   co v er s : K in e ct   C am er a   f o r   d ep th   im ag s en s o r   b.   C o m p u ter   w ith   h ig h   en d   Pr o c e s s o r   an d   Gr a p h ics   f o r   p r o ce s s i n g   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E    Vo l.  7 ,   No .   3 J u n e   2 0 1 7   :   1 3 0 8     1 3 1 5   1310   Me th o d s :   a.   Kin ec t   C am er a   Po s iti o n in g   b.   Dep th   im ag d at s tr ea m   c.   R an d o m     D ec is i o n   F o r est   A lg o r ith m   d.   R an d o m ly   ch o o s s et   o f   th r e s h o ld s   an d   f ea tu r es   f o r   s p l its .     e.   P i ck   th th r esh o l d   an d   f ea tu r e   th at  p r o v i d th l a r g est   in f o r m ati o n   g ain   R ep ea th p r o ce s s   u n til  ce r t ain   ac cu r ac y   is   r ea ch ed   o r   d ep th   is   o b tain ed . T h ca p tu r ed   im ag ed   d ata  s tr ea m   w i ll  b p r o ce s s ed   an d   an al y ze d   r a n d o m   d ec is io n   f o r est  al g o r ith m   to   d ec id w h at  k in d   o f   ac tio n   th a t   h u m a n   h a n d   d id   d u r in g   tr ac k i n g   p r o ce s s ( r ef er   to   E q u atio n   1 ) .       (           )                   (           )               ( 1 )           Fig u r 1 .   Me th o d o lo g y   o f   t h R esear ch       4.   RE SU L T   AND  DI SCUS SI O N   T h r esu lt h as t w o   m ai n   g o al s :   1.   T h f ir s g o al  is   co n tr o llin g   Mic r o s o f P o w er   P o in t I n   th is   g o al,   o u r   tech n iq u is   w o r k   p er f ec tl y   o n   n av i g ati n g   b et w ee n   s lid an d   ev en   s to p p in g   o r   p la y   t h P o w er P o in j u s b y   w ai v in g   h an d   as  h u m a n   d o   in   th e ir   d ail y   li f e.   2.   T h s ec o n d   o n is   p r o v id t h n e w   u s er   in ter f ac f o r   p r esen tat io n   m ed ia.   T h n e w   in t er f ac ca n   b tr ea ted   as  r ep lace m e n o f   P o w er P o in t,  b ec au s u s er   ca n   a d d   an d   ed it  n e w   in f o r m at io n   o f   th eir   s lid co n ten th r o u g h   d atab ase.   Use r   also   h as   m e n u   to   c h an g t h n u m b er   o f   s lid t h at  t h e y   w ill   u s ed   f o r   th eir   p r esen tatio n .   T h p r o j ec h as  r esu lted   t w o   p r o to ty p e,   th f ir s in ter f ac is   o n l y   s h o w   th e   t h r ee   m ai n   p o in tr ac k ed :   h ea d ,   r ig h t a n d   lef h a n d   as sh o w n   in   F ig u r 2 .   I n   o r d er   to   co n tr o th e   Mic r o s o f P o w er P o in u s er   h a n d   s h o u ld   b tr ac k ed   p r o p er ly .   O n ce   th e   u s er   is   in   o p ti m al  d is ta n ce   in   f r o n o f   th ca m er a,   th Kin ec ca n   tr ac k   th u s er 's  h a n d s .   W h en   t h u s er 's  h a n d   m o v e   4 5   d eg r ee s   a w a y   f r o m   h i s   h e ad ,   th p r ese n tatio n   w i ll  g o   t o   th n e x o r   p r ev io u s   s l id d ep en d in g   o n   w h ic h   h an d s   th u s er   u s ed .   I f   u s ed   t h r ig h h a n d ,   th ca m er w ill  d etec it  an d   r ed   cir cle  o n   th r ig h h a n d   w ill  t u r n   g r ee n ,   it   in d icati n g   th m o v e m en is   co n f ir m ed   an d   th p r esen tatio n   w ill  g o   to   th n ex s lid e,   r ef er   to     Fig u r 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       R ea l Time  I n tera ctive   P r esen ta tio n   A p p a r a tu s   b a s ed   o n   Dep th   I ma g R ec o g n itio n   ( A h ma d   Ho ir u l B a s o r i )   1311   W h en   u s er   m o v e s   h is   le f h a n d ,   th ca m er w i ll  d etec ts   t h h an d   m o v e m e n a n d   th r ed   ci r cle  o n   th e   h an d   w i ll  t u r n   g r ee n   a n d   th p r esen tatio n   w ill  g o   to   th p r ev io u s   s lid e.   ( Fi g u r 3 B ) .   W PF   ap p licatio n   is   t h e   s ec o n d   f ea tu r e s   o f   t h p r o p o s ed   p r o j ec th at  g iv e   u s er   m o r in ter ac ti v w a y s   to   co n tr o th e   p r esen tat io n   co n ten t.  U s er   ca n   r ai s t h eir   h an d s ,   p o in at  t h ca m er with   p al m s   o p en ,   a n d   in ter ac w it h   t h s y s te m   i n   d if f er e n w a y s .   T h ap p licati o n   p r o to ty p e.   T h k i n ec p r e s en tat io n   co n tr o ca n   d is p la y   th h a n d   ico n   t h at  m o v ac co r d in g   to   t h u s er   h an d   w h ich   i s   s y n c h r o n ized   s i m u lta n o eu s l y . W h en   u s er   m o v es  h i s   h a n d ,   th cu r s o r   o n   th s cr ee n   ( s h ap ed   lik h a n d )   w ill  m o v co r r es p o n d in g   w i th   t h m o v e m e n an d   lo ca tio n   o f   t h u s er ' s   h an d ,   T h h a n d   is   h i g h li g h ted   b y   r ed   cir cle  ( Fig u r 4 ( a)   an d   4 ( b ) ).           Fig u r 2 .   Kin ec t p r esen ta tio n   co n tr o w it h   h an d   tr ac k ed         Fig u r 3 .   ( a ) .   Mo v in g   t h r i g h t   h an d - g o   to   th n ex t sli d e,   ( b )   p r ev io u s   s l id e         Fig u r 4 .   ( a )   Han d   cu r s o r   th at  u s f o r   s elec tio n ,   ( b )   Selectin g   th u m b n ai l is i n d ica ted   w i th   cu r s o r   ch an g e s   co lo u r s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E    Vo l.  7 ,   No .   3 J u n e   2 0 1 7   :   1 3 0 8     1 3 1 5   1312   I f   u s er   m o v th eir   h a n d   u n til  cu r s o r   h o v er s   o v er   th u m b n a il,  th cu r s o r   w i ll  ch a n g co l o u r s   f r o m   w h ite   to   m ag e n ta  g r ad u al l y   in d icatin g   t h s elec tio n   o f   th e   t h u m b n ail  ( Fi g u r 4 B ) .   I f   t h u s er   w a n t s   to   o p e n   th t h u m b n ail,   t h u s er   m u s t   m ak e   s m al p u s h i n g   m o tio n   w it h   h i s   h an d t h i s   ac tio n   w il lo ck s   t h t h u m b n ail   to   co n f ir m   th e   s elec tio n .   W h e n   t h u s er   p u ll s   h is   h a n d   b ac k ,   r elea s in g   th e   t h u m b n a il;  t h t h u m b n ail  w i ll  o p en   ( Fig u r 5   an d   Fig u r 6 ) .             Fig u r 5 .   P u s h i n g   o n   th T h u m b n ail     Fig u r 6 .   Selecte d   Sli d C o n te n t f r o m   T h u m b n ail  i s   D is p la y ed       T h test in g   r es u lt   is   v er y   in te r esti n g ,   u s er s   h a v m o r w a y s   to   in ter ac w it h   p r ese n tatio n ,   an d   th e y   ca n   m o v t h eir   h a n d   o v er   t h t h u m b n ail  a n d   m a k f a s s elec t io n   to w ar d   th n a v i g atio n   co n tr o l.  T h ey   ca n   al s o   co n tr o l th Mic r o s o f t P o w er P o in t d ir ec tl y   i n   ef f icie n w a y s .           Fig u r 7 .   P er f o r m a n ce   M o n ito r in g       T h r ep o r t o f   p er f o r m an ce   m o n ito r in g   i s   m ea s u r ed   th r o u g h   p er f o r m a n ce   p r o f ili n g   to o ls   f o r   w i n d o w s   p r esen tatio n   f o u n d atio n   ( Fi g u r 7 ) .   T h f ir s g r ap h   r ep o r tin g   th r ate  at  w h ich   t h ap p licatio n   is   r en d er in g   to   th s cr ee n   ( FP S),   it  is   ar o u n d   6 2   FP an d   th at  m o r t h an   n o r m al  f r es h   r ate  o f   m o n ito r .   T h s ec o n d   m ea s u r e m e n i s   Dir t y   R ec ta n g le  A d d itio n   r ate  th a in d icate s   h o w   m a n y   r ec tan g u lar   r eg io n s   t h at  W P n ee d s   to   u p d ate  ea ch   f r a m e.   T h t h ir d   p er f o r m a n ce   i n d icato r   is   SW   I R T s   P er   Fra m e.   I s h o w s   t h n u m b er   o f   so f t w ar in ter m ed iate  r en d er   t ar g ets  r eq u ir ed   to   r en d er   o n f r a m o f   t h ap p licatio n .   T h f o u r th   o n i s   HW   I R T s   P er   Fra m th at  Sh o w s   th n u m b er   o f   h ar d w ar i n ter m e d iate  r en d er   tar g ets  r eq u ir ed   to   r en d er   o n f r a m e   o f   th ap p licatio n .   Fin all y ,   th e   last   p ar is   v id eo   m e m o r y   u s ag e,   it  T r ac k s   lar g allo ca tio n s   o f   v id eo   m e m o r y   Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       R ea l Time  I n tera ctive   P r esen ta tio n   A p p a r a tu s   b a s ed   o n   Dep th   I ma g R ec o g n itio n   ( A h ma d   Ho ir u l B a s o r i )   1313   m ad d ir ec tl y   b y   W P ( tex tu r es  an d   r en d er   tar g ets).   A cc o r d in g   to   th r ea d in g ,   th v id eo   m e m o r y   u s a g s til lo w   ar o u n d   3 2 . 2 4 MB .   Ov er all ,   o u r   p r o p o s ed   ap p licatio n   is   s atis f y i n g   a n d   ca n   r u n   p er f ec tl y   e v en   i n   lo w s   s p ec   o f   co m p u ter       5.   CO NCLU SI O N   Natu r al  I n ter ac tio n   is   w h er t h f u t u r is   h ea d ed ,   it' s   w h er e   s cien ce   a n d   f ictio n   m ee t,  w h a w a s   o n ce   o n l y   s ee n   a s   s p ec ial  e f f ec i n   m o v ie s   an d   g a m es  h as  n o w   b ec o m r ea lit y .   I t ' s   o n o f   s cien t is t s ,   g a m er s ,   d ev elo p er s ,   an d   av er ag e   co m p u ter   u s er 's  d r ea m ,   to   i n ter ac w ith   co m p u ter s   an d   d i f f er en tec h n o lo g ies  t h e   s a m w a y   w i n ter ac w it h   o th er   h u m an s ,   b y   i n ter ac tin g   n at u r all y ,   Ho w e v er ,   T h Kin ec t i s   s till   t h b eg i n n in g .   B y   u s i n g   T h Kin ec to   g iv e   lectu r es  an d   s e m i n ar s ,   an d   u s i n g   m o r in ter ac tiv s y s t e m   b y   u ti lizi n g   t h e   d if f er e n f ea t u r es  o f   T h K i n ec t,  w ca n   g iv th s t u d en ts   a n d   a u d ien ce   m o r v i s u al  a n d   in ter e s ti n g   ex p er ien ce   in   t h m ee t in g   r o o m ,   a u d ito r iu m   o r   ev e n   class   r o o m .   T h Ob j ec tiv o f   th is   p r o j ec h as  b ee n   ac h iev ed   b y   p r esen t in g   n e w a y s   o f   co n tr o llin g   t h p r esen tatio n ,   in s tead   o f   u s in g   m o u s e   o r   o th er   p r esen tatio n   d ev ice,   u s er   o n l y   n ee d   to   w a v t h eir   h a n d   an d   th e y   ca n   co n tr o ev er y t h i n g   in   f r o n o f   t h eir   e y es.   T h is   w ill  d r iv p eo p le  to   in t er ac t   w it h   co m p u ter   i n   m o r e   n at u r al  an d   i n ter ac ti v m et h o d .   A lt h o u g h   t h e   tech n o lo g y   al m o s lo o k s   ah ea d   o f   its   ti m e,   th d ev ice  it s el f   is   s till   i m m at u r e.   Fo r   ex a m p le,   th d ev ice  s til l   n ee d s   to   b p lu g g ed   to   an   e lec tr ical  o u tlet  a n d   it  n ee d s   th u s er   to   s tan d   clo s to   t h ca m er a.   A d d itio n all y ,   t h ca m er is   m u c h   b ig g er   th a n   n o r m al  w eb ca m   s o   it  w o n 't  f it  in   m o s lap to p   b ag s .   I n   ter m   o f   t h p r o to ty p e,   th er ar s till   lo t   o f   r o o m s   f o r   i m p r o v e m e n t   s u ch   as   i m p r o v e m e n to   co n tr o o t h er   Mic r o s o f O f f ice  s u c h   as   MS  W o r d ,   E x ce l,  etc.   Ho p ef u ll y   in   th f u tu r t h d ev ice  w o u ld   b in te g r ated   in   lap to p s   s o   it ' s   w o n ' b a   s ep ar ate  d ev ice,   th at  w a y   w e   ca n   eli m i n ate  t h s ize  a n d   ca b le  is s u e s .   Or   it  ca n   b w i r eless   s o   it  ca n   b e   p o s itio n ed   in   an y   p ar o f   t h r o o m .   As  f o r   m y   s o f t w ar e,   I   h o p it  ca n   h av m o r ad v an ce d   w a y s   o f   in ter ac tio n ,   f o r   ex a m p le,   w ca n   zo o m   i n   o n   i m ag e s   o r   te x b y   s p r ea d in g   b o th   h an d s   a n d   th e n   d r a w   t h e m   to g eth er ,   an d   alter n ati v el y ,   w ca n   s p r ea d   o u r   h an d s   to   zo o m   o u t.  An o t h er   ex a m p le  is   v o ice  r ec o g n itio n ,   w e   ca n   ad d   an y   n u m b er   o f   co m m an d s   an d   it  w ill  b ac ti v ated   b y   u s er ' s   v o ice,   f o r   ex a m p le,   s a y in g   " n ex s lid e"   o r   " p r ev io u s   s l id e"   w i ll n a v i g ate  th r o u g h   t h s lid e s   o f   th p r ese n tatio n .       ACK NO WL E D G E M E NT   T h is   w o r k   w as   s u p p o r ted   b y   t h Dea n s h ip   o f   Scie n ti f ic  R e s ea r ch   ( DSR ) ,   K in g   A b d u laz iz   Un i v er s it y ,   J ed d ah   Sau d A r ab ia.   T h au th o r s ,   th e r ef o r e,   g r atef u ll y   ac k n o w led g th DS R   tech n ical  a n d   f i n an cial  s u p p o r t.       RE F E R E NC E   [ 1 ]   Do n ald   A ,   No r m a n ,   2 0 1 0 ,   Natu r al   u s er   I n ter f ac e s   ar n o Natu r al”,   I n ter ac tio n s   1 7 ,   3   ( Ma y   2 0 1 0 ) ,     6 - 1 0 .   d o i=h ttp ://d x . d o i.o r g /1 0 . 1 1 4 5 /1 7 4 4 1 6 1 . 1 7 4 4 1 6 3 .   [ 2]   W eb b ,   J ar r ett,   A s h le y ,   J a m e s ,   B eg i n n i n g   K in ec P r o g r a m m in g   w it h   t h Mic r o s o f Kin ec t   SDK ,   2 0 1 2 ,   A p r ess ,   d o i 1 0 . 1 0 0 7 /9 7 8 - 1 - 4302 - 410 5 - 8.   [ 3 ]   An d r ea   C o r r ad in i,  2 0 0 1 ,   D yn a mic  Time  W a r p in g   fo r   Off - Lin R ec o g n itio n   o a   S ma ll  Gestu r e   V o ca b u l a r y”,   I n   P r o ce ed in g s   o f   th I E E E   I C C W o r k s h o p   o n   R ec o g n it io n ,   An al y s is ,   a n d   T r ac k in g   o f   Face s   a n d   Ges tu r es   i n   R ea l - T im S y s te m s   ( R A T FG - R T S' 0 1 )   ( R A T FG - R T ' 0 1 ) ,   I E E E   C o m p u ter   So ciet y ,   W ash in g to n ,   D C ,   US A ,   8 2 - ..   [ 4 ]   Ken to n   O 'h ar a,   Ger ar d o   Go n za lez,   Gr ae m P en n e y ,   A b ig ail  Sellen ,   R o b er C o r is h ,   H elen Me n ti s ,   An d r ea s   Var n a v as,  An to n io   C r i m i n i s i,  Ma r k   R o u n ce f i eld ,   Nev ille  Dast u r ,   T o m   C ar r ell.   2 0 1 4 .   I n ter ac tio n al  Or d er   an d   C o n s tr u cted   W a y s   o f   Seei n g   w it h   T o u ch l ess   I m a g in g   S y s te m s   in   S u r g er y ”,   C o m p u t.  S u p p o r ted   C o o p .   W o r k   2 3 ,   3   ( J u n 2 0 1 4 ) ,   2 9 9 - 3 3 7 .   DOI =h ttp ://d x . d o i.o r g /1 0 . 1 0 0 7 /s 1 0 6 0 6 - 014 - 9 2 0 3 - 4   [ 5 ]   B aso r i,  A H,   Qasi m   AZ ,   E x tr e m E x p r ess io n   o f   S w ea t in g   i n   3 Vir tu al  H u m a n ”,   C o mp u ters   in   Hu ma n   B eh a vio r ,   2 0 1 4   J an   1 ;   3 5 : 3 0 7 - 3 1 4 .   A v ailab le  f r o m ,   D OI : 1 0 . 1 0 1 6 / j . ch b . 2 0 1 4 . 0 3 . 0 1 3   [ 6 ]   B aso r i,  A . H. ,   et   al. ,   “T h e   F ea s ib ilit o Hu ma n   Ha p tic  E m o tio n   a s   a   F ea tu r to   E n h a n c I n tera ctivity  a n d   I mme r s iven ess   o n   V ir t u a R ea lity  G a me ,   in   P r o ce ed in g s   o f   T h 7 t h   AC M   SIG GR A P H   I n ter n atio n al  C o n f er e n ce   o n   Vir tu al - R ea lit y   C o n tin u u m   a n d   I ts   A p p licatio n s   in   I n d u s tr y .   2 0 0 8 ,   A C M:   Sin g ap o r e.   p .   1 - 2.             A l k a w az   MH ,   et  al. ,   Ox y g e n atio n   A b s o r p tio n   an d   L i g h Sc atter in g   Dr iv en   Facia An i m at io n   o f   Natu r al  Vir tu al  H u m an ”,   Mu lti med ia   To o ls   a n d   A p p lica tio n s ,   p p   1 - 3 7 .   DOI = 1 0 . 1 0 0 7 /s 1 1 0 4 2 - 016 - 3564 - 2   [ 8 ]   Mo h a m m ed   Haz i m   Alk a w az ,   Ah m ad   Ho ir u B aso r i,  Dz u l k i f li  Mo h a m ad ,   Far h a n   Mo h a m ed ,   R ea l is tic   Facial  E x p r es s io n   o f   Vir t u al  Hu m an   B ased   o n   C o lo r ,   S w e at,   an d   T ea r s   E f f ec ts , ”  Th S cien tifi W o r ld   Jo u r n a l ,   v o l.  2 0 1 4 ,   A r ticle  I 3 6 7 0 1 3 ,   9   p ag es,  2 0 1 4 .   DOI = 1 0 . 1 1 5 5 /2 0 1 4 /3 6 7 0 1 3   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 0 8 8 - 8708   I J E C E    Vo l.  7 ,   No .   3 J u n e   2 0 1 7   :   1 3 0 8     1 3 1 5   1314   [ 9 ]   A l k a w az ,   M.   H. ,   B aso r i,   A .   H.   &   Mo h d   Has h i m ,   S.   Z .   M u l ti m ed   T o o ls   A p p ( 2 0 1 6 ) ,   DOI = 1 0 . 1 0 0 7 /s 1 1 0 4 2 - 016 - 3 5 6 4 - 2   [ 1 0 ]   Ah m ad   Ho ir u B a s o r i,  E m o t io n   W alk i n g   f o r   Hu m a n o id   Av atar s   u s in g   B r ain   Si g n als” ,   I n tern a tio n a l   Jo u r n a o A d va n ce d   R o b o tic  S ystems ,   Vo l.1 0 ,   h ttp ://j o u r n al s . s a g ep u b . co m /d o i/ab s /1 0 . 5 7 7 2 /5 4 7 6 4 ,   DOI = 1 0 . 5 7 7 2 /5 4 7 6 4   [ 1 1 ]   Mu h a m ed   A b d u k ar e e m   A h m ed ,   Ah m ad   Ho ir u B aso r i,  Th I n flu en ce   o B eta   S ig n a t o w a r d   E mo tio n   C la s s i fica tio n   fo r   F a cia E xp r ess i o n   C o n tr o th r o u g h   E E G   S en s o r s ,   P r o ce d ia  So cial  a n d   B eh av io r al   Scien ce ,   E ls e v ier ,   6   No v   2 0 1 3 ,   DOI : 1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 3 . 1 0 . 2 9 4   [ 1 2 ]   B aso r A h m ad   Ho ir u l,  B ad e   A ,   S u n ar   M.   S. ,   Da m a n   D,   Saar N,   Hj .   Sala m ,   MD .   S   ( 2 0 1 2 ) ,   An   I n teg r atio n   Fra m e w o r k   o f   Ha p tic  Feed b ac k   to   I m p r o v Facial  E x p r ess io n I n tern a tio n a Jo u r n a l   o f   I n n o v a tive  C o mp u tin g ,   I n fo r ma tio n   a n d   C o n tr o ( I JI C I C ) V o l.8 ,   No . 1 1 ,   No v em b er   2 0 1 2   [ 1 3 ]   Naz r ee n   A b d u lla s i m ,   Ah m ad   Ho ir u B aso r i,  Md   Sah   Hj   Sa la m ,   A b d u lla h   B ad e,   ”Ve lo cit y   P er ce p tio n :   C o llis io n   Han d li n g   T ec h n iq u e   f o r   Ag en Av o id an ce   B eh a v i o r ”,   Telko mn ika ,   V o l.  1 1 ,   No .   4 ,   A p r il  2 0 1 3 ,   p p .   2 2 6 4   ~   2 2 7 0   [1 4]   Yu s m a n   A z i m i   Y u s o f f ,   Ah m ad   Ho ir u B aso r i,  Far h a n   Mo h a m ed ,   I n tera ctive   Ha n d   a n d   A r Ge s tu r e   C o n tr o fo r   2 Med ica I m a g a n d   3 V o l u metric  Med ica V is u a liz a tio n ,   P r o ce d i So cial  an d   B eh av io r al  Scie n ce ,   Vo l.9 7 ,   6   No v e m b er   2 0 1 3 ,   P ag es 7 2 3 7 2 9 ,   E ls ev ier   [ 15]   Mo h a m m ad   R id u w a n S u r o s o ,   Ah m ad   Ho ir u l   B aso r i,  Fa r h an   Mo h a m ed ,   F in g er - b a s ed   Gestu r a I n tera ctio n   fo r   E xp lo r a tio n   o 3 Hea r V is u a liz a tio n ,   P r o ce d ia  So cial  an d   B eh av io r al  Scien ce ,     Vo l.   9 7 ,   6   No v e m b er   2 0 1 3 ,   P a g es 6 8 4 6 9 0 ,   E ls ev ier   [ 1 6 ]   J o h n   Har d y ,   J aso n   A lex a n d er ,   2 0 1 2 ,   “T o o lkit  S u p p o r t   fo r   I n tera ctive   P r o jecte d   Dis p la ys” ,   I n   P r o ce e d in g s   o f   t h 1 1 th   I n ter n atio n al   C o n f er e n ce   o n   Mo b i le  an d   Ub iq u ito u s   M u lti m ed i ( MU ' 1 2 ) ,   AC M,   Ne w   Yo r k ,   NY,   US A ,   A r ticle  4 2 ,   1 0   p ag es.  DOI =h tt p ://d x . d o i.o r g /1 0 . 1 1 4 5 /2 4 0 6 3 6 7 . 2 4 0 6 4 1 9 .   [ 1 7 ]   Ah m ad   Ho ir u l B a s o r i,  Fad h il  No er   Af i f ,   A b d u laziz   S,   A l m a z y ad ,   Ha m za   A li  A b u j ab al,   Am j ad   R eh m a n ,   Mo h a m m ed   Haz i m   Alk a w az ,   2 0 1 5 ,   Fas Ma r k er les s   T r ac k in g   f o r   Au g m e n te d   R ea li t y   in   P lan ar   E n v ir o n m e n t”,   3 R es .   6 ,   4 ,   A r ticle  7 2   ( Dec e m b er   2 0 1 5 ) ,   pp   1 - 1 1 .   DOI =h ttp ://d x . d o i.o r g /1 0 . 1 0 0 7 /s 1 3 3 1 9 - 0 1 5 - 0072 - 5   [ 1 8 ]   Ah m ad   Ho ir u B aso r i ,   Da u Da m a n ,   A b d u lla h   B ad e,   et,   al. ,   2 0 0 8 ,   “T h F ea s ib ilit o Hu ma n   Ha p tic   E mo tio n   a s   a   F ea tu r t o   E n h a n ce   I n tera ctivity  a n d   I m mers iven es s   o n   V ir tu a R ea lity  Ga me” ,   I n   P r o ce e d in g s   o f   T h 7 th   A C M   SIG GR A P I n ter n at io n al  C o n f er e n ce   o n   Vir tu a l - R ea lit y   C o n tin u u m   a n d   I ts   A p p licatio n s   in   I n d u s tr y   ( VR C A I   ' 0 8 ) ,   A C M,   Ne w   Yo r k ,   NY,   USA ,   A r tic le  3 7 ,   2   p ag es.   DOI =h ttp ://d x . d o i.o r g /1 0 . 1 1 4 5 /1 4 7 7 8 6 2 . 1 4 7 7 9 1 0   [ 1 9 ]   A B aso r i,  A   T en r ia w ar u ,   AB Ma n s u r ,   I n tell ig e n Av at ar   o n   E - lear n in g   u s i n g   Facial  E x p r ess io n   a n d   H ap tic ,   TELK OM N I K A   ( T elec o mmu n ica tio n   C o mp u tin g   E lectro n ics  a n d   C o n tr o l ) ,   Vo l.  9   ( 1 ) ,     115 - 1 2 4 ,   2 0 1 1       BI O G RA P H I E S   O F   AUTH O RS       Ahm a d   H o ir u B a so r i ,   re c e i v e d   B. S c ( S o f tw a re   En g in e e rin g d e g re e   f ro m   In stit u t   T e k n o lo g S e p u lu h   No p e m b e S u ra b a y a   in   2 0 0 4     a n d   t h e   P h . (C o m p u ter  G ra p h ics f ro m   Un iv e rsiti   T e k n o lo g M a lay sia ,   J o h o Ba h ru ,   Jo h o r ,   in   2 0 1 1 .   F r o m   2 0 0 4   t o   p re se n t,   h e   w a a   lec tu re w it h   th e   De p a rt m e n o f   In f o r m a ti c s,  F a c u lt y   o f   In f o r m a ti o n   T e k n o lo g i,   In stit u t   T e k n o lo g S e p u lu h   No p e m b e S u ra b a y a ,   In d o n e sia .   In   2 0 1 1 ,   h e   h a a p p o i n ted   a A ss istan t   P r o f e ss o w it h   th e   De p a rtm e n o f   Co m p u ter  G ra p h ics   a n d   M u lt im e d ia,  Un iv e rsiti   T e k n o lo g M a lay sia .   In   2 0 1 6 ,   h e   is  p ro m o te d   t o   A ss o c iate   P r o f e ss o ra n k   in   F a c u lt y   o Co m p u ti n g   a n d   I n f o rm a ti o n   T e c h n o lo g y   Ra b ig h ,   Kin g   A b d u laz iz  Un iv e rsity .   He   is  th e   m e m b e o f   Ed it o rial  b o a rd   o f   so m e   in tern a ti o n a j o u r n a l,   m o re   th a n   6 0   a rti c les ,   a n d   a lso   a   m e m b e o f   p ro f e ss io n a m e m b e rsh ip   IE EE ,   A CM   S IG G R A P H,  IA EN G   a n d   S e n io r   M e m b e o f   I A CS I T .   His  re s e a rc h   in tere sts  in c lu d e   Co m p u ter  G ra p h ics ,   F a c ial  A n i m a ti o n ,   Clo th   S im u latio n ,   M e d ica Visu a li z a ti o n ,   Ha p ti c   In tera c ti o n ,   M a n   M a c h in e   In tera c ti o n   a n d   Ro b o ti c s.    Evaluation Warning : The document was created with Spire.PDF for Python.
I J E C E     I SS N:  2088 - 8708       R ea l Time  I n tera ctive   P r esen ta tio n   A p p a r a tu s   b a s ed   o n   Dep th   I ma g R ec o g n itio n   ( A h ma d   Ho ir u l B a s o r i )   1315       O m a O ba ru k a re c e iv e   Do cto r ate  d e g r ee   f r o m   C o m p u te r   E n g i n ee r i n g ,   C o lle g o f   E n g i n ee r in g ,   Flo r id I n s t it u te  o f   T ec h n o lo g y   in   1 9 9 9 .    C u r r en tl y ,   h i s   Dea n   o f   Facu lt y   o f   C o m p u ti n g   a n d   I n f o r m atio n   T ec h n o lo g y   R ab i g h ,   He  al s o   ac tiv o n   r esear ch   a n d   teac h in g .   H is   r e s ea r ch   i n ter est:   L o g ic  -   m o b il ag en t   -   cr y p to g r ap h y   -   d ata  m in i n g   -   I n f o r m atio n   s ec u r it y   a n d   au d it.         Evaluation Warning : The document was created with Spire.PDF for Python.