I nd o ne s ia n J o urna l o f   E lect rica l  E ng ineering   a nd   Co m pu t er   Science   Vo l.   3 6 ,   No .   1 ,  Octo b er   20 24 ,   p p .   2 5 2 ~ 2 6 3   I SS N:  2 502 - 4 7 52 ,   DOI : 1 0 . 1 1 5 9 1 /ijee cs .v 3 6 . i 1 . pp 252 - 2 6 3           252     J o ur na l ho m ep a g e :  h ttp : //ij ee cs . ia esco r e. co m   Scienti fic  la ndsca pe on o ppo rtuni ti es a nd chall eng es  o f    la rg e lang ua g e mo dels a nd na tural  lang ua g e process ing       Ra chel  E dita   O .   Ro x a s ,   Reg i na ld Ne il C.   Rec a rio   I n st i t u t e   o f   C o m p u t e r   S c i e n c e ,   C o l l e g e   o f   A r t s a n d   S c i e n c e s,   U n i v e r si t y   o f   t h e   P h i l i p p i n e s   L o s  B a ñ o s ,   L o s  B a ñ o s,   P h i l i p p i n e s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Feb   7 ,   2 0 2 4   R ev is ed   J u n   2 ,  2 0 2 4   Acc ep ted   J u n   5 ,   2 0 2 4       Th is p a p e r  c o n d u c ted   a   sy ste m a ti c   re v iew   o f  S c o p u s - in d e x e d   p u b li c a ti o n s o n   larg e   lan g u a g e   m o d e ls  (LL M s)   a n d   n a tu ra l  la n g u a g e   p r o c e ss in g   (NL P )   e x trac ted   in   Oc to b e r  2 0 2 3   to   a d d re ss   th e   d e a rth   o f  li tera tu re   o n   t h e ir   o p p o rt u n it ies   a n d   c h a ll e n g e s.  T h r o u g h   b i b li o m e tri c   a n a ly sis,  fro m   th e   1 , 6 0 0   re lev a n t  d o c u m e n ts,  t h e   stu d y   e x p lo re d   re se a rc h   p ro d u c ti v it y ,   re v e a li n g     b o t h   o p p o rtu n it ies   a n d   c h a ll e n g e s  sp a n n in g   re se a rc h   a n d   re a l - wo rld     a p p li c a ti o n s  i n   e d u c a ti o n ,   m e d ici n e ,   a n d   h e a lt h   c a re ,   c it a ti o n s,  a n d   k e y wo rd   co - oc c u rre n c e   n e tw o rk s.   Re su l ts  h i g h l ig h ted   d istri b u ti o n   p a tt e rn s  a n d   d o m in a n t  p lay e rs  l ik e   G o o g le  L LC  a n d   S tan fo r d   U n iv e rsit y .   Op p o rt u n it ies   su c h   a s  tec h n o lo g ica l  d e v e lo p m e n t  i n   g e n e ra ti v e   a rti ficia l   in tel li g e n c e   ( AI ) ,   we re   c o n tras ted   wit h   c h a ll e n g e s  su c h   a s   b ias e s  a n d   e th ica l  c o n c e rn s.     Th e   in tellec tu a l   stru c tu re   a n a l y si s  re v e a led   p ro m in e n t  a p p li c a ti o n   a re a s  in   h e a lt h   a n d   e d u c a ti o n   a n d   a lso   e m p h a siz e d   issu e s  su c h   a s  AI  d iv i d e   a n d   h u m a n - AI  p a rt n e rsh i p .   Im p r o v e m e n t  o n   th e   tec h n o l o g y   p e rf o r m a n c e   o f  LL M   a n d   NLP   re m a in s  to   b e   a   c h a ll e n g e .   Re c o m m e n d a ti o n s  i n c l u d e   fu r th e r   e x p lo ra ti o n   o f  o p e n   re se a rc h   p r o b lem s  a n d   b i b li o m e tri c   stu d ies   u sin g   o t h e r   re se a rc h   d a tab a se s  g iv e n   th e   re se a rc h   b ias   t o wa rd s  S c o p u s - i n d e x e d   E n g li s h   p u b li c a ti o n s.   K ey w o r d s :   Ar tific ial  in tellig en ce   B ib lio m etr ics   L ar g e  lan g u ag e  m o d els   Natu r al  lan g u ag e   p r o ce s s in g   Op p o r tu n ities   an d   ch allen g es   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   R ac h el  E d ita  O.   R o x as   I n s titu te  o f   C o m p u ter   Scien ce ,   C o lleg e  o f   Ar ts   an d   Scien ce s ,   Un iv er s ity   o f   th e   Ph ilip p in es  L o s   B añ o s   C o lleg e,   L ag u n a,   Ph ilip p in es   E m ail: r o r o x as2 @ u p . e d u . p h       1.   I NT RO D UCT I O N   T h e  f ield   o f   ar tific ial  in tellig en ce   ( AI )   is   in cr ea s in g ly   p er m ea tin g   v ar io u s   s ec to r s   o f   s o ciety   s u ch   as   ed u ca tio n   [ 1 ] ,   [ 2 ] ,   h ea lth   [ 3 ] ,  [ 4 ] ,   an d   f in a n ce   a n d   a cc o u n tin g   [ 5 ] - [ 7 ]  a m o n g   o t h er s .   T h e   ev id e n t  im p r o v em e n ts   in   co m p u ter   p r o ce s s o r s   an d   th e  av ailab ilit y   o f   lib r ar ies  a n d   m et h o d o lo g ie s   th at  s im p lify   th e   u s e  o f   AI   m o d els  an d   tech n i q u es  h elp   ac ce ler ate  its   p o p u lar ity   an d   r ein f o r ce   th e   o p p o r tu n ities   av ailab le.   AI   is   an   en ab ler   in   ac c o m p lis h in g   1 3 4   o u t  o f   th e  1 6 9   tar g ets,  ac r o s s   th e  1 7   s u s tain ab le  d ev e lo p m en t  g o als  [ 8 ] ,   wh ile  AI   h as  b ee n   s h o wn   to   also   in h ib it  5 9   tar g ets  o f   th e  s u s tain ab le  d ev elo p m en t  g o als  [ 8 ] .   Su ch   ca s es  ex em p lify   h o w  AI   af f ec ts   an d   in f lu en ce s   th e  v a r io u s   asp ec ts   o f   o u r   liv es.   L ar g e  lan g u ag e   m o d els’  ( L L Ms)   r o le  in   r esh a p in g   th e  AI   lan d s ca p e   ca n n o t  b e   o v er s tated .   T h ese   m o d els,  p r e - tr ain e d   o n   lar g e  n u m b er s   o f   d ata,   h a v e  r ed ef i n e d   th e  b o u n d ar ies  o f   wh at  m ac h in es  ca n   ac h iev e.   L L Ms,  s u ch   as  Op en AI ’ s   G P T - 3 ,   ar e  n o   lo n g er   lim ited   to   tex t  g en er atio n   b u t  ca n   n o w  p e r f o r m   v a r io u s   task s   f r o m   la n g u ag e   tr an s latio n   to   c o n ten t c r ea tio n .   Giv en   th e  e x p an s iv e  a p p licab i lity   o f   L L Ms  a n d   th e   co n s eq u en t  ex p o n en tial  in c r ea s e  in   r es ea r ch   an d   p u b licatio n s ,   r e v iew  ar ticles  h av e  b ee n   p u b lis h ed   to   p r o v id e   s cien tific   lan d s ca p es  f o r   s p ec if ic  d o m ain s   o n ly ,   s u ch   as  in   th e  h ea lth   s ec to r   [ 9 ] ,   ed u ca tio n   [ 1 0 ] ,   [ 1 1 ] ,   m ed ici n e  [ 1 2 ] ,   leg al  in f o r m atics  [ 1 3 ] ,   an d   r o b o tics   [ 1 4 ] .   T h u s ,   th is   s tu d y   will  co n s id er   all  an d   ac r o s s   d o m ai n s   o f   L L Ms.  I t  is   also   th e  ca s e  th e   r ev iews  h av e  b ee n   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       S cien tifi c  la n d s ca p e  o n   o p p o r t u n ities   a n d   ch a llen g es  …   ( R a c h el  E d ita   O.   R o xa s )   253   co n d u cte d   u s in g   s p ec if ic  r esea r ch   d atab ases   s u ch   as th e  W eb   o f   Scien ce   ( W o S)  [ 1 5 ] ,   wh ile  we  u s e  th e  Sco p u s   d atab ase.   Ag ain s t  th is   b ac k d r o p ,   r ev ie w  p u b licatio n s   h av e  also   h ig h lig h ted   th e  o p p o r tu n ities   an d   ch allen g es  th at  ar e  b r o u g h t  ab o u t  b y   th e  u tili za tio n   o f   L L Ms  in   v a r i o u s   f ield s   [ 1 1 ] ,   [ 1 6 ] - [ 1 9 ] .   O p p o r tu n ities   in clu d e  in cr ea s ed   ef f icien cy   o f   d eliv er y   o f   s er v ices  d u e  to   th e  au to m atio n   o f   ted io u s   an d   r e p etitiv e  task s ,   an d   d escr ip tiv e  an d   p r ed ictiv e   an aly tics ,   to   n am e  a  f ew.   On   th e  o th er   h an d ,   th e  u s e  o f   L L Ms  also   co m es  with   ch allen g es [ 1 3 ] ,   [ 1 8 ] ,   s u c h   as  p o ten tial b ias,  m is in f o r m atio n ,   p lag iar is m ,   an d   o th er   et h ical  co n ce r n s .   I n   th e   s tu d y   o f   L L Ms,  n atu r al   lan g u a g e  p r o ce s s in g   ( NL P ) ,   wh ich   is   th e  s tu d y   o f   th e  c o m p u tatio n al   asp ec ts   o f   n atu r al  lan g u ag es,  was  id en tifie d   b y   Fan   et  a l.   [ 2 0 ]   as  an   in te g r al  co m p o n e n t   o f   L L M  r esear ch .   T h u s ,   a  s y s tem atic  r ev iew  o f   NL P  p u b licatio n s   was  co n d u cted   b y   Kr asad a k is ,   Sak k o p o u lo s ,   an d   Ver y k io s   [ 1 3 ] ,   b u t  it  f o cu s ed   o n   NL P  ch allen g es  o n ly   an d   was  lim ited   to   th e  d o m ain   o f   leg al  in f o r m atics  an d   lo w - r eso u r ce   lan g u ag es .   T h e   r ev ie w  o n   L L Ms  b y   Fan   et   a l.   [ 2 0 ]   p ar ticu la r ly   u s ed   p u b licatio n s   th at  ar e  lis ted   o n   th e  W o S;  h o wev er ,   th e  u s e  o f   o th er   r esear ch   d atab ases   s u ch   as  Sco p u s   is   an   o p en   ar ea   o f   r esear ch ,   wh ich   is   th e  f o cu s   o f   th is   s tu d y .   T h u s ,   to   ad d r ess   th e  g ap   in   e x is tin g   liter atu r e,   we  co n d u ct   a  s y s tem atic  r ev iew  o f   Sco p u s - in d ex ed   p u b licatio n s   o n   th e  u s e  o f   L L M  an d   NL P  ac r o s s   v ar i o u s   d o m ain s   an d   lan g u ag es,   b u t  f o c u s in g   o n   o p p o r tu n ities   an d   ch allen g es,   wh ich   h as  n o t  b ee n   ad d r ess ed   b y   ea r lier   wo r k .   T h r o u g h   th is   s tu d y ,   we   id en tify   th e  s cien tific   lan d s ca p e  o f   ex i s tin g   wo r k ,   as  well  as  o p en   r esear ch   p r o b lem s   in   th e   L L M   an d   NL P  r esear c h   f ield   th r o u g h   a  f o cu s   o n   o p p o r tu n ities   an d   c h allen g es.  Ou r   m eth o d o lo g y   is   b ased   o n   th e   b ib lio m etr ic   ap p r o ac h   o f   Pritch ar d   [ 2 1 ] ,   a n d   o u r   d ata  a n aly s is   an d   v is u ali za tio n   ar e  a n ch o r e d   o n   th e   wo r k   o f   Hallin g er   a n d   Ko v ač ev ic  [ 2 2 ]   as o u r   th e o r etica l f r am ewo r k .   B ib lio m etr ic  an aly s is   is   “a   s cien tific   co m p u ter - ass is ted   r ev iew  m eth o d o l o g y   th at  ca n   id e n tify   co r e  r esear ch   o r   a u th o r s ,   as  well  as  th eir   r elatio n s h ip ,   b y   co v er i n g   all  th e  p u b licatio n s   r elate d   to   a  g iv e n   to p ic  o r   f ield ”  as  cited   b y   Han   et  a l.   [ 2 3 ] .   A  b ib lio m etr ic  a p p r o a ch ,   as  tr ac ed   b ac k   to   Pritch a r d   [ 2 1 ] ,   “e m p lo y s   m ath em atica l  an d   s tatis tica l  m eth o d s   in   b ib lio m etr ic  to   d eter m in e  an d   an aly ze   th e  g r o wth   an d   t r en d   o f   a  p ar ticu lar   r esear ch   th em e”   ( p .   3 4 9 ) ,   an d   m a n y   b ib lio m etr ic   s tu d ies  h av e  b e en   c o n d u cted   ev er   s in ce ,   ac r o s s   v ar io u s   d o m ain s .   R esear ch   d a tab ases   s u ch   as  Go o g le  Sch o lar   [ 2 4 ] ,   W o S  [ 2 5 ] ,   Pu b Me d   [ 9 ] ,   an d   Sco p u s   [ 2 6 ] ,   h av e  b ee n   u s ed   to   co n d u ct   th i s   ty p e  o f   q u an titativ e   ap p r o ac h   [ 2 6 ] ,   [ 2 7 ]   an d   in   v ar io u s   f ie ld s   s u ch   as  h ea lth   p o licy   an d   m an a g em en t  [ 2 8 ] ,   ed u ca tio n   [ 1 1 ] ,   n u r s in g   [ 2 9 ] ,   AI   [ 3 0 ] ,   a g r icu ltu r e  [ 3 1 ] ,   an d   ed u ca tio n al     r esear ch   [ 3 2 ] .   W e  d escr ib e  th e  s c ien tific   la n d s ca p e  o f   th e  o p p o r tu n ities   an d   ch al len g es  o f   th e  u s e  o f   L L Ms  an d   NL P.  W e   an ch o r   o u r   s tu d y   o n   Hallin g er   an d   Ko v ač ev ić  [ 2 2 ]   wh ich   p r esen ts   th e  co m p o n en ts   o f   a  b ib lio m etr ic   s tu d y ,   wh ich   ar e  s ize,   tim e,   s p ac e,   an d   co m p o s itio n .   Si ze   r ef er s   to   b o th   th e  q u an ti ty   an d   q u ality   o f   p u b licatio n s   in   th e  ar ea   w h ich   ar e  ex tr ac ted   f r o m   t h e  r ese ar ch   d atab ase  ( wh ich   is   p r esen ted   in   T ab le  1 ) .     W e  d id   n o t  lim it  th e  tim e  ( th e  d ate  o f   p u b licatio n )   o r   t h e  s p ac e  ( th e  g eo g r ap h ical  d is tr ib u tio n   o f   th e   p u b licatio n s ) ;  all  p o s s ib le  y ea r s   o f   p u b licatio n   an d   all  p o s s ib le  c o u n tr ies/ ter r ito r ies  o f   o r i g in   wer e  in cl u d ed .  T h e  co m p o s itio n   ( o r   wh at   is   ca lled   in tellectu al  s tr u ctu r e )   o f   th e   p u b licatio n s   [ 2 3 ]   in cl u d es  v is u aliza tio n s   u s in g   th e  Sco p u s   r esear ch   d at ab ase  f u n ctio n ,   B ib lio s h in y   [ 3 3 ] ,   an d   VOSv iewe r   [ 3 4 ] ,   an d   t h e  id en tific at io n   o f   th e  ap p licatio n   a r ea s ,   n o m e n clatu r es,  an d   o p en   r esear ch   ar ea s .   T h e  p r im ar y   o b jectiv e  o f   t h is   s tu d y   is   to   in v esti g ate  th e  s cien tific   lan d s ca p e  o f   o p p o r t u n ities   an d   ch allen g es  in   L L M  an d   NL P  u s in g   th e  b ib lio m et r ic  ap p r o a ch ,   an d   t o   p r o v id e  a  h o lis tic  a n aly s is   o f   th e  f ield ,   r ev ea lin g   its   o v er all  s tr u ct u r e  an d   d y n am ics.   Sp ec if ically ,   th e  r esear ch   aim s :   −   to   an aly ze   th e  tr en d s   an d   p atter n s   o f   Sco p u s - in d ex e d   p u b li ca tio n s   o n   L L Ms  an d   NL P  o p p o r tu n ities   s id e - by - s id e  c h allen g es  b y   co u n tr y /ter r ito r y ,   s u b ject  ar ea ,   af f iliat io n ,   f u n d i n g   s p o n s o r ,   citatio n ,   an d   k e y wo r d   co - o cc u r r en ce ; a n d     −   to   ev alu ate  t h e  p atter n s   o f   Sco p u s - in d e x ed   p u b licatio n s   o n   L L Ms  an d   NL P  o p p o r tu n ities   an d   ch allen g es   b y   its   in tellectu al  s tr u ctu r e  f o c u s in g   o n   a p p licatio n   a r ea s ,   n o m en clatu r es,  an d   o p e n   r esear c h   ar ea s .       2.   M E T H O D   T h is   s tu d y   em p lo y ed   a   s y s tem atic  liter atu r e  r ev iew  u s in g   th e  b ib lio m et r ic  ap p r o ac h   f o r   cr itical  d is cu s s io n ,   co m p ar is o n ,   an d   in ter p r etatio n   o f   th e  an aly s es.  T h is   s tu d y   h as  b ee n   an ch o r ed   o n   th e  wo r k   o f   Hallin g er   an d   Ko v ač ev ić   [ 2 2 ]   as  o u r   t h eo r etica l  f r am ewo r k ,   with   d ata  c o llectio n   f r o m   th e  Sco p u s   r esear ch   d atab ase,   b ased   o n   th e  p r e f er r ed   r e p o r tin g   item s   f o r   s y s tem atic  r ev iews  an d   m eta - a n aly s is   ( PR I SMA)   p r o ce d u r e  [ 3 5 ] .   T h en   we  p er f o r m e d   d ata  an aly s is   an d   v is u aliza tio n s   b ased   o n   th e  wo r k   o f   Sco p u s ,   B ib lio s h in y   [ 3 3 ] ,   an d   VOSv ie wer   [ 3 4 ] ,   in clu d in g   in tellectu a l  s tr u ctu r e  o r   c o m p o s itio n   o f   t h e  d o cu m en ts   [ 2 3 ]   u s in g   k ey wo r d   co - o cc u r r en ce   n etwo r k s   [ 3 6 ] ,   an d   th e  id en tific atio n   o f   ap p licatio n   ar ea s ,   n o m en clatu r es,  an d   o p en   r esear c h   ar ea s .   Deta ils   ar e  p r esen ted   in   t h e  s u c ce ed in g   d is cu s s io n s .     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 6 ,   No .   1 ,  Octo b er   20 24 :   252 - 2 6 3   254   2 . 1 .     Co llect i o n o f   pu bli ca t io n da t a   T h e  PR I SMA  p r o ce d u r e  was  ad o p ted   [ 3 5 ] .   T h e  PR I SMA  p r o ce d u r e  h as  th r ee   s tag es,  n am ely ,   id en tific atio n ,   s cr ee n i n g ,   a n d   in clu d ed .   At  th e  i d en tific atio n   p h ase,   d o c u m en ts   wer e   r etr iev ed   d u r in g   Octo b e r   20 2 3   with   b o o lea n   q u e r ies  in   th e  ad v an ce d   s ea r ch   f u n ctio n   o f   Sco p u s   ( as  s h o wn   in   T ab le   1 ) .   A  s ea r ch   u s in g   TITLE - AB S - KE Y  ( “ lar g e  lan g u ag e  m o d el”  OR   L L M)   y ield ed   1 , 6 0 0   d o cu m en ts   af ter   th e  s cr ee n in g   an d   ex clu s io n   o f   n o n - E n g lis h   d o cu m en ts .   T ab le  1   p r esen ts   th e  s ea r ch   f u n ctio n s   co n d u ct ed   to   id en tify   th e   d o cu m e n ts   o n   t h e  ar ea s   o f   L L M,   NL P,  o p p o r tu n ities   an d   c h allen g es,  an d   th e  r esu ltin g   n u m b er   o f   d o cu m e n ts   as  id en tifie d   b y   th e  s ea r ch   f u n ctio n s .   T h e  cr iter ia  f o r   in clu s io n   o f   d o c u m en ts   in   th is   s tu d y   ar e  th o s e  p u b lis h ed   an d   in d ex e d   o n   th e  Sco p u s   r esear ch   d atab ase,   p u b lis h ed   o n   o r   b ef o r e  Octo b er   2 0 2 3 ,   an d   th o s e  th at  ar e  wr itten   in   E n g lis h .   T h en   we   ex tr ac ted   f r o m   Sco p u s   th e  m eta d ata  o f   th ese   d o c u m en ts   to   c o m m a - s ep ar ate d   v a lu e  ( C SV)   f iles   with   th e  co r r esp o n d in g   n u m b er   o f   d o c u m en ts .   E ac h   r o w  in   th e  C SV   f ile  co n tain s   t h e  m etad ata  o f   o n e   d o cu m e n t  th at  is   co n s id er ed   i n   th is   s tu d y ,   wh ich   in clu d es  t h e  n am es  o f   th e  au th o r s ,   th e  titl e  o f   th e  d o cu m en t ,   th e  ab s tr ac t,  th e  af f iliatio n ,   an d   o th er   p er tin en t i n f o r m atio n   a b o u t th e  p u b lica tio n .       T ab le  1 .   Sear ch   f u n ctio n s   an d   n u m b er s   o f   ex tr ac te d   d o c u m e n ts   S e a r c h   f u n c t i o n   N u mb e r   o f   e x t r a c t e d   d o c u me n t s   TI TLE - A B S - K EY   ( “ l a r g e   l a n g u a g e   mo d e l ”   O R   LL M )   1 , 6 0 0   TI TLE - A B S - K EY   (( “ l a r g e   l a n g u a g e   mo d e l ”   O R   L LM )   A N D   ( “ n a t u r a l   l a n g u a g e   p r o c e ss i n g ”   O R   N LP)   A N D   ( p r o mi s e   O R   o p p o r t u n i t y   O R   f u t u r e   O R   b l e ss i n g ) )   96   TI TLE - A B S - K EY   (( “ l a r g e   l a n g u a g e   mo d e l ”   O R   L LM )   A N D   ( “ n a t u r a l   l a n g u a g e   p r o c e ss i n g ”   O R   N LP)   ( c h a l l e n g e s   O R   p r o b l e ms   O R   c o n c e r n   O R   c u r se))   1 4 9   TI TLE - A B S - K EY   (( “ l a r g e   l a n g u a g e   mo d e l ”   O R   L LM )   A N D   ( “ n a t u r a l   l a n g u a g e   p r o c e ss i n g ”   O R   N LP)   A N D   ( p r o mi s e   O R   o p p o r t u n i t y   O R   f u t u r e   O R   b l e ssi n g ) )   A N D   ( c h a l l e n g e s  O R   p r o b l e ms  O R   c o n c e r n   O R   c u r se))   44       2 . 2 .     Da t a   v is ua liza t io ns   Usi n g   th e  Sco p u s   f u n ctio n   an aly ze - s ea r ch - r esu lts ,   th e   g r ap h s   f o r   d o cu m e n ts   b y   af f iliatio n ,   co u n tr y   o r   ter r ito r y ,   af f iliatio n ,   s u b ject   ar ea ,   an d   citatio n   wer e  g e n er ated   an d   co r r esp o n d i n g ly   ex p o r ted   in to   a  s to r ag e   d ev ice.   Fu r th er   an aly s es  an d   v is u aliza tio n s   wer e  p er f o r m ed   u s in g   B ib lio s h in y   [ 3 3 ]   an d   VOSv iewe r   [ 3 4 ]   u s in g   th e   C SV  f iles   ex p o r te d   f r o m   Sco p u s   o f   th e   m etad ata  o f   t h e  d o cu m e n ts   co n s id er ed   in   th is   s tu d y   ( d escr ib ed   in   th e  p r ev io u s   s ec tio n ) .   B ib lio s h in y   [ 3 3 ]   wa s   u s ed   to   g en er ate  th e  m ain   in f o r m atio n ,   an d   VOSv iewe r   [ 3 4 ]   was u s ed   to   g en er ate  th e  k ey wo r d   co - o cc u r r en ce   n etwo r k .   Key wo r d   co - o cc u r r en ce   h as b ee n   wid ely   u s ed   in   m ap p in g   th e  k n o wled g e  s tr u ctu r e  o f   p u b licatio n s   in   p ar ticu lar   f ield s   o f   s tu d y   [ 3 6 ]   an d   p e r f o r m s   clu s ter in g ,   w h er e  k ey wo r d s   ar e   au to m atic ally   g r o u p e d   in to   clu s ter s   wh ich   ar e   r ep r esen ted   b y   d if f er en t   co lo r s   if   k ey wo r d s   co - o cc u r   in   d o cu m en ts .   T h e  p ar ticu lar   s ettin g s   f o r   ea ch   g en er atio n   o f   th e  n et wo r k   h a v e  b ee n   in clu d e d   in   th e  n ex t sectio n .       3.   RE SU L T S   AND  D I SCU SS I O N   T h is   s ec tio n   co n tain s   th e  an al y s es  p er f o r m e d   an d   s o m e  in f er en ce s   in   th e  ar ea   o f   L L Ms,  an d   L L Ms   an d   NL P  o p p o r tu n ities   an d   ch allen g es.  Af ter   s ea r ch in g   f o r   1 , 6 0 0   Sco p u s - in d ex e d   p u b licati o n s ,   we  p er f o r m e d   an aly s es  o f   th e  9 6   L L M   an d   NL P  o p p o r t u n ities   s id e - by - s id e  th e  1 4 9   L L M  a n d   NL P  c h allen g es  d o c u m en ts   b y   co u n tr y /ter r ito r y ,   s u b ject  ar ea ,   af f iliatio n ,   f u n d in g   s p o n s o r ,   c itatio n ,   an d   k e y wo r d   c o - o cc u r r en ce s .   T h er ea f ter ,   we  ass ess ed   th e  tr en d s   a n d   p atter n s   o f   th e  4 4   Sco p u s - in d ex ed   p u b licatio n s   o f   t h e   L L Ms  an d   NL P  o p p o r tu n ities   an d   ch allen g es b y   its   co m p o s itio n   ( o r   wh at  is   ca lled   in tellectu al  s t r u ctu r e  ac c o r d in g   to   Hallin g er   an d   Ko v ač e v ić  [ 2 2 ] )   in   ter m s   o f   v ar i o u s   ap p licatio n   a r ea s ,   n o m en clatu r es,  an d   o p en   r esear ch   ar ea s .     3 . 1 .     L L M   a nd   NL P :   o pp o rt un it ies s ide - by - s ide c ha lleng es   T h is   s ec tio n   d is cu s s es  th e  tr e n d s   an d   p atter n s   o f   th e   9 6   L L M   an d   NL P  o p p o r tu n ities   s id e - by - s id e  th e   1 4 9   o n   ch allen g es  ( as  lis ted   i n   T ab le   1 )   b y   co n s id er in g   th e   m o s t  d o cu m en ts   b y   o p p o r tu n ities   an d   ch allen g es   r esp ec tiv ely   b y   co u n tr y /ter r ito r y   as  s h o wn   in   Fig u r es  1 ( a)   an d   1 ( b ) ,   s u b ject  ar ea   as  s h o wn   in   Fig u r es  2 ( a)   an d   2 ( b ) ,   af f iliatio n   as  s h o wn   i n   F ig u r es  3 ( a)   an d   3 ( b ) ,   f u n d in g   s p o n s o r   as  s h o wn   in   Fig u r es  4 ( a)   an d   4 ( b ) ,   to p   1 0   cited   d o cu m e n ts ,   an d   k ey wo r d   co - o cc u r r en ce   n etwo r k s   as sh o wn   in   Fig u r es 5 ( a)   an d   5 ( b ) .   W e  f u r th er   ex am in ed   th e  p u b licatio n s   o n   L L M  an d   NL P  b y   lo o k i n g   at  th e  d is tr ib u tio n   o f   d o cu m e n ts   b y   c o u n tr y   o r   te r r ito r y   ( Fig u r e  1 ) ,   f o cu s in g   o n   o p p o r t u n ities   an d   c h allen g es,  as   s h o wn   in   Fig u r es  1 ( a)   an d   1 ( b ) ,   r esp ec tiv ely .   T h e   Un ited   States   lead s   in   b o th   th e  o p p o r tu n ities   an d   ch allen g es  f o r   L L M  an d   NL P,   f o llo wed   b y   th e   Un ited   Kin g d o m   f o r   o p p o r tu n ities ,   an d   C h in a  in   th e   ch allen g es.   I t  ca n   b e   n o ted   th at   s ev er al   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       S cien tifi c  la n d s ca p e  o n   o p p o r t u n ities   a n d   ch a llen g es  …   ( R a c h el  E d ita   O.   R o xa s )   255   co u n tr ies  o r   ter r ito r ies  in   th e  t o p   1 0   a r e  b o th   p r esen t   f o r   th e   o p p o r tu n ities   an d   ch allen g es.  Desp ite  th e  b en e f its   th at  AI   p r o v id es  to   s o ciety ,   it  also   in tr o d u ce s   an   AI - d iv id e,   wh er e  lo w - in co m e  co u n tr ies,  s o cieties,  o r g an izatio n s ,   an d / o r   in d iv id u als  wh o   h a v e  b ee n   alien ated   in   th e  d ig ital - d iv id e   d u e  t o   th e   li m ited   ac ce s s ib ilit y   to   d ig ital  d ev ices  an d   to o ls ,   ar e  f u r th er   alien ated   in   th e  ad v e n t  o f   AI   [ 3 7 ] .   R ev iew  p u b lica tio n s   o n   L L M  an d   NL P f ail  to   m en tio n   a b o u t th e   co n ce p t o f   AI - d i v id e  s u ch   as i n   [ 1 2 ] ,  [ 1 3 ] .         ( a)       ( b )     Fig u r e  1 .   Do c u m en ts   b y   co u n tr ies/ ter r ito r ies o f   L L M  an d   NL P ( a)   o p p o r tu n ities   an d   ( b )   c h allen g es       W e  f u r th er   ex am in ed   th e  p u b licatio n s   o n   L L M  an d   NL P  b y   lo o k in g   at  th e  d is tr ib u tio n   o f   d o cu m e n ts   b y   s u b ject  ar ea   ( Fig u r e  2 ) ,   f o cu s in g   o n   o p p o r t u n ities   an d   ch allen g es,  as  s h o wn   in   F ig u r es  2 ( a)   an d   2 ( b ) ,   r esp ec tiv ely .   Fo r   b o t h   o p p o r t u n ities   an d   ch allen g es,  C o m p u ter   Scien ce   d o m in ates  th e   s u b ject  ar ea s   w ith   3 7 . 7 % a n d   4 2 . 8 % r esp ec tiv ely ,   s h o win g   th at  p u b licatio n s   o n   tech n o lo g y   d ev el o p m e n t r ec o g n ize  th at  th er e  a r e  b o th   b e n ef its   an d   p r o b lem s   a s s o ciate d   with   th e  ad v an ce m e n t  o f   L L M  a n d   NL P;  h o we v e r ,   th er e  is   a  h ig h er   p er ce n tag e  ass o ciate d   with   th e   ch allen g es.  I t  is   f o llo wed   b y   So cial  Scien ce s   with   1 1 . 9 %  f o r   o p p o r tu n ities   an d   1 1 . 8 %  f o r   c h allen g es,  with   al m o s t  th e  s am e  p er ce n tag es,  r ev ea lin g   th at  t h ese  p u b licatio n s   f o cu s   o n   s o cieta l   asp ec ts   o f   th e  in tr o d u ctio n   o f   th ese  tech n o lo g ies.  T h e  r e m a in in g   s u b ject  ar ea s   s h o w  th at  th ese  tech n o lo g ies  ar e  p r esen t  in   a  v ar iety   o f   f iel d s ,   in clu d in g   m ed icin e ,   ar ts   an d   h u m a n ities ,   an d   b u s in ess ,   b u t  also   m ay   p r esen t  b o th   o p p o r tu n ities   an d   c h allen g es.   W e  lo o k ed   at  th e  d is tr ib u tio n   o f   d o cu m en ts   b y   to p   1 0   af f iliatio n s   ( Fig u r e  3 ) ,   f o cu s in g   o n   o p p o r tu n ities   an d   ch allen g es,   as  s h o wn   in   Fig u r es  3 ( a)   an d   3 ( b ) ,   r esp ec tiv ely .   I n   th e  to p   1 0   in s titu tio n s   o f   b o th   L L M  an d   NL P  o p p o r t u n ities   an d   ch allen g es,  th e  to p   1   an d   to p   2   ar e  o cc u p ied   b y   Go o g le  L L C   an d   Stan f o r d   U n iv er s ity ,   r esp ec ti v ely .   B o th   t h e  to p   1 0   o n   o p p o r tu n ities   an d   c h allen g es  ar e  d o m i n ated   b y   Un iv er s ities ,   b u t  with   a  g r ea ter   in v o lv em e n t  o f   i n d u s tr y - r elate d   in s titu tio n s   in   c h allen g es  th an   in   o p p o r tu n ities   ( 1 : 3   with   o n l y   Go o g le  L L C   in   o p p o r tu n ities ,   in   co n tr ast  t o   Go o g le  L L C ,   I B M  r esear ch ,   a n d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 6 ,   No .   1 ,  Octo b er   20 24 :   252 - 2 6 3   256   Am az o n . co m ,   in   c h allen g es) ,   an d   g r ea ter   in v o l v em en t  o f   m ed icin e - r elate d   in s titu tio n s   in   o p p o r tu n ities   ( Sch o o l  o f   C lin ical  Me d icin e,   an d   Ma y o   C lin ic)   with   n o n e  in   ch allen g es.  Fro m   th ese  f ig u r es,  ac ad em e  an d   in d u s tr y   in v o lv em e n ts   ar e  ev i d en t.   W e  ex am in ed   th e  d is tr ib u tio n   o f   d o cu m en ts   b y   f u n d i n g   s p o n s o r   ( Fig u r e  4 ) ,   f o c u s in g   o n   o p p o r tu n ities   an d   ch allen g es,   as  s h o wn   in   Fig u r es  4 ( a)   a n d   4 ( b ) ,   r esp ec tiv el y .   A   h ea l th - r elate d   f u n d in g   s p o n s o r ,   t h e  Natio n al   I n s titu tes  o f   Hea lth ,   h ig h lig h te d   o p p o r tu n ities .   Var io u s   p r iv ate  an d   g o v er n m en t   in s titu tio n s   f o cu s in g   o n   h ea lt h ,   s cien ce s ,   m ilit ar y ,   ed u ca tio n ,   an d   cu ltu r e  h av e  f u n d ed   a n d   s h o wn   in ter est  in   L L M  an d   NL P  f o r   th eir   v ar io u s   f ield s   o f   s tu d y ,   h ig h lig h tin g   b o th   th e  o p p o r tu n it ies  an d   ch allen g es  en co u n ter e d .         ( a)     ( b )     Fig u r e  2 .   Do c u m en ts   b y   s u b je ct  ar ea   o f   L L M  a n d   NL P ( a )   o p p o r tu n ities   an d   ( b )   ch allen g e s         ( a)     ( b )     Fig u r e  3 .   Do c u m en ts   b y   af f ili atio n   o n   L L M  an d   NL P ( a )   o p p o r tu n ities   an d   ( b )   ch allen g es       T h e  to p   1 0   cited   d o cu m en ts   a m o n g   th e  9 6   L L M  a n d   NL P  o p p o r tu n ities   s id e - by - s id e  th e   1 4 9   L L M   an d   NL P  ch allen g es  wer e  a n aly ze d .   T h e  t o p   1 0   cited   d o c u m en ts   o f   th e  p u b licatio n s   ab o u t  L L M  an d   NL P   o p p o r tu n ities   o b tain e d   a   to tal  o f   4 5 1   citatio n s   with   th e   to p   1   cited   d o cu m e n t  [ 3 8 ]   o n   d etec tio n   an d   co r r ec tio n   o f   s p ellin g   er r o r s   u s in g   L L Ms  h av in g   1 0 2   citatio n s .   C o m m o n   to p ics  in clu d e  h u m a n - AI   in ter ac tio n   an d   co llab o r atio n   ( 3   o u t  o f   1 0   o r   3 0 %),   C h atGPT   ( 3   o u t  o f   1 0   o r   3 0 %),   an d   GPT - 3   ( 2   o u t  o f   1 0   o r   2 0 %).   Hu m a n - AI   in ter ac tio n   an d   co llab o r ati o n   ar e   ter m e d   as  c o - au th o r   [ 3 9 ]   a n d   co - wr itin g   [ 4 0 ]   b etw ee n   h u m an   an d   AI .   T h ese  ar e  n ew  f in d i n g s   in   co n tr ast  to   b ib lio m etr ic  s tu d ies  o n   L L M  p u b licatio n s   [ 1 0 ] ,   [ 2 0 ]   wh er e  th ese  wer e   n o t  m en tio n ed   in   th eir   f in d in g s ,   ex ce p t  f o r   th e  r ev iew  p ap er   o n   L L Ms  o n   h u m an - r o b o t  in ter ac tio n   f o r   i m p r o v e d   p er f o r m a n ce ,   wh er e   th e  h u m a n   p r o v id es  in ten t  t o   th e  r o b o t  an d   h u m a n   ac tio n s   t o   th e  en v ir o n m en t,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       S cien tifi c  la n d s ca p e  o n   o p p o r t u n ities   a n d   ch a llen g es  …   ( R a c h el  E d ita   O.   R o xa s )   257   wh ile  th e  r o b o t   p r o v id es  f ee d b ac k   to   th e   h u m a n   a n d   r o b o t  ac tio n s   to   th e   en v ir o n m e n t  [ 1 4 ] .   Do m ain s   in clu d e  b io tech n o l o g y   in   p r o tein   s eq u en cin g   [ 4 1 ] ,   s p el lin g   er r o r   d etec tio n   an d   co r r ec tio n   [ 3 8 ] ,   cli n ical  p r ac tice  [ 4 2 ] ,   ed u ca tio n   [ 4 3 ] ,   p u b lic  h ea lth   [ 4 4 ] ,   an d   co d e   ex p lan atio n s   [ 4 5 ] .   Me an wh ile,   t h e  to p   1 0   cited   d o c u m en ts   am o n g   th e  1 4 9   L L M  an d   NL P  ch allen g es  o b tain e d   a   to tal  o f   2 6 6   citatio n s   with   th e  to p   1   d o c u m en t  o n   co d e   ex p lan atio n s   [ 4 4 ]   h av i n g   2 2   citatio n s .   T h ese  d o c u m en ts   m ain ly   d is cu s s ed   GPT  ( 1   o u t  o f   1 0   o r   1 0 %)  a n d   C h atGPT   ( 4   o u t  o f   1 0   o r   4 0 %),   an d   f o cu s ed   o n   ch allen g es  ass o ciate d   with   its   u s e  in   th e   f o llo win g   d o m ai n s :  p u b lic  h ea lth   [ 4 4 ]   an d   clin ic al  p r ac tice  [ 4 2 ] ,   ed u ca tio n   [ 4 3 ] ,   [ 4 6 ] ,   [ 4 7 ] ,   a n d   c o d in g   [ 4 5 ] .   Fo r   ed u ca tio n ,     th e  s p ec if ic  ar ea s   in clu d e  m e d ical  ed u ca tio n   [ 4 6 ] ,   p r iv ate  lear n er s   [ 4 7 ] ,   an d   s tan d a r d   a d m is s io n   test s   [ 4 3 ] .   C h allen g es in clu d e  f ak e  n ews [ 4 8 ] ,   c o d e  e x p lan atio n s   [ 4 5 ] ,   a n d   d eto x if y in g   L L Ms [ 4 9 ] .         ( a)   ( b )     Fig u r e  4 .   Do c u m en ts   b y   f u n d i n g   s p o n s o r   o f   L L M  an d   NL P ( a)   o p p o r tu n ities   an d   ( b )   ch alle n g es       T h e  to p   1 0   cited   d o cu m en ts   am o n g   th e  9 6   L L M  an d   NL P  o p p o r tu n ities   an d   th e  1 4 9   L L M   an d   NL P   ch allen g es  h av e  co m m o n   d o c u m en ts   [ 4 2 ] - [ 4 4 ] ,   [ 5 0 ] ,   a n d   co m m o n   d o m ain s ,   s u ch   as  ed u c atio n ,   p u b lic  h ea lth ,   an d   co d e  ex p lan atio n s .   C o d e  ex p lan atio n s   co m e  u n d er   a  f ie ld   ca lled   ex p lain ab le  ar tific ial  in tellig en ce   ( XAI )   th at  h o p es to   tr a n s itio n   f r o m   “ b lack   b o x ”  m eth o d s   o f   L L Ms  in to   n ew  ap p r o ac h es th at   e n ab les ex p lan atio n   an d   in ter p r etab ilit y   [ 5 1 ] .   T h is   is   in   s u p p o r t  o f   t h e  f i n d in g s   o f   ex is tin g   s y s tem atic  r e v iews  o n   L L Ms,  wh en     LLM - b ased   s y s tem s ,   alth o u g h   p r o v id in g   co r r ec t  a n s wer s   to   q u esti o n s ,   o u t p u ts   “n o n s en s ical  ex p lan atio n s ”   an d   “h ig h ly   m is lead in g ”  [ 9 ] ,   s im p ly   m im ic  h u m an   b e h av io r   lik e  “sto ch asti c  p ar r o ts ”  with o u t  f u ll  u n d er s tan d i n g   o f   h o w   th e   an s wer s   wer e  d e r iv ed   [ 2 0 ]   an d   d o es  n o t  allo w   h u m an   o v e r s ig h t  o n   o u tp u ts   o f   L L M  s y s tem s ,   esp ec ially   in   s en s itiv e  d o m ain s   s u c h   as  h ea lth ca r e   an d   law  [ 1 5 ] .   I n   co n tr ast,  e x p lain   ab ilit y   h as  n o t  b ee n   m en tio n ed   in   o th er   L L M  r ev iew  p u b licatio n s   [ 1 0 ] .   Su ch   co m m o n   d o c u m en ts   an d   d o m ain s   im p l y   th at   th ese  d o m ain s   p r esen t  o p p o r tu n ities ,   an d   also   p o s e  as  ch all en g es,  an d   v ice  v er s a.   W e  ca n   also   in f er   th at  b o th   o p p o r tu n ities   an d   c h allen g es o f   L L M  an d   NL P  o v er all  in f l u e n ce   th e  p o liti ca l e co n o m y   o f   AI   [ 5 0 ] .   W e  p r esen t  th e   k e y wo r d   co - o cc u r r e n ce   n etwo r k s   o f   p u b licatio n s   o n   L L M  an d   NL P  ( Fig u r e  5 ) ,   f o cu s in g   o n   o p p o r tu n ities   an d   ch allen g es,  as  s h o wn   in   F ig u r es  5 ( a )   an d   5 ( b ) ,   r esp ec t iv e ly .   Fig u r e   5 ( a )   p r esen ts   th e  k ey wo r d   c o - o cc u r r en ce   n etwo r k   g en e r ated   f r o m   9 6   L L M  NL P  o p p o r tu n ities   u s in g   all  k ey wo r d s ,   m in im u m   n u m b er   o f   o cc u r r en ce s   o f   a   k ey w o r d = 3 ,   o f   t h e  8 3 9   k e y wo r d s ,   5 8   m ee t  th e   th r es h o ld ,   h as  5   clu s ter s   ( id en tifie d   b y   d if f er e n t  co lo r s ) ,   wh ich   wer e  m an u ally   lab eled   as  f o llo ws:   L L M  an d   NL P  r esear ch   ( r ed ) ,     L L M  an d   NL P  task s   ( g r ee n ) ,   ch atb o t  d ev elo p m en t  ( b lu e) ,   g en er ativ e  AI   ( y ello w) ,   an d   e - lear n in g   ( p u r p le) .   T h e  r ed   cl u s ter ,   wh ich   is   o n   L L M  an d   NL P  r esear ch ,   in cl u d es  k ey wo r d s   th at  ar e  o p p o r tu n ities   f o r   v ar i o u s   ap p licatio n   ar ea s   s u ch   as  ed u ca tio n ,   h ea lth   ca r e,   an d   m ed ical  r esear ch .   T h e  g r ee n   cl u s ter   h ig h lig h ts   th e  o p p o r tu n ities   f o r   th e  f u r th er   d ev elo p m e n t  o f   L L M  an d   N L P  task s   s u ch   as  n atu r al  lan g u ag e  g en e r atio n ,   class if icatio n ,   an d   te x t  p r o ce s s in g .   T h e   b lu e   clu s ter   is   d o m i n ated   b y   k ey wo r d s   ass o ciate d   with   d ee p   lea r n in g ,   s p ec if ically   GPT,   to war d s   th e  d ev elo p m e n t  o f   ch atb o ts .   T h e  y ello w  clu s ter   f o cu s es  o n   g en er ativ e  AI   u s in g   tr an s f o r m er   a r ch itectu r es.  Fin ally ,   th e  p u r p le  clu s ter   h ig h lig h ts   th e   L L M  NL P o p p o r tu n itie s   in   e - lear n in g .   Fig u r e  5 ( b )   illu s tr ates  th e  k e y wo r d   co - o cc u r r en ce   n etwo r k ,   g en er ated   b y   VOSViewe r ,   b as ed   o n   1 4 9   L L M  NL P  ch allen g es.  T h is   n etwo r k   en co m p ass es  all  k ey wo r d s ,   with   a  m in im u m   o cc u r r e n ce   th r esh o ld   s et  at   4   o u t   o f   th e  1 , 1 7 6   t o tal  k ey w o r d s .   Am o n g   th ese,   6 8   k ey w o r d s   m ee t  th e   th r esh o ld ,   r e v ea lin g   5   d is tin ct  clu s ter s   r ep r esen ted   b y   a  d if f er e n t  co lo r   an d   m an u ally   lab eled   as  f o ll o ws:   ch atb o t  d ev elo p m en t  ( r e d ) ,   AI   d ev el o p m en t   ( g r ee n ) ,   L L M   an d   NL P   d o wn s tr ea m   task s   ( b lu e ) ;  p e r f o r m a n ce   tech n o lo g y   im p r o v em en ts   ( y ello w) ;   an d   r ea l - wo r ld   ap p licatio n s   ( p u r p le) .   T h e  r ed   clu s ter ,   ch atb o t  d ev elo p m en t,  th o u g h   g e n er ated   as  a  clu s ter   in   th e  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 6 ,   No .   1 ,  Octo b er   20 24 :   252 - 2 6 3   258   o p p o r tu n ity ’ s   d o c u m en ts ,   h a s   also   b ee n   s ee n   as  an   L L M  NL P  ch allen g e.   I t  in clu d es  in - co n tex ts ,   an d   ap p licatio n s   to   co m p u tin g   ed u ca tio n .   T h e  g r ee n   clu s ter   h ig h lig h ts   th e  ch allen g e  o f   AI - h u m an   r elatio n s h ip   an d   p ar tn er s h ip .   T h e  b l u e  clu s ter   in clu d es  L L M  an d   NL P  d o w n s tr ea m   task s   s u ch   as  n am ed   en tity   r ec o g n itio n ,   tex t  class if icat io n ,   an d   q u es tio n   an s wer in g   s y s tem s .   T h e   y ello w  clu s ter   f o cu s es  o n   d ata  to   im p r o v e  p er f o r m an ce   o f   tr ain in g   an d   f in e  tu n in g .   T h e   last   clu s ter ,   th e  p u r p le  clu s ter ,   h ig h lig h ts   th e  r ea l - wo r ld   ap p licab ilit y   o f   L L M  NL P  a p p licatio n s   s u ch   as  ar ea s   o f   f in an ce   th r o u g h   s o cial  m ed ia  d ata  an d   s en tim en t   an aly s is .   T h ese  clu s ter s   o f f er   a  n u an ce d   u n d er s tan d in g   o f   th e  d iv er s e  ch allen g es  with in   th e  L L M  NL P   d o m ain ,   e n co m p ass in g   tech n i ca l in tr icac ies an d   r ea l - wo r l d   i m p lem en tatio n   c o n ce r n s .   Fro m   th e  k ey wo r d   co - o cc u r r en ce   n etwo r k s   o f   L L Ms  an d   NL P  o p p o r tu n ities   as  s h o wn   in     Fig u r e  5 ( a) ,   a n d   L L Ms  an d   NL P  ch allen g es  in   Fig u r e  5 ( b ) ,   co m m o n   clu s ter s   in clu d e   tech n ical  ar ea s   o f   d ev elo p m e n t  o n   AI ,   C h atb o ts ,   an d   L L M   an d   NL P  task s .   C lu s ter s   wer e  m o r e  s p ec if ic,   r ef er r in g   to   g en e r ativ e   AI   in   o p p o r t u n ities ;  o n   th e  o th er   h an d ,   f o r   ch allen g es,  L L M  an d   NL P  d o wn s tr ea m   tas k s ,   an d   tech n o lo g y   p er f o r m an ce   im p r o v em e n ts   wer e  in clu d ed .   T h ese  r esu lts   s h o w  th e  d o m in a n ce   o f   th e  co m p u ter   s cien ce   s u b ject  ar ea ,   as  s im ilar ly   r ef lecte d   b y   Fig u r es  2 ( a)   an d   2 ( b ) ,   f o r   b o th   p u b licatio n s   o n   o p p o r tu n ities   an d  ch allen g es.  W h at  s tan d s   o u t  in   th e  f in d in g s   is   th e  clu s ter   o f   p u b licatio n s   in   L L M  an d   NL P  ch allen g es  o n     AI - h u m an   r elatio n s h ip   an d   p a r tn er s h ip ,   wh ich   was  n o t  m en tio n ed   in   o th er   r ev iews  o n   L L Ms  [ 9 ] ,   [ 1 0 ] ,   [ 1 2 ] ,     b u t th e  p r o p o s ed   u s e  o f   th e  f e ed b ac k   “th u m b s   d o wn ”  b u tto n   to   im p r o v e  th e  p e r f o r m an ce   o f   L L M  s y s tem s   i s   a  f o r m   o f   h u m an - AI   p ar tn e r s h ip   to war d s   b etter   ac cu r ac y   [ 1 2 ] ,   [ 1 4 ] .         ( a)       ( b )     Fig u r e  5 .   Key w o r d   c o - o cc u r r e n ce   n etwo r k   o n   ( a)   9 6   L L M  a n d   NL P o p p o r tu n ities   an d     ( b )   1 4 9   L L M  a n d   NL P c h allen g es   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       S cien tifi c  la n d s ca p e  o n   o p p o r t u n ities   a n d   ch a llen g es  …   ( R a c h el  E d ita   O.   R o xa s )   259   3 . 2 .     L L M s   a nd   N L P   o pp o rt un it ies a nd   c ha lleng es:  inte ll ec t ua l st ruct ure   W e  an aly ze d   th e  4 4   d o cu m e n t s   o n   L L Ms  an d   NL P  o n   b o th   o p p o r tu n ities   an d   c h allen g es  in   ter m s   o f   v ar io u s   ap p licatio n   ar ea s ,   n o m en clatu r es,  an d   o p e n   r esear ch   ar ea s .   T h o s e  d o m ain s   th at  s tan d   o u t  in   th e  liter atu r e  r elate   to   h ea lth   an d   ed u ca tio n .   I n   th e  ar ea   o f   h ea l th ,   L L M  ap p licatio n   ar ea s   in c lu d e  p u b lic  h ea lth   [ 4 4 ] ,   h ea lth   ca r e   [ 5 2 ] ,   [ 5 3 ] ,   m en tal  h ea lth   [ 5 4 ] ,   d en tis tr y   [ 5 5 ] ,   b io m ed ical  r esear c h   [ 5 6 ] ,   s u r g er y   [ 5 7 ] ,   in   v itro   f er tili za tio n   [ 5 3 ] ,   p e d iatr ics  [ 5 8 ] ,   a n d   clin ical  p r ac tice  [ 4 2 ] .   I n   ed u ca tio n ,   s tu d ies  co v er ed   ac ad em ia,   i n   g en er al  [ 1 1 ] ,   [ 5 9 ] ,   [ 6 0 ] ,   wh il e  s o m e  f o cu s ed   o n   h i g h er   ed u ca tio n   an d   r esear c h   [ 1 ] ,   e n g in ee r in g   ed u ca ti o n   [ 6 1 ] ,   s tan d ar d ized   ad m is s io n s   test   [ 4 3 ] ,   cr ea tiv e  wr itin g   [ 6 2 ] ,   lan g u ag e   lear n in g   [ 6 3 ] ,   an d   p ee r   f ee d b ac k   [ 6 4 ] .   Oth er   ap p licatio n   ar ea s   in cl u d e  th e  u s e  o f   a u to n o m o u s   d r iv i n g   s y s tem s   [ 6 5 ] ,   law  [ 6 6 ] ,   f in an ce   an d   ac co u n tin g   [ 6 7 ] ,   [ 6 8 ] ,   c y b er s ec u r ity   [ 6 9 ] ,   h u m an   r eso u r ce   m an ag em en t  [ 7 0 ] ,   r em o te  s en s in g   [ 7 1 ] ,   r ailway   d esig n   [ 7 2 ] ,   s ex u ality   s tu d ies [ 7 3 ] ,   an d   p r o g r am m in g   [ 7 4 ] .   I t   is   in ter esti n g   to   n o te  th at   alth o u g h   p r o g r a m m in g   h as  b ee n   ad d r ess ed   as  an   L L M  ap p lica tio n   ar ea   [ 7 4 ] ,   th e  c o llab o r atio n   o f   h u m an   an d   AI   to war d s   th e  d esig n   an d   d e v elo p m e n t  o f   s o f twar e - in ten s iv e  s y s tem s   h as  b ee n   a d d r ess ed   b y   Ah m a d   et  a l .   [ 7 5 ] ,   wh ich   h as  b ee n   f o u n d   to   im p r o v e   b o tto m lin e   in   b u s in ess   ap p licatio n s   [ 7 6 ] .   W h ile  L L M  ap p licatio n s   h av e  r ev o lu tio n ize d   v ar io u s   d o m ain s ,   th er e  ar e  s till   lim itatio n s   th at  h av e   b ee n   th e  f o cu s   o f   p u b licatio n s .   L o w - r eso u r ce   lan g u ag es  an d   d o m ai n s   p er f o r m   p o o r ly   in   L L M  s y s tem s   [ 7 7 ] ,   n ec ess itatin g   th e  f in e - tu n in g   an d   co n te x tu aliza tio n   o f   L L M  s y s tem s   f o r   b etter   p er f o r m an ce   ac r o s s   v ar io u s   d o m ain s ,   d iv er s e  lan g u a g es,  an d   d if f er e n t  tim es  ( o r   tem p o r al  in f o r m atio n ) .   Fo r   in s tan ce ,   ce r tain   L L Ms  ar e  au g m en ted   with   d ata  o n   s p ec i f ic  lan g u a g es  to   im p r o v e   p er f o r m an ce ;  a n   ex a m p le  is   Alep h B E R T ,   wh ich   is   an   LLM  f o r   m o d er n   Heb r ew  [ 7 8 ] .   T h is   is   in   s u p p o r t  o f   th e  f in d in g s   an d   r ec o m m e n d atio n   o f   ex is tin g   s y s tem atic   r ev iew  o n   L L Ms,  th at  r esear ch er s   s h o u ld   en d ea v o r   to   f o c u s   o n   th e   r esear ch   o n   L L M  an d   NL P  to war d s   “sp ec ialized   lan g u ag e  m o d e ls ”  b u t  as  ap p lied   to   h ea lth ca r e  [ 9 ] ,   a n d   to   ed u ca t io n   [ 1 1 ] .   T o   ad d ,     am b ig u ity   is   a  b ig   is s u e  in   N L P,  an d   tem p o r al  in f o r m atio n   allo ws  r eso lu tio n   o f   wo r d   s en s e  am b ig u ity   [ 7 9 ] .     L L M  ap p licatio n s   h an d le  v ar i o u s   m o d es  o f   d ata,   s u ch   as  tex t,  au d io ,   im ag e,   a n d   v id e o ,   o r   co llectiv ely   ca lled   m u lti - m o d al  d ata   [ 5 5 ] ,   [ 8 0 ] .   Pro m p t  en g in ee r i n g   is   also   o n e  ar ea   th at  ca n   eith er   lim it  o r   ex p an d   th e  ca p ab ilit ies  o f   th e  L L M  ap p licatio n   [ 8 1 ] - [ 8 4 ] .   Oth er   s tu d ies  h av e   p r o p o s ed   t h e  u s e  o f   AI   to   d etec t  AI - g en er ated   te x ts ,   wh ich   co u ld   b e  a  u s ef u l  t o o l f o r   v ar io u s   d o m a in s   [ 5 9 ] ,   [ 8 5 ] .   T h is   c o n f ir m s   th e  f in d in g s   in   a  r ev iew  p ap er   o n   L L Ms  as  a p p lied   to   m ed icin e  an d   ed u ca tio n   [ 1 0 ] ,   [ 1 1 ] .   I n   ter m s   o f   n o m en clatu r e ,   th e   4 4   d o cu m en ts   o n   L L Ms  an d   NL P  o p p o r tu n ities   an d   c h allen g es  u s e d   th e  f o llo win g   ter m s   f o r   “c h a llen g es”  in   v ar i o u s   f o r m s   an d   d eg r ee s :  ch allen g es  [ 5 5 ] ,   [ 1 9 ] ,   c o n ce r n s   [ 1 1 ] ,   p itfa lls   [ 5 6 ] ,   an d   th r ea ts   [ 8 5 ] ,   to   n am e   a  f ew.   T h e  c h allen g e s   m en tio n ed   in   th ese  d o cu m e n ts   in clu d e:  f air   u s e  [ 1 1 ] ,   i n f o d em ic  o r   m is in f o r m atio n   o r   f ak e  in f o r m atio n   [ 4 4 ] ,   [ 5 6 ] ,   d ata  p r iv ac y   [ 5 5 ] ,   [ 6 0 ] ,   d ata  q u ality   [ 5 5 ] ,   tr u s t  [ 1 9 ] ,   s ec u r ity   [ 6 6 ] ,   b ias  [ 1 1 ] ,   [ 5 5 ] ,   [ 5 0 ] ,   ex p lain   ab ilit y   [ 5 8 ] ,   r ep lica b ilit y   an d   t r an s p a r en cy ,   b en ef ice n ce   co n s id er atio n s   [ 6 0 ] ,   an d   eth ic s   [ 6 1 ] .   I t  is   in ter esti n g   to   n o te   th at  ex p lain   ab ilit y   is   a  L L M  an d   NL P  ch allen g e  th at  was n o t m en tio n e d   in   th e  b ib lio m etr ic  s tu d y   o n   L L M  r e v iews [ 1 2 ] ,   [ 2 0 ] .   Oth er   co n ce r n s   th at  h av e  b ee n   r aised   b y   liter atu r e  o n   th e  r o le  o f   AI   r esear ch   an d   d e v elo p m en t  s id e   o f   u s in g   L L Ms  o n   th e  p o liti ca l  ec o n o m y   in clu d es:  en v ir o n m en tal  f o o tp r in ts ,   an d   f u tu r e  s o cial  ef f e cts  [ 5 0 ]   to war d s   eth ical  an d   r esp o n s ib l e  d ev elo p m en t  a n d   d ep lo y m e n t  [ 5 4 ] ,   s u ch   as  th e  co m m o d i f icatio n   o f   L L Ms  as   ev id en ce d   b y   p aid   API   ac ce s s   an d   u s ag e,   an d   th e  c o n tin u o u s   d iv id e  b etwe en   th o s e  with   an d   with o u t  ac ce s s   to   co m p u tin g   r eso u r ce s   [ 5 0 ] .   Alth o u g h   t h e  AI   d iv id e  b ec o m e s   wid er ,   L L M  ap p licatio n s   ar e  also   p er ce iv ed   as  en ab ler s   to war d s   in cl u s iv ity   o f   p ar ticu lar   s ec to r s   o f   s o ciety   s u ch   as  an   e - m ail  wr itin g   ass is tan t  f o r   a d u lts   with   d y s lex ia  [ 8 6 ] .   I n   s u m m a r y ,   L L M  a n d   NL P  o p p o r tu n ities   ar e  also   its   ch allen g e s ,   an d   v ice  v e r s a.   C h allen g es  p r esen t   o p p o r tu n ities   f o r   n ew  r esear ch ;  with   n ew  o p p o r tu n ities   an d   th e  ca p ab ilit y   to   ad v a n ce   s o ciety ,   th er e  also   co m e   ch allen g es  with   eth ical  an d   s o cial  r am if icatio n s .   As  r ig h tly   ex p r ess ed   b y   C h en   an d   L in   [ 8 7 ] ,   AI   is   a  “d o u b le - ed g ed   s wo r d ”;  as  o p p o r tu n itie s   ab o u n d   f o r   th e  u s e  o f   AI   in   o u r   ev er y d ay   life ,   ch allen g es a ls o   ab o u n d .       4.   CO NCLU SI O NS   I n   o u r   wo r k ,   we   p r esen t   th e   s cien tific   lan d s ca p e  o f   th e  Sc o p u s - in d e x ed   d o c u m en ts   o f   L L Ms  an d   NL P  an d   o p p o r tu n ities   an d   ch allen g es  u s in g   th e  b ib lio m etr i c  ap p r o ac h .   W e  an al y ze d   th e  tr en d s   an d   p atter n s   o f   Sco p u s - in d ex ed   p u b licatio n s   o n   L L Ms a n d   NL P o p p o r t u n it ies s id e - by - s id e  ch allen g es b y   co u n t r y /ter r ito r y ,   s u b ject  ar ea ,   af f iliatio n ,   f u n d i n g   s p o n s o r ,   citatio n ,   an d   k ey wo r d   co - o cc u r r e n ce ;  an d   e v al u ated   th e  p atter n s   o f   Sco p u s - in d ex e d   p u b licatio n s   o n   L L Ms  an d   NL P  o p p o r tu n ities   an d   ch allen g es  b y   its   in tellectu al  s t r u ctu r e  f o cu s in g   o n   a p p licatio n   a r ea s ,   n o m e n clatu r es,  an d   o p en   r e s ea r ch   ar ea s .   I n   th e  a n aly s is   o n   p u b licatio n s   o n   L L Ms  an d   NL P  o p p o r t u n ities   s id e - by - s id e  ch allen g es  b y   co u n tr y /ter r ito r y ,   t h e  s tu d y   c o n f ir m s   a  wid en in g     AI - d iv id e  am o n g   c o u n tr ies,  s o cieties,  o r g an izatio n s ,   a n d   in d iv id u als,  wh o   h av e   b ee n   alien ated   in   th e     d ig ital - d iv id e  d u e  to   lim ited   a cc ess ib ilit y   to   d ig ital  d ev ices   an d   to o ls .   T h is   s tu d y   laid   o u t  th is   n ew  r esear ch   ar ea   in   co n t r ast to   th e  b ib lio m etr ic  s tu d y   o n   L L M  p u b licatio n s   [ 2 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 52   In d o n esian   J   E lec   E n g   &   C o m p   Sci ,  Vo l.  3 6 ,   No .   1 ,  Octo b er   20 24 :   252 - 2 6 3   260   I n   th e  s u b j ec t  a r ea   an aly s is   in   o p p o r tu n ities   s id e - by - s id e  c h a llen g es,  we  o b s er v e  a   d o m in a n ce   o f   t h e  co m p u ter   s cien ce   s u b ject  ar e a,   wh ich   s h o ws  th e  tech n o lo g ical  d ev elo p m e n t  an d   co n s eq u en t  p u b licatio n   o f   tech n o lo g ical  a d v an ce m en t,  an d   th e  s o cial  s cien ce   s u b je ct  ar ea ,   wh ich   r ev ea ls   th e  c r u cial  d is co u r s e  o n   s o cieta l  is s u es  an d   co n ce r n s   with in   th ese  tech n o lo g ical  ad v an ce m e n ts .   I n   th e  af f iliatio n   an aly s is ,   it  is   o b s er v ed   th at  ac ad em e  a n d   in d u s tr y   in v o l v em en t  as  af f iliatio n   o f   au th o r s   is   a  v er y   im p o r tan t  co m p o n en t  in   th e  a d v a n ce m en t  o f   r esear ch .   I n   th e   f u n d in g   s p o n s o r   an al y s is ,   p u b licatio n s   o n   o p p o r tu n iti es  an d   c h allen g es  cu t  ac r o s s   v ar i o u s   p r i v ate  an d   g o v e r n m e n t  in s titu tio n s ,   f o c u s in g   o n   v ar io u s   ar ea s .   I n   th e   citatio n   an aly s is   o f   th e  to p   1 0   cited   d o cu m e n ts ,   co m m o n   d o m ain s   in clu d e   th o s e  in   ed u ca tio n ,   p u b lic   h ea lth ,   an d   co d e   ex p lan atio n s ,   im p ly in g   th at  t h ese  d o m ain s   p r esen t  o p p o r tu n ities   an d   also   p o s e  ch allen g es,  an d   v ice  v e r s a.     I n   th e  k ey wo r d   co - o cc u r r en c e  n etwo r k s ,   co m m o n   clu s ter s   in clu d e  tech n ical  ar ea s   o f   d ev elo p m en t  o n   AI ,   C h atb o ts ,   an d   L L M  an d   NL P  task s ,   an d   th e  f u r th er   im p r o v em en t  o f   tech n o lo g y   p er f o r m an ce   as  a  v er y   im p o r tan t  ch allen g e.   Similar   to   th e  s u b ject  ar ea   an aly s is ,   th e  k ey wo r d   co - o cc u r r en c e  r esu lts   s h o w  th e   d o m in an ce   o f   th e   co m p u ter   s c ien ce   s u b ject  ar ea   f o r   p u b licatio n s   o n   o p p o r tu n ities   an d   c h allen g es.   W e  also   r ec o m m e n d   t h e  e x p l o r atio n   o f   o p e n   r esear c h   p r o b lem s   as  id en tifie d   in   th is   s tu d y .   I n   th e   tech n o lo g y   asp ec t,  o p en   p r o b lem s   in clu d e  m o r e  e f f ec tiv e  a p p r o ac h es  to war d s   b etter   p er f o r m an ce   o f   L L Ms  an d   NL P.  On   th e   s o cial  s cien ce   s id e,   to p ics  in clu d e  h u m a n - AI   r elatio n s h ip ,   p ar tn er s h i p ,   an d   co llab o r atio n ,   an d   to p ics  co v er e d   b y   eth ical   AI   s u ch   as  e x p lain ab le  AI ,   i n clu s iv ity ,   an d   th e  wid e n in g   AI - d iv id e.   W e  m u s t  co m e  u p   with   AI   s o lu tio n s   in   th e  d etec tio n   o f   u n eth ical   u s es  o f   AI - g en er ate d   o u tp u ts .   T h is   s tu d y   h as  d is co v er ed   th ese  n ew  r esear ch   ar ea s   in   co n tr ast  to   o th er   b ib lio m etr ic  s tu d ies  o n   L L M  p u b licatio n s .     B o th   o p p o r tu n ities   an d   ch alle n g es  m u s t  b e   ad d r ess ed   in   r es ea r ch .   No te  t h at  th is   s tu d y   is   p ar ticu lar ly   b iased   to w ar d s   Sco p u s - in d ex ed   p u b licatio n s ,   an d   th o s e  th at   ar e  wr it ten   in   E n g lis h .   T h u s ,   we  r ec o m m en d   e x p lo r atio n   o f   s cien tific   lan d s ca p es u s in g   o th er   r esear ch   d atab ases ,   s u ch   as Go o g le  Sch o lar   an d   W o S ,   o r   a  co m b in atio n   o f   th ese  r esear ch   d atab ases .   W e  also   r ec o g n ize   th at  d u e  t o   th e   s p ec if ic  f o cu s   o f   o u r   s tu d y   o n   o p p o r tu n ities   an d   ch allen g es,  we  h av e  c o n s id er e d   h er e  a  r elativ ely   s m all  n u m b er   o f   d o cu m e n ts   ( 4 6 ,   1 4 9 ,   a n d   4 4 ) ,   in   c o n tr ast  to   o th er   r e v iew  p a p er s   th at  c o n s id er ed   th o u s an d s   o f   p u b lica tio n s .   Ov er all,   p u b licati o n s   o n   L L M  a n d   NL P  o p p o r tu n ities   an d   ch allen g es  r ev ea l  th at  o p p o r tu n ities   p r ese n t  n ew  c h allen g es,  wh ile  n ew  ch allen g es  b ec o m e  o p p o r tu n ities ,   m u ch   lik e  a  d o u b le - ed g ed   s wo r d .       RE F E R E NC E S   [ 1 ]   T.   A l q a h t a n i   e t   a l . ,   “ T h e   e m e r g e n t   r o l e   o f   a r t i f i c i a l   i n t e l l i g e n c e ,   n a t u r a l   l e a r n i n g   p r o c e ss i n g ,   a n d   l a r g e   l a n g u a g e   mo d e l s   i n   h i g h e r   e d u c a t i o n   a n d   r e s e a r c h , ”   Re s e a rc h   i n   S o c i a l   a n d   A d m i n i s t ra t i v e   P h a rm a c y ,   v o l .   1 9 ,   n o .   8 ,   p p .   1 2 3 6 – 1 2 4 2 ,   A u g .   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . s a p h a r m . 2 0 2 3 . 0 5 . 0 1 6 .   [ 2 ]   L.   C h e n ,   P .   C h e n ,   a n d   Z.   Li n ,   “ A r t i f i c i a l   i n t e l l i g e n c e   i n   e d u c a t i o n :   a   r e v i e w , ”   I EE E  Ac c e ss ,   v o l .   8 ,   p p .   7 5 2 6 4 – 7 5 2 7 8 ,   2 0 2 0 ,     d o i :   1 0 . 1 1 0 9 / A C C ESS . 2 0 2 0 . 2 9 8 8 5 1 0 .   [ 3 ]   U .   P a g a l l o   e t   a l . ,   “ Th e   u n d e r u se   o f   A I   i n   t h e   h e a l t h   se c t o r :   o p p o r t u n i t y   c o st s,  su c c e ss  s t o r i e s,   r i s k s  a n d   r e c o mm e n d a t i o n s, ”   H e a l t h   a n d   T e c h n o l o g y ,   v o l .   1 4 ,   n o .   1 ,   p p .   1 – 1 4 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 2 5 5 3 - 0 2 3 - 0 0 8 0 6 - 7.   [ 4 ]   J.  B a j w a ,   U .   M u n i r ,   A .   N o r i ,   a n d   B .   W i l l i a ms,   “ A r t i f i c i a l   i n t e l l i g e n c e   i n   h e a l t h c a r e :   t r a n sf o r mi n g   t h e   p r a c t i c e   o f   me d i c i n e , ”   Fu t u r e   H e a l t h c a re  J o u r n a l ,   v o l .   8 ,   n o .   2 ,   p p .   e 1 8 8 – e 1 9 4 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 7 8 6 1 / f h j . 2 0 2 1 - 0 0 9 5 .   [ 5 ]   A .   K .   V .   N .   B i j u ,   A .   S .   T h o mas,   a n d   J.  T h a s n e e m,  “ E x a m i n i n g   t h e   r e s e a r c h   t a x o n o m y   o f   a r t i f i c i a l   i n t e l l i g e n c e ,   d e e p   l e a r n i n g   &   mac h i n e   l e a r n i n g   i n   t h e   f i n a n c i a l   sp h e r e — a   b i b l i o met r i c   a n a l y si s, ”   Q u a l i t y   a n d   Q u a n t i t y ,   v o l .   5 8 ,   n o .   1 ,   p p .   8 4 9 – 8 7 8 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 1 3 5 - 023 - 0 1 6 7 3 - 0.   [ 6 ]   P .   S h a k d w i p e e ,   K .   A g a r w a l ,   H .   K u n w a r ,   a n d   S .   S i n g h ,   “ A r t i f i c i a l   i n t e l l i g e n c e   i n   f i n a n c e   a n d   a c c o u n t i n g :   o p p o r t u n i t i e s   a n d   c h a l l e n g e s,”   i n   L e c t u r e   N o t e s  i n   N e t w o rks   a n d   S y st e m s ,   v o l .   7 6 5   LN N S ,   2 0 2 3 ,   p p .   1 6 5 – 1 7 7 .   [ 7 ]   L.   C a o ,   “ A I   i n   F i n a n c e :   A   R e v i e w , ”   S S RN   E l e c t r o n i c   J o u r n a l ,   2 0 2 0 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 3 6 4 7 6 2 5 .   [ 8 ]   R .   V i n u e sa  e t   a l . ,   “ Th e   r o l e   o f   a r t i f i c i a l   i n t e l l i g e n c e   i n   a c h i e v i n g   t h e   s u st a i n a b l e   d e v e l o p me n t   g o a l s , ”   N a t u r e   C o m m u n i c a t i o n s ,  v o l .   1 1 ,   n o .   1 ,   p .   2 3 3 ,   Ja n .   2 0 2 0 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 4 6 7 - 0 1 9 - 1 4 1 0 8 - y.   [ 9 ]   J.  Li ,   A .   D a d a ,   B .   P u l a d i ,   J.  K l e e si e k ,   a n d   J.  E g g e r ,   “ C h a t G P T  i n   h e a l t h c a r e :   a   t a x o n o my   a n d   s y st e ma t i c   r e v i e w , ”   C o m p u t e r   Me t h o d s   a n d   Pr o g ra m s   i n   B i o m e d i c i n e ,   v o l .   2 4 5 ,   p .   1 0 8 0 1 3 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . c m p b . 2 0 2 4 . 1 0 8 0 1 3 .   [ 1 0 ]   E.   T i k h o n o v a   a n d   L.   R a i t s k a y a ,   “ C h a t G P T:   w h e r e   i s   a   si l v e r   l i n i n g ?   E x p l o r i n g   t h e   r e a l m  o f   G P T   a n d   l a r g e   l a n g u a g e   m o d e l s , ”   J o u rn a l   o f   L a n g u a g e   a n d   Ed u c a t i o n ,   v o l .   9 ,   n o .   3 ,   p p .   5 – 1 1 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 1 7 3 2 3 / j l e . 2 0 2 3 . 1 8 1 1 9 .   [ 1 1 ]   J.  G .   M e y e r   e t   a l . ,   “ C h a t G P T  a n d   l a r g e   l a n g u a g e   m o d e l s  i n   a c a d e mi a :   o p p o r t u n i t i e s  a n d   c h a l l e n g e s, ”   B i o D a t a   Mi n i n g ,   v o l .   1 6 ,     n o .   1 ,   p .   2 0 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s 1 3 0 4 0 - 0 2 3 - 0 0 3 3 9 - 9.   [ 1 2 ]   T.   D a v e ,   S .   A .   A t h a l u r i ,   a n d   S .   S i n g h ,   “ C h a t G P T  i n   me d i c i n e :   a n   o v e r v i e w   o f   i t s  a p p l i c a t i o n s ,   a d v a n t a g e s ,   l i mi t a t i o n s,  f u t u r e   p r o s p e c t s ,   a n d   e t h i c a l   c o n s i d e r a t i o n s , ”   Fr o n t i e rs  i n   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   6 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 3 3 8 9 / f r a i . 2 0 2 3 . 1 1 6 9 5 9 5 .   [ 1 3 ]   P .   K r a sa d a k i s,   E.   S a k k o p o u l o s ,   a n d   V .   S .   V e r y k i o s ,   “ A   s u r v e y   o n   c h a l l e n g e s   a n d   a d v a n c e s  i n   n a t u r a l   l a n g u a g e   p r o c e ss i n g   w i t h   a   f o c u s  o n   l e g a l   i n f o r ma t i c s  a n d   l o w - r e so u r c e   l a n g u a g e s,”   El e c t ro n i c s   ( S w i t z e rl a n d ) ,   v o l .   1 3 ,   n o .   3 ,   p .   6 4 8 ,   F e b .   2 0 2 4 ,     d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s1 3 0 3 0 6 4 8 .   [ 1 4 ]   C .   Z h a n g ,   J.  C h e n ,   J.  L i ,   Y .   P e n g ,   a n d   Z.   M a o ,   “ La r g e   l a n g u a g e   m o d e l s   f o r   h u ma n – r o b o t   i n t e r a c t i o n :   a   r e v i e w , ”   B i o m i m e t i c   I n t e l l i g e n c e   a n d   R o b o t i c s ,   v o l .   3 ,   n o .   4 ,   p .   1 0 0 1 3 1 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . b i r o b . 2 0 2 3 . 1 0 0 1 3 1 .   [ 1 5 ]   D .   M .   P e t r o șa n u ,   A .   P î r j a n ,   a n d   A .   T ă b u șc ă ,   “ Tr a c i n g   t h e   i n f l u e n c e   o f   l a r g e   l a n g u a g e   m o d e l s  a c r o ss  t h e   m o st   i mp a c t f u l   s c i e n t i f i c   w o r k s, ”   E l e c t r o n i c s   ( S w i t zer l a n d ) ,   v o l .   1 2 ,   n o .   2 4 ,   p .   4 9 5 7 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / e l e c t r o n i c s 1 2 2 4 4 9 5 7 .   [ 1 6 ]   D .   M y e r s  e t   a l . ,   “ F o u n d a t i o n   a n d   l a r g e   l a n g u a g e   m o d e l s :   f u n d a m e n t a l s,  c h a l l e n g e s ,   o p p o r t u n i t i e s,  a n d   s o c i a l   i mp a c t s, ”   C l u st e r   C o m p u t i n g ,   v o l .   2 7 ,   n o .   1 ,   p p .   1 – 2 6 ,   N o v .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 5 8 6 - 023 - 0 4 2 0 3 - 7.   [ 1 7 ]   B .   Z si d a i   e t   a l . ,   “ A   p r a c t i c a l   g u i d e   t o   t h e   i m p l e me n t a t i o n   o f   A I   i n   o r t h o p a e d i c   r e se a r c h   –   p a r t   1 :   o p p o r t u n i t i e s  i n   c l i n i c a l   a p p l i c a t i o n   a n d   o v e r c o mi n g   e x i st i n g   c h a l l e n g e s,”   J o u rn a l   o f   E x p e ri m e n t a l   O r t h o p a e d i c s ,   v o l .   1 0 ,   n o .   1 ,   J a n .   2 0 2 3 ,     d o i :   1 0 . 1 1 8 6 / s 4 0 6 3 4 - 023 - 0 0 6 8 3 - z.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2 5 0 2 - 4 7 52       S cien tifi c  la n d s ca p e  o n   o p p o r t u n ities   a n d   ch a llen g es  …   ( R a c h el  E d ita   O.   R o xa s )   261   [ 1 8 ]   K .   D e n e c k e ,   R .   M a y ,   a n d   O .   R i v e r a - R o m e r o ,   “ Tr a n sf o r m e r   m o d e l s   i n   h e a l t h c a r e :   a   s u r v e y   a n d   t h e ma t i c   a n a l y si s   o f   p o t e n t i a l s,   sh o r t c o mi n g s a n d   r i s k s , ”   J o u r n a l   o f   Me d i c a l   S y st e m s ,   v o l .   4 8 ,   n o .   1 ,   p .   2 3 ,   F e b .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 0 9 1 6 - 0 2 4 - 0 2 0 4 3 - 5.   [ 1 9 ]   S.   S .   S o h a i l   e t   a l . ,   “ D e c o d i n g   C h a t G P T:   a   t a x o n o my   o f   e x i s t i n g   r e se a r c h ,   c u r r e n t   c h a l l e n g e s ,   a n d   p o ssi b l e   f u t u r e   d i r e c t i o n s, ”   J o u rn a l   o f   K i n g   S a u d   U n i v e rsi t y   -   C o m p u t e r  a n d   I n f o rm a t i o n   S c i e n c e s ,   v o l .   3 5 ,   n o .   8 ,   p .   1 0 1 6 7 5 ,   S e p .   2 0 2 3 ,     d o i :   1 0 . 1 0 1 6 / j . j k s u c i . 2 0 2 3 . 1 0 1 6 7 5 .   [ 2 0 ]   L.   F a n ,   L .   Li ,   Z .   M a ,   S .   Le e ,   H .   Y u ,   a n d   L .   H e mp h i l l ,   “ A   b i b l i o me t r i c   r e v i e w   o f   l a r g e   l a n g u a g e   mo d e l s  r e se a r c h   f r o m   2 0 1 7   t o   2 0 2 3 , ”   A C M  T r a n sa c t i o n s  o n   I n t e l l i g e n t   S y st e m s  a n d   T e c h n o l o g y ,   M a y   2 0 2 4 ,   d o i :   1 0 . 1 1 4 5 / 3 6 6 4 9 3 0 .   [ 2 1 ]   P .   A l a n ,   “ S t a t i s t i c a l   b i b l i o g r a p h y   o r   b i b l i o met r i c s , ”   J o u r n a l   o f   D o c u m e n t a t i o n ,   v o l .   2 5 ,   p p .   3 4 8 – 3 4 9 ,   1 9 6 9 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p s : / / w w w . r e se a r c h g a t e . n e t / p u b l i c a t i o n / 2 3 6 0 3 1 7 8 7 _ S t a t i st i c a l _ B i b l i o g r a p h y _ o r _ B i b l i o met r i c s %0 A p a p e r s 2 : / / p u b l i c a t i o n / u u i d / C 6 D 8 F 1 C E - 3 B 6 8 - 4 5 E 7 - 8F A9 - 5 C C B 4 9 C B 2 A E8 .   [ 2 2 ]   P .   H a l l i n g e r   a n d   J .   K o v a č e v i ć ,   “ M a p p i n g   t h e   i n t e l l e c t u a l   l i n e a g e   o f   e d u c a t i o n a l   m a n a g e me n t ,   a d mi n i st r a t i o n   a n d   l e a d e r s h i p ,   1 9 7 2 – 2 0 2 0 , ”   Ed u c a t i o n a l   M a n a g e m e n t   A d m i n i st r a t i o n   a n d   L e a d e rs h i p ,   v o l .   5 0 ,   n o .   2 ,   p p .   1 9 2 – 2 1 6 ,   M a r .   2 0 2 2 ,     d o i :   1 0 . 1 1 7 7 / 1 7 4 1 1 4 3 2 2 1 1 0 0 6 0 9 3 .   [ 2 3 ]   J.  H a n ,   H .   J .   K a n g ,   M .   K i m ,   a n d   G .   H .   K w o n ,   “ M a p p i n g   t h e   i n t e l l e c t u a l   st r u c t u r e   o f   r e se a r c h   o n   s u r g e r y   w i t h   mi x e d   r e a l i t y :   B i b l i o m e t r i c   n e t w o r k   a n a l y si s   ( 2 0 0 0 – 2 0 1 9 ) , ”   J o u r n a l   o f   B i o m e d i c a l   I n f o rm a t i c s ,   v o l .   1 0 9 ,   p .   1 0 3 5 1 6 ,   S e p .   2 0 2 0 ,     d o i :   1 0 . 1 0 1 6 / j . j b i . 2 0 2 0 . 1 0 3 5 1 6 .   [ 2 4 ]   R .   K .   B a n n o r   a n d   K .   K .   A r t h u r ,   “ A   sy st e ma t i c   r e v i e w   a n d   b i b l i o me t r i c   a n a l y si s  o n   a g r i b u s i n e ss  g a p s  i n   e m e r g i n g   mar k e t s,”   Re se a rc h   i n   G l o b a l i z a t i o n ,   v o l .   8 ,   p .   1 0 0 2 1 4 ,   J u n .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . r e sg l o . 2 0 2 4 . 1 0 0 2 1 4 .   [ 2 5 ]   Y .   R i v e r o - M o r e n o   e t   a l . ,   “ R o b o t i c   su r g e r y   a c r o ss   La t i n   A m e r i c a :   a   b i b l i o met r i c   a n a l y si s   o f   r e se a r c h   t r e n d s   f r o m  2 0 0 9   t o   2 0 2 2 , ”   J o u rn a l   o f   Ro b o t i c   S u rg e ry ,   v o l .   1 8 ,   n o .   1 ,   p .   1 2 3 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 0 7 / s1 1 7 0 1 - 0 2 4 - 0 1 8 6 5 - 2.   [ 2 6 ]   A .   M a r t í n - M a r t í n ,   E .   O r d u n a - M a l e a ,   a n d   E.   D .  L ó p e z - C ó z a r ,   “ C o v e r a g e   o f   h i g h l y - c i t e d   d o c u me n t s  i n   G o o g l e   S c h o l a r ,   W e b   o f   S c i e n c e ,   a n d   S c o p u s:   a   m u l t i d i s c i p l i n a r y   c o mp a r i s o n , ”   S c i e n t o m e t ri c s ,   v o l .   1 1 6 ,   n o .   3 ,   p p .   2 1 7 5 – 2 1 8 8 ,   S e p .   2 0 1 8 ,     d o i :   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 018 - 2 8 2 0 - 9.   [ 2 7 ]   K.   Ş a h i n   a n d   G .   C a n d a n ,   “ S c i e n t i f i c   p r o d u c t i v i t y   a n d   c o o p e r a t i o n   i n   T u r k i c   w o r l d :   a   b i b l i o me t r i c   a n a l y s i s, ”   S c i e n t o m e t ri c s ,    v o l .   1 1 5 ,   n o .   3 ,   p p .   1 1 9 9 – 1 2 2 9 ,   J u n .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 1 8 - 2 7 3 0 - x.   [ 2 8 ]   F .   F u sc o ,   M .   M a r s i l i o ,   a n d   C .   G u g l i e l me t t i ,   “ C o - p r o d u c t i o n   i n   h e a l t h   p o l i c y   a n d   m a n a g e me n t :   a   c o mp r e h e n s i v e   b i b l i o me t r i c   r e v i e w , ”   BM C   H e a l t h   S e r v i c e s  Re s e a rch ,   v o l .   2 0 ,   n o .   1 ,   p .   5 0 4 ,   D e c .   2 0 2 0 ,   d o i :   1 0 . 1 1 8 6 / s 1 2 9 1 3 - 020 - 0 5 2 4 1 - 2.   [ 2 9 ]   F .   G .   V .   J a b o n e t e   a n d   R .   E.   O .   R o x a s,   “ B a r r i e r s t o   r e se a r c h   u t i l i z a t i o n   i n   n u r si n g :   a   s y st e ma t i c   r e v i e w   ( 2 0 0 2 – 2 0 2 1 ) , ”   S AG E   O p e n   N u rs i n g ,   v o l .   8 ,   p .   2 3 7 7 9 6 0 8 2 2 1 0 9 1 0 ,   Jan .   2 0 2 2 ,   d o i :   1 0 . 1 1 7 7 / 2 3 7 7 9 6 0 8 2 2 1 0 9 1 0 7 3 .   [ 3 0 ]   A .   Ti w a r i ,   S .   B a r d h a n ,   a n d   V .   K u m a r ,   “ A   b i b l i o g r a p h i c   st u d y   o n   a r t i f i c i a l   i n t e l l i g e n c e   r e se a r c h :   g l o b a l   p a n o r a ma  a n d   i n d i a n   a p p e a r a n c e , ”   L i b r a r y   H e r a l d ,   v o l .   6 0 ,   n o .   4 ,   p p .   1 5 – 3 6 ,   2 0 2 2 ,   d o i :   1 0 . 5 9 5 8 / 0 9 7 6 - 2 4 6 9 . 2 0 2 2 . 0 0 0 3 6 . 7 .   [ 3 1 ]   D .   D .   M ü h l   a n d   L.   d e   O l i v e i r a ,   “ A   b i b l i o m e t r i c   a n d   t h e mat i c   a p p r o a c h   t o   a g r i c u l t u r e   4 . 0 , ”   H e l i y o n ,   v o l .   8 ,   n o .   5 ,   p .   e 0 9 3 6 9 ,   M a y   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . h e l i y o n . 2 0 2 2 . e 0 9 3 6 9 .   [ 3 2 ]   P .   S o n g   a n d   X .   W a n g ,   “ A   b i b l i o m e t r i c   a n a l y s i s   o f   w o r l d w i d e   e d u c a t i o n a l   a r t i f i c i a l   i n t e l l i g e n c e   r e sea r c h   d e v e l o p m e n t   i n   r e c e n t   t w e n t y   y e a r s , ”   Asi a   P a c i f i c   E d u c a t i o n   Re v i e w ,   v o l .   2 1 ,   n o .   3 ,   p p .   4 7 3 – 4 8 6 ,   S e p .   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 2 5 6 4 - 020 - 0 9 6 4 0 - 2.   [ 3 3 ]   M .   A r i a ,   C .   C u c c u r u l l o ,   L .   D ’ a n i e l l o ,   M .   M i su r a c a ,   a n d   M .   S p a n o ,   “ T h e m a t i c   a n a l y si s   a s  a   n e w   c u l t u r o mi c   t o o l :   t h e   s o c i a l   m e d i a   c o v e r a g e   o n   C O V I D - 1 9   P a n d e mi c   i n   I t a l y , ”   S u s t a i n a b i l i t y   ( S w i t z e rl a n d ) ,   v o l .   1 4 ,   n o .   6 ,   p .   3 6 4 3 ,   M a r .   2 0 2 2 ,     d o i :   1 0 . 3 3 9 0 / s u 1 4 0 6 3 6 4 3 .   [ 3 4 ]   N .   J.  v a n   E c k   a n d   L.   W a l t ma n ,   “ {V O S v i e w e r }  ma n u a l , ”   L e i d e n :   U n i v e ri s t e i t   L e i d e n ,   2 0 1 3 ,   [ O n l i n e ] .   A v a i l a b l e :   h t t p : / / w w w . v o s v i e w e r . c o m / d o c u m e n t a t i o n / M a n u a l _ V O S v i e w e r _ 1 . 6 . 1 . p d f .   [ 3 5 ]   M .   J.   P a g e   e t   a l . ,   “ T h e   P R I S M A   2 0 2 0   st a t e me n t :   a n   u p d a t e d   g u i d e l i n e   f o r   r e p o r t i n g   s y s t e ma t i c   r e v i e w s, ”   S y s t e m a t i c   Re v i e w s ,    v o l .   1 0 ,   n o .   1 ,   p .   8 9 ,   D e c .   2 0 2 1 ,   d o i :   1 0 . 1 1 8 6 / s 1 3 6 4 3 - 0 2 1 - 0 1 6 2 6 - 4.   [ 3 6 ]   H .   N .   S u   a n d   P .   C .   L e e ,   “ M a p p i n g   k n o w l e d g e   s t r u c t u r e   b y   k e y w o r d   c o - o c c u r r e n c e :   A   f i r s t   l o o k   a t   j o u r n a l   p a p e r s  i n   T e c h n o l o g y   F o r e si g h t , ”   S c i e n t o m e t ri c s ,   v o l .   8 5 ,   n o .   1 ,   p p .   6 5 – 7 9 ,   O c t .   2 0 1 0 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 1 0 - 0 2 5 9 - 8.   [ 3 7 ]   X .   W a n g   e t   a l . ,   “ C h a t G P T:   p r o m i se  a n d   c h a l l e n g e s   f o r   d e p l o y me n t   i n   l o w -   a n d   mi d d le - i n c o me  c o u n t r i e s,”   T h e   L a n c e t   R e g i o n a l   H e a l t h   -   W e st e r n   P a c i f i c ,   v o l .   4 1 ,   p .   1 0 0 9 0 5 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . l a n w p c . 2 0 2 3 . 1 0 0 9 0 5 .   [ 3 8 ]   M .   G a m o n   e t   a l . ,   “ U si n g   C o n t e x t u a l   S p e l l e r   T e c h n i q u e s  a n d   La n g u a g e   M o d e l i n g   f o r   ESL   Er r o r   C o r r e c t i o n , ”   I J C N L P   2 0 0 8   -   3 r d   I n t e r n a t i o n a l   J o i n t   C o n f e r e n c e   o n   N a t u ra l   L a n g u a g e   Pr o c e ssi n g ,   P ro c e e d i n g s  o f   t h e   C o n f e r e n c e ,   v o l .   1 ,   p p .   4 4 9 – 4 5 6 ,   2 0 0 8 .   [ 3 9 ]   M .   Le e ,   P .   L i a n g ,   a n d   Q .   Y a n g ,   “ C o A u t h o r :   d e s i g n i n g   a   h u ma n - A I   c o l l a b o r a t i v e   w r i t i n g   d a t a se t   f o r   e x p l o r i n g   l a n g u a g e   m o d e l   c a p a b i l i t i e s , ”   i n   C o n f e re n c e   o n   H u m a n   Fa c t o rs  i n   C o m p u t i n g   S y st e m s  -   Pro c e e d i n g s ,   A p r .   2 0 2 2 ,   p p .   1 – 1 9 ,     d o i :   1 0 . 1 1 4 5 / 3 4 9 1 1 0 2 . 3 5 0 2 0 3 0 .   [ 4 0 ]   A .   Y u a n ,   A .   C o e n e n ,   E .   R e i f ,   a n d   D .   I p p o l i t o ,   “ W o r d c r a f t :   st o r y   w r i t i n g   w i t h   l a r g e   l a n g u a g e   m o d e l s , ”   i n   I n t e rn a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   U ser   I n t e r f a c e s,   Pr o c e e d i n g s IU I ,   M a r .   2 0 2 2 ,   p p .   8 4 1 – 8 5 2 ,   d o i :   1 0 . 1 1 4 5 / 3 4 9 0 0 9 9 . 3 5 1 1 1 0 5 .   [ 4 1 ]   A .   M a d a n i   e t   a l . ,   “ L a r g e   l a n g u a g e   m o d e l s  g e n e r a t e   f u n c t i o n a l   p r o t e i n   se q u e n c e s  a c r o ss  d i v e r se  f a m i l i e s , ”   N a t u re  Bi o t e c h n o l o g y ,  v o l .   4 1 ,   n o .   8 ,   p p .   1 0 9 9 – 1 1 0 6 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 5 8 7 - 0 2 2 - 0 1 6 1 8 - 2.   [ 4 2 ]   J.  Li u ,   C .   W a n g ,   a n d   S .   Li u ,   “ U t i l i t y   o f   C h a t G P T  i n   c l i n i c a l   p r a c t i c e , ”   J o u rn a l   o f   Me d i c a l   I n t e r n e t   R e se a rc h ,   v o l .   2 5 ,   p .   e 4 8 5 6 8 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 2 1 9 6 / 4 8 5 6 8 .   [ 4 3 ]   P .   G i a n n o s   a n d   O .   D e l a r d a s ,   “ P e r f o r man c e   o f   C h a t G P T   o n   U K   s t a n d a r d i z e d   a d m i ssi o n   t e st s :   i n s i g h t s  f r o m   t h e   B M A T,   T M U A ,   LN A T,   a n d   TSA   e x a mi n a t i o n s, ”   J MI R  Me d i c a l   Ed u c a t i o n ,   v o l .   9 ,   p .   e 4 7 7 3 7 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 2 1 9 6 / 4 7 7 3 7 .   [ 4 4 ]   L.   D e   A n g e l i s  e t   a l . ,   “ C h a t G P T  a n d   t h e   r i s e   o f   l a r g e   l a n g u a g e   mo d e l s :   t h e   n e w   A I - d r i v e n   i n f o d e mi c   t h r e a t   i n   p u b l i c   h e a l t h , ”   Fro n t i e rs  i n   P u b l i c   H e a l t h ,   v o l .   1 1 ,   A p r .   2 0 2 3 ,   d o i :   1 0 . 3 3 8 9 / f p u b h . 2 0 2 3 . 1 1 6 6 1 2 0 .   [ 4 5 ]   S .   S a r sa,   P .   D e n n y ,   A .   H e l l a s,   a n d   J.   Le i n o n e n ,   “ A u t o m a t i c   g e n e r a t i o n   o f   p r o g r a m mi n g   e x e r c i ses   a n d   c o d e   e x p l a n a t i o n s  u si n g   l a r g e   l a n g u a g e   m o d e l s,”   i n   I C ER  2 0 2 2   -   Pr o c e e d i n g s  o f   t h e   2 0 2 2   A C M  C o n f e r e n c e   o n   I n t e r n a t i o n a l   C o m p u t i n g   Ed u c a t i o n   Re se a rc h ,   A u g .   2 0 2 2 ,   v o l .   1 ,   p p .   2 7 – 4 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 0 1 3 8 5 . 3 5 4 3 9 5 7 .   [ 4 6 ]   H .   Le e ,   “ T h e   r i se   o f   C h a t G P T:   e x p l o r i n g   i t s  p o t e n t i a l   i n   me d i c a l   e d u c a t i o n , ”   A n a t o m i c a l   S c i e n c e s  E d u c a t i o n ,   M a r .   2 0 2 3 ,     d o i :   1 0 . 1 0 0 2 / a se . 2 2 7 0 .   [ 4 7 ]   X .   Li ,   F .   Tr a mèr,  P .   Li a n g ,   a n d   T.   H a sh i m o t o ,   “ L a r g e   l a n g u a g e   m o d e l s  c a n   b e   s t r o n g   d i f f e r e n t i a l l y   p r i v a t e   l e a r n e r s,”   I C L R  2 0 2 2   -   1 0 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   L e a rn i n g   R e p r e se n t a t i o n s ,   2 0 2 2 .   [ 4 8 ]   V .   S l o v i k o v sk a y a   a n d   G .   A t t a r d i ,   “ T r a n sf e r   l e a r n i n g   f r o m  t r a n sf o r mers   t o   f a k e   n e w s  c h a l l e n g e   s t a n c e   d e t e c t i o n   ( F N C - 1 )   t a s k , ”   L REC   2 0 2 0   -   1 2 t h   I n t e rn a t i o n a l   C o n f e re n c e   o n   L a n g u a g e   R e s o u r c e s   a n d   Ev a l u a t i o n ,   C o n f e r e n c e   Pr o c e e d i n g s ,   p p .   1 2 1 1 – 1 2 1 8 ,   2 0 2 0 .   [ 4 9 ]   J.  W e l b l   e t   a l . ,   “ C h a l l e n g e s  i n   d e t o x i f y i n g   l a n g u a g e   m o d e l s , ”   i n   Fi n d i n g s  o f   t h e   Ass o c i a t i o n   f o r  C o m p u t a t i o n a l   L i n g u i st i c s:   EM N L P   2 0 2 1 ,   2 0 2 1 ,   p p .   2 4 4 7 – 2 4 6 9 ,   d o i :   1 0 . 1 8 6 5 3 / v 1 / 2 0 2 1 . f i n d i n g s - e mn l p . 2 1 0 .   [ 5 0 ]   D .   L u i t se  a n d   W .   D e n k e n a ,   “ T h e   g r e a t   t r a n sf o r mer:   e x a mi n i n g   t h e   r o l e   o f   l a r g e   l a n g u a g e   mo d e l s  i n   t h e   p o l i t i c a l   e c o n o m y   o f   A I , ”   Bi g   D a t a   a n d   S o c i e t y ,   v o l .   8 ,   n o .   2 ,   p .   2 0 5 3 9 5 1 7 2 1 1 0 4 7 7 ,   Ju l .   2 0 2 1 ,   d o i :   1 0 . 1 1 7 7 / 2 0 5 3 9 5 1 7 2 1 1 0 4 7 7 3 4 .   Evaluation Warning : The document was created with Spire.PDF for Python.