I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   15 ,   No .   3 ,  J u n e   20 26 ,   p p .   2141 ~ 2 1 5 2   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 15 .i 3 . p p 2 1 4 1 - 2 1 5 2           2141     J o ur na l ho m ep a g e :  h ttp : //ij a i . ia esco r e. co m   Na v ig a ting the  ne w f ro nt ier:  larg e l a ng ua g e mo dels a nd t hei r  implica tions  f o r  e duca tion       L a ila   B o ull o us 1, 2 ,   M us t a ph a   H a in 1 ,   Adil Cher g ui 1 ,   B ra h i m   E lbh iri 2   1 La b o r a t o r y   o f   A r t i f i c i a l   I n t e l l i g e n c e   a n d   C o m p l e x   S y st e ms E n g i n e e r i n g   ( A I C S E) ,  N a t i o n a l   S c h o o l   o f   A r t s a n d   C r a f t s (EN S A M ) ,    H a ssan   I I   U n i v e r si t y ,   C a sa b l a n c a ,   M o r o c c o   2 La b o r a t o r y   S m a r t i l a b ,   M o r o c c a n   S c h o o l   o f   E n g i n e e r i n g   S c i e n c e s ,   R a b a t ,   M o r o c c o       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   3 ,  2 0 2 4   R ev is ed   Mar   7 ,  2 0 2 6   Acc ep ted   Ap r   22 ,  2 0 2 6       Th is  su r v e y   c h a ra c teriz e s  th e   c o n tri b u ti o n s   o f   larg e   lan g u a g e   m o d e ls   (LL M s)  to   tec h n o lo g y   e n h a n c e d   lea rn in g   b y   re latin g   th e ir  c a p a b il it ies   to   a c tu a l  e d u c a ti o n a l  f u n c ti o n s,  m a k in g   c o m p a ris o n s  with   t ra d it i o n a l  m o d e ls  o f   lan g u a g e .   Th e   c o n tri b u ti o n s   fo r   th is  stu d y   a re :   i )  in tro d u c e   a n   e d u c a ti o n   c e n tere d   tax o n o m y   th a t  c las sifies   LL M   u se   b y   f o u r  k e y   fu n c ti o n s   p e rso n a li z a ti o n   a n d   a d a p ti v it y ,   a ss e ss m e n t  a n d   e v a lu a ti o n ,   p r o f il in g   a n d   p re d ictio n ,   a n d   in telli g e n t   tu t o ri n g   with   il l u stra ti o n s  fro m   d e p l o y e d   sy ste m s  a n d   to o ls ;   ii )  g iv e   a   d o m a in - b a se d   c o m p a riso n   o f  wh e re   LL M s  o u tp e rfo r m   trad it io n a l  m o d e ls  (se n t ime n t  a n a ly sis  with   sa rc a sm ,   c o n tex t - a wa re   q u e stio n   a n sw e rin g ,   a n d   a b stra c ti v e   su m m a riza ti o n )  a n d   wh y   t h o se   a d v a n tag e s  will   m e a n   so m e th in g   to   e - lea rn in g   p ra c ti c e ;   iii )  sy n th e siz e   six   c ro ss - c u t ti n g   risk s ,   in c lu d in g   c o m p u tatio n a l  c o st/ca r b o n ,   p r iv a c y ,   b ias   a n d   h a ll u c i n a t io n ,   lab o r   d isp lac e m e n t,   i n terp re tab il it y ,   a n d   t h e   li m it s  o f  h u m a n - l ik e   j u d g m e n t,   a n d   p ro v id e   p ra c ti c a l  d e sig n /res e a rc h   imp li c a ti o n s ;   a n d   iv )   re p o rt  o n   a   tran sp a re n t  re v iew   p r o to c o l  t h a t   g o t  t h e   i n it ial  c o rp u s  d o wn   t o   5 0   k e y   a rti c les ,   a ll o win g   f o r   m o d ifi c a ti o n s  a n d   f u tu re   u p d a tes   fr o m   o th e r   in tere ste d   re se a rc h e rs.  In   su m ,   th e   d isc u s sio n   a b o u t  LL M s   in   e d u c a ti o n   h a s  b e e n   p u sh e d   p a st  th e   b ro a d   str o k e s  t o   a   situ a ti o n   w h e re   th e re   is  a   c o m p re h e n siv e   v o c a b u lary   f o r  w h a t  L LM s  c a n   d o ,   a n d   h o w  th e y   m a y   o r   m a y   n o t   re sp o n si b ly   imp r o v e   lea rn i n g   e x p e rien c e s,  e d u c a to r  wo r k f lo ws ,   a n d   sy ste m s/lea rn in g   d e sig n   in   e - lea rn in g .   K ey w o r d s :   Ap p licatio n s   Ar tific ial  in tellig en ce   C h allen g es   C o m p ar ativ e  an aly s is   E - lear n in g   Gen er ativ e  m o d els   T r ad itio n al  lan g u ag e  m o d els   T h is i s  a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   L aila  B o u llo u s   L ab o r ato r y   o f   Ar tific ial  I n tellig en ce   an d   C o m p lex   Sy s tem s   E n g in ee r in g   ( AI C SE)   Natio n al  Sch o o l o f   Ar ts   an d   C r af ts   ( E NSAM) ,   Hass an   I I   Un iv er s ity   C asab lan ca   2 0 7 0 0 ,   Mo r o c co   E m ail: la ila. b o u llo u s - etu @ etu . u n iv h 2 c. m a       1.   I NT RO D UCT I O N   I n   r ec en t  y ea r s ,   th er e  h as  b ee n   a  r em ar k ab le  r ev o lu tio n   in   ar tific ial  in tellig en ce   ( AI ) ,   p ar ticu lar ly   in   th e  f ield   o f   lar g e  la n g u a g e  m o d els  ( L L Ms)   [ 1 ] .   L L Ms,  wh ich   p o s s ess   im m en s e  co m p u t atio n al  p o wer   a n d   h av e  b ee n   tr ain e d   o n   en o r m o u s   tr ain in g   d atasets ,   h av e  tr an s f o r m e d   g e n er atio n   an d   n atu r al   lan g u a g e   p r o ce s s in g   ( NL P)   p r o b lem s   [ 2 ] – [ 4 ] .   T h er e f o r e,   it' s   im p o r tan t  to   u n d er s tan d   L L Ms  wh at:  th ey   ar e,   h o w  th ey   ca m e  to   b e,   t h e  v ar io u s   ty p es,  an d   th eir   a d v an tag es  o v er   tr a d itio n al  lan g u ag e   m o d els.   T h e  r ev o lu tio n ar y   u p h ea v al  em er g ed   with   t h e  p u b licatio n   o f   th e   tr an s f o r m er   ar c h itectu r e,   wh ich   u tili ze s   a  s elf - atten tio n   m ec h a n is m   to   id en tify   lo n g - r an g e  d e p en d en cies  [ 1 ] ,   [ 5 ] ,   [ 6 ] .   B u ild in g   o n   t h is ,   m o d els  lik e  b id ir ec tio n al  en c o d er   r ep r esen tatio n s   f r o m   tr a n s f o r m er s   ( B E R T )   an d   g en er ativ e   p r e - tr ain ed   tr a n s f o r m er   ( GPT ) - 1   wer e  d ev elo p ed   t o   c o m p r eh e n d   c o n tex t   an d   p r o d u ce   h u m a n - lik e  tex t   [ 7 ] – [ 9 ] .   S p ec if ically ,   m o d els  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   3 ,  J u n e   20 26 :   2 1 4 1 - 2 1 5 2   2142   s u ch   as  GPT - 3   an d   GPT - 4   h av e  p u s h ed   th e  b o u n d ar ies  o f   NL P  task s   u s in g   u n s u p er v is ed   p r e - tr ai n in g   a n d   s u p er v is ed   f in e - tu n in g   [ 1 0 ] – [ 1 2 ] .   Fu r th er m o r e,   s p ec ialized   d o m ain - s p ec if ic  m o d els  h av e  em er g e d   in   f ield s   lik e  h ea lth ca r e   ( m ed ical   p a th way s   lan g u a g e  m o d el  ( M ed - PaL M ) )   a n d   f in an ce   ( f i n an cial  g e n er ativ e     p r e - tr ain ed   tr a n s f o r m er   ( Fin G PT ) )   to   ad d r ess   task - s p ec if ic  l im itatio n s .   T h er ef o r e,   it' s   im p o r tan t  to   u n d e r s tan d   L L Ms: wh at  th ey   ar e,   h o w  th e y   ca m e  to   b e,   an d   th eir   ad v an t ag es o v er   tr a d itio n al  lan g u ag e  m o d els   [ 1 3 ] ,   [ 1 4 ] .    T h is   p ap er   in v esti g ates  th e  in tr o d u ctio n   o f   g en e r ativ e  m o d els,  an aly ze s   L L Ms  in   d etail,   an d   h ig h lig h ts   th eir   a d v an ta g es  o v er   tr ad itio n al  m o d els,  wh ich   o f ten   s tr u g g le  with   c o m p lex   item s   lik e  m etap h o r s   an d   s ar ca s m .   I t  also   ex am i n es  th e  lim itatio n s   an d   ch allen g e s   o f   L L Ms,  s u ch   as  co m p u tati o n al  d em a n d s ,   d ata  p r iv ac y ,   an d   " h allu cin atio n s " .   Fu r th er m o r e,   it  e x p lo r es  t h e  im p licatio n s   an d   way s   L L Ms  ca n   aid   th e   ed u ca tio n al  co n tex t b y   f ac ilit atin g   p er s o n aliza tio n ,   ad ap tiv it y ,   an d   i n tellig en t tu to r i n g .       2.   M E T H O D   T h e  r ev iew  p r o ce s s   was  u n d er tak en   with   a   s y s tem atic  s tep - by - s tep   ap p r o ac h   to   en s u r e  th at  all  r esear ch   q u esti o n s   an d   o th er   ex am in ed   to p ics  o n   L L Ms  an d   th eir   ap p licatio n   to   ed u ca tio n   wer e   co m p r eh e n s iv ely   r ev iewe d .   T h e  p r o ce s s ,   as  o u tlin ed   in   Fi g u r e  1 ,   b eg an   with   a  liter atu r e  s ea r ch   p h ase.   A  b r o ad   r an g e  o f   ac a d em ic  s o u r ce s   was  u n co v e r ed   u s in g   s p ec if ic  k ey wo r d s   s u ch   as,  "L L M s " ,   "lar g e  lan g u ag e   m o d els" ,   "g en e r ativ e  AI " ,   "e d u ca tio n " ,   an d   "e - lear n in g " .   T h is   s ea r ch   r esu lted   i n   a  c o n s id er ab le  n u m b er   o f   ar ticles  wh ich   wer e  r ev iewe d   iter ativ ely   b ased   o n   th eir   r ele v an ce ,   ac ad em ic  r i g o r ,   a n d   co n tr ib u tio n s   to   to p ic.   Af ter   th is   r ev iew,   an   in itial  s e t  o f   5 0   ar ticles  wer e  id en tifie d   an d   s elec ted   th at  wer e  d ee m ed   th e  co r e  f o r   th e   s tu d y .   T h ese  ar ticles  estab lis h ed   a  b ase  o f   k n o wled g e  o n   th e  tech n ical  wo r k in g s   o f   L L Ms  an d   th e   im p licatio n s   o f   L L Ms b ey o n d   th e  tech n ical  asp ec ts   with in   ed u ca tio n .           Fig u r e  1 .   Ov e r v iew  o f   th e  r ese ar ch   m eth o d o lo g y   f o r   ex p lo r in g   L L Ms a n d   th eir   ed u ca tio n al  ap p licatio n s       Fo llo win g   th is ,   r esear ch   en ter ed   a  p h ase  o f   g en er al  in q u ir y   wh er e  r esear ch   q u esti o n s   wer e  d ev elo p e d   to   p r o m o te  th e  d etailed   ex p l o r atio n   o f   th e  to p ic.   T h e  in q u i r y   b eg an   with   in v esti g atin g   g en er ativ e  AI   as  an   u m b r ella  ter m   to   u n d er s tan d   a s p ec ts   s u ch   as  its   o r ig in s ,   wh e n   g en e r ativ e  AI   s tar ted   to   g ai n   tr ac tio n ,   an d   h o w  its   g r o wth   a n d   d ev elo p m en t   lead   to   th e   em er g e n ce   o f   L L Ms.  T h is   in q u ir y   also   ex am in ed   a   h is to r ical   p er s p ec tiv e  o f   AI ,   in   o r d er   t o   r ec o g n ize  k e y   d ev elo p m en t   p er io d s   wh ich ,   co n tr ib u te  to   th e  ev o lu tio n .   T h e   q u esti o n s   b ein g   ask ed   d u r in g   th is   in q u ir y   also   ass is ted   to   clar if y   h o w  L L Ms  f it  in to   t h e  o v er all  v ar ia b le  lan d s ca p e  o f   AI   tech n o lo g ies   th at  ca n   b e  co n s id er e d   f o r   s p ec if ic  in q u ir y   m o v e m en ts .   T h e  th ir d   s tep   o f   th e   m eth o d o l o g y   p r esen ted   a  cl o s er   an aly s is   o f   L L Ms  an d   th ei r   ca teg o r izatio n .   As  th er e   ar e  a   m u ltit u d e  o f   L L Ms   in   to d ay ’ s   m ar k etp lace ,   th e  r esear ch   aim s   to   ex p lo r e  th e  ca teg o r izatio n   o f   L L Ms,  o r   i n   o th er   wo r d s   h o w   L L Ms a r e  g r o u p ed .   T h e  p r o ce s s   co n s is ted   o f   ca teg o r izin g   L L Ms a n d   an aly zin g   h o w  th e y   ar e  g r o u p ed   b y   s ize,   ar ch itectu r e,   an d   ap p licatio n .   On ce   th e  ca teg o r izatio n   was  c o m p lete,   th e  r esear ch   b e g an   c o m p ar in g   tr ad itio n al  lan g u a g e   m o d els  to   L L Ms.  T h e  co m p a r ativ e  m eth o d o lo g y   aim s   to   e x p o s e  th e  li m itatio n s   o f   tr ad itio n al  la n g u ag e  m o d els,  wh ich   h av e  d o m i n ated   th e  f ield ,   a n d   h o w  L L Ms  h av e  ad d r ess ed   th o s e  lim itatio n s .   I n   p ar ticu lar ,   c o m p ar is o n   f o cu s ed   o n   L L Ms'   ab ilit ies  to   h an d le  l ar g er   d ata  s ets  an d   p er f o r m   m o r e  co m p lex   task s   wh ile  y ield in g   m o r e  ac cu r ate   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N a vig a tin g   th e  n ew fr o n tier :   l a r g e  la n g u a g e  m o d els a n d   th e ir   imp lica tio n s   fo r   ed u ca tio n   ( La ila   B o u llo u s )   2143   r esu lts .   Utilizin g   a  c o m p ar ati v e  ap p r o ac h   elu ci d ates  th e   p r o g r ess   in   th e  f ield   o f   s ec o n d   l an g u ag e   ac q u is itio n   an d   h ig h lig h ts   wh y   L L Ms n ec ess itate  m er it a s   a  n ew  an d   in n o v ativ e  ap p r o ac h   in   th e  f ield   o f   ed u ca tio n .   Af ter   illu s tr atin g   th e  s tr en g th s   o f   L L Ms,  th e  co m p ar is o n   s h if ted   to   lim itatio n s   an d   ch allen g es  o f   L L Ms.  W h ile  L L M s   ar e  clea r l y   an   en h an ce m e n t  to   s ec o n d   lan g u ag e  ac q u is itio n ,   L L Ms  s h o u ld   n o t  b e  s ee n   as  p er f ec t.  T h is   p ar t  o f   th e  r ev i ew  p r o p o s es  a  cr itical  ev alu a tio n   o f   th e  ch allen g es  o f   L L Ms.  E x am in in g   th e  ch allen g es p r esen ts   a  b alan ce d   u n d er s tan d i n g   o f   th e  p o ten tial   an d   lim itatio n s   o f   L L Ms.   T h e  last   p o r tio n   o f   th e  m et h o d o lo g y   lo o k s   m o r e  clo s ely   at  L L Ms  an d   e d u ca tio n .   T h e  r e v iew  r aises   is s u es  o f   h o w  L L Ms  ar e  p er c eiv ed   in   ed u ca tio n al  en v ir o n m en ts   an d   wh eth er   th e r e  is   a  f o cu s   o n   e - lea r n in g   en v ir o n m en ts .   Fin ally ,   th is   an aly s is   p o in ts   to   p o s s ib le  o u tco m es  f o r   L L Ms  an d   also   p r o v id es  is s u es  in   L L M s   wh er e  d ev elo p m en t a n d   r esear ch   ar e  n ee d ed   to   b etter   s tu d en t s   an d   ed u ca to r s   with   L L M  to o ls .       3.   E VO L U T I O N  O F   G E N E RA T I V E   M O D E L S IN  AR T I F I CIAL   I NT E L L I G E NC E   T h e  s to r y   o f   th e  g e n er ativ e   m o d el,   wh ic h   is   illu s tr ated   i n   Fig u r e   2 ,   b eg in s   wh e n   Al an   T u r i n g   p r o p o s ed   T u r i n g   m ac h in es  in   1 9 3 6   wh en   h e  b u ilt  th e  m o d els  ca p ab le  o f   im itatin g   an d   r ep r o d u cin g   lin ea r   d ata.   Hid d en   Ma r k o v   m o d els  ( HM M)   b eg an   to   a r is e  in   1 9 6 0   th at  p r o v id e d   a   n ew  p r o b a b ilis tic - b ased   p r o ce s s   to   in f er   an d   p r ed ict  s eq u en ce s .   1 9 8 2   m ar k s   th e  in tr o d u ctio n   o f   r ec u r r en t  n eu r al  n etwo r k s   ( R NNs),   u n lo ck in g   th e  ab ilit y   to   r em e m b er   p r ev i o u s   in p u ts .   Af ter war d s ,   th e  lo n g   s h o r t - te r m   m em o r y   ( L STM )   was  s u g g ested   in   1 9 9 7 ,   r esu ltin g   in   f ac ilit atin g   v ar io u s   task s ,   in clu d in g   tim e  s er ies  p r ed ictio n ,   b y   o v er co m in g   th e  ch allen g es   r elate d   to   lo n g - ter m   d ep en d en cies.           Fig u r e  2 .   A  tim elin e  o f   g e n er a tiv e  AI   m o d els s tar tin g   f r o m   T u r in g   m ac h in es in   1 9 3 6   to   m o d er n     GPT  ar ch itectu r es       T h e  r is e  o f   tr an s f o r m er s   s tar ted   with   th e  p r o p o s itio n   o f   a  n ew  f r am ew o r k   in   2 0 1 3   t h at  h elp ed   g en er ate  n ew  d ata  b ased   o n   a  tr ain in g   s et;  th e  ty p e  o f   g en er ated   d ata  v ar ies  f r o m   tex tu al,   i m ag er y ,   a u d io ,   an d   m o r e.   Usi n g   n e u r al - n etwo r k - b ased   g e n er ativ e   m o d els  s u ch   as   th e  v ar ian t   au to - e n c o d er s   ( VAE s )   an d   g en er ativ e - a d v er s ar ial  n etwo r k s   ( GANs) .   T h e  r ev o lu tio n ar y   u p h ea v al  em er g ed   with   th e   p u b licatio n   o f   th e   p ap er   “Atten tio n   is   all  y o u   n e ed ”  in   2 0 1 7   [ 2 ] ,   wh er e   Go o g le  p r esen ted   th e   ar ch itectu r e  o f   tr an s f o r m er s   an d   th eir   p o wer   th at  lies   in   th e  s e lf - atten tio n   m ec h an is m   an d   it s   ab ilit y   to   id en tify   lo n g - r an g e  d ep en d en cies  an d   tr ac e  co n n ec tio n s   with in   th e  d ata  [ 1 ] .   T h e  f o llo win g   y ea r   th e  s u g g ested   f r am ewo r k   was  im p lem en ted   in to   L L Ms.  Go o g le  in tr o d u ce d   B E R T ,   an   ex ten s iv e  la n g u a g e  m o d el,   its   p o wer   lies   in   its   p r o f icien cy   i n   c o m p r e h en d in g   t h e  co n tex t  o f   wo r d s   in   a  s en ten ce   [ 7 ] .   Op en AI   p r es en ted   its   L L M  GPT  with   its   ab ilit y   to   p r o d u ce   h u m an - lik e   tex t  [ 8 ] .   W ith   th e  ap p ar itio n   o f   DAL L - E   in   2 0 2 1 ,   th e  wo r ld   k n ew  th at  tr an s f o r m er s   ca p ab ilit ies  ex ten d   NL P  an d   ca n   b e  u s ed   f o r   im a g e  g en er atio n   f r o m   te x tu al  p r o m p ts .   Op en AI ,   f o u n d ed   i n   Dec em b er   2 0 1 5 ,   h as   co n tr ib u ted   m ain ly   to   th e   a d v an ce m e n t  o f   L L Ms  an d   in f lu en ce d   th e  lan d s ca p e  o f   AI   r esear ch   an d   ap p licatio n s .   T h ey   f o c u s ed   o n   b u ild in g   g e n er ativ e  m o d els,  s tar tin g   f r o m   GPT - 1   to   lau n ch in g   C h atGPT   in   2 0 2 2 .   T h e  p o p u lar ity   o f   L L Ms  h as  in cr ea s ed   ex p o n en tially   af ter   th e  lau n ch   o f   C h atGPT ,   as  it  h as   g ain ed   m illi o n s   o f   u s er s   o v er   a  f ew  w ee k s   af ter   its   r elea s e  th an k s   to   h ig h   p er f o r m an ce   with   u n s ee n   task s   b ased   o n   its   ab ilit y   to   g en er alize   f r o m   ta k in g   a   task   d escr ip tio n   as  in p u t  an d   a   f ew   ex am p les.   I t  d o esn ’ t  r eq u ir e   an y     task - s p ec if ic  tr ain in g ,   wh ich   o p en s   th e  d o o r   to   a  n ew  er a  in   AI ,   in tr o d u cin g   wh at  we  r ef er   to   as  ar tific ial  g en er al  in tellig en ce   [ 1 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   3 ,  J u n e   20 26 :   2 1 4 1 - 2 1 5 2   2144   GPT  m o d els  co m b in e  u n s u p er v is ed   p r e - tr ain i n g   an d   s u p er v i s ed   f in e - tu n n in g   to   g en e r ate  h u m an - lik e   an s wer s .   GPT - 3   is   a  v er s io n   o f   GPT  m o d els  b u ilt   with   1 7 5   b illi o n   p ar am ete r s ,   tr ain ed   o n   a   lar g e   co r p u s   co n tain in g   o f   tex tu al   d ata  f r o m   web   p ag es,  b o o k s ,   ar ticles,  an d   s o cial  m ed ia  [ 3 ] ,   [ 4 ] ,   [ 1 0 ] .   Op en AI   in tr o d u ce d   GPT - 4 ,   an   ad v an ce d   v e r s io n   o f   GPT,   in   Ma r ch   2 0 2 3   with   a  m ass iv e  n u m b er   o f   p ar am et er s   th at  g o es  u p   to   1 . 7 6   tr illi o n   p ar am eter s ;   it  ca n   p r o ce s s   b o t h   im a g e  a n d   tex t   in p u ts .   GPT - 4   ca p ab ilit ies  g o   b ey o n d   g e n er atin g   h u m an - lik e   tex t,  th is   m o d el  f a m ily   h as f u r th e r   p u s h ed   th e  p e r f o r m a n ce   r esu lts   in   v ar io u s   NL P task s   [ 1 0 ] .   T h e  latest  v er s io n   o f   C h atGPT   is   C h atGPT - 4 o   ( th e   last   ‘ o ’   s tan d s   f o r   ‘ o m n i’ ) ,   r elea s ed   o n   Ma y   1 3 ,   2 0 2 4 ,   b y   th e   g ia n t  Op en AI .   T h is   v er s io n   ex ten d s   t h e  ca p ab i liti es  o f   C h atGPT - 4 .   B ased   o n   u s er   e x p er ien ce s ,   it  h as  b ee n   co n clu d ed   th at  C h atGPT - 4 o   is   f aster   an d   s ig n if ican tly   b etter   at  g en er atin g   h u m an - lik e  r esp o n s es  th an   C h atGPT - 4 .   Nu m er o u s   v ir al  v id eo s   h av e  s h o wca s ed   C h atGPT - 4 o ' s   ca p ac ity   to   d el iv er   r esp o n s es  in   a  ch atty   an d   o cc asio n ally   f lirta t io u s   to n e.   Ad d itio n ally ,   C h at GPT - 4 o   f ea tu r es  ca p a b ilit ies  s u ch   as  r ea d in g   an d   d is cu s s in g   im ag es,  tr an s latin g   lan g u ag es,  id e n tify in g   em o tio n s   f r o m   v is u al  e x p r ess io n s ,   an d   r em em b er in g   p r ev io u s   p r o m p ts .   C h atGPT - 4 o   h as  d em o n s tr ated   n ew  ca p a b ilit ies  with   th e  p o ten tial  to   r e v o lu tio n ize  v ar io u s   f ield s ,   in clu d in g   ed u ca tio n   an d   e - lear n in g   [ 1 5 ] .       4.   L ARG E   L ANG UAG E   M O D E L :   D E F I NI T I O N ,  T YP E S ,   AND  CO M P AR I SO N   4 . 1 .     Def ini t io n   L L Ms  ar e  s p ec if ic  im p lem en t atio n s   o f   tr an s f o r m er - b ased   m o d els  tr ain ed   o n   a  m ass iv e  am o u n t  o f   tex tu al  d ata,   th eir   f o u n d atio n   lies   in   th eir   ad v an ce d   p r o ce s s in g   ca p ab ilit ies  an d   ad v an ce d   alg o r ith m s .   As  a  r esu lt,  L L Ms  ca n   ca p tu r e,   tr a n s late,   ex p ec t,  a n d   p r o d u ce   tex tu al  co n te n t  an d   o t h er   f o r m s   ( im ag es  an d   v o ice   n o tes).   Als o ,   th e y   ar e   f lex i b le  ac r o s s   d iv er s e   d o m ai n s   [ 2 ] .   L L Ms  ar e  k n o wn   f o r   ac h iev i n g   h ig h   p e r f o r m an ce   in   m an y   n at u r al  lan g u ag e   ap p licatio n s   with o u t  task - s p ec if ic   tr ain in g   [ 1 0 ] .   L L Ms  f u n ctio n   s im p ly   b y   tr ea tin g   an y   NL P  task   as  an   o r ien ted   tex t  g en er atio n   task   an d   g en er atin g   o u tp u t  b ased   o n   th e  in p u t  p r o m p t,  th is   last   o n e  d escr ib es th e  c o n d itio n s   t h at  s h o u ld   b e  s atis f ied   with   th e  g en er ated   o u tp u t  [ 1 0 ] .     4 . 2 .     T y pes   o f   la r g e  la ng ua g e   m o dels   T h er e  ar e  d if f er e n t  ty p es  o f   L L Ms,  wh ich   ca n   b e  ca teg o r iz ed   in to   f iv e  m ain   g r o u p s .   T h e s e  g r o u p s   in clu d e  p r e - tr ain ed   an d   f in e - t u n ed   m o d els,  en c o d er - d ec o d e r   m o d els,  m u ltil in g u al  m o d el s ,   d o m ain - s p ec if ic   m o d els,  an d   a u to r e g r ess iv e  lan g u ag e   m o d els.  T h is   ca teg o r iz atio n   is   illu s tr ated   in   Fig u r e  3 .           Fig u r e  3 .   C ateg o r izatio n   o f   L L Ms b ased   o n   ar c h itectu r e,   ap p licatio n ,   an d   lan g u a g es       4 . 2 . 1 .   P re - t r a ined a nd   f ine - t un ed  m o dels   Fo llo win g   th e   m ass iv e  ac h iev em en t  o f   p r e - tr ain e d   im a g e  m o d els  in   co m p u ter   v is io n   ( VGGN et  an d   A lex Net  as  ex am p les)  [ 1 6 ] ,   N L P  r esear ch er s   g o t  in s p ir e d   to   d ev elo p   p r e - tr ain ed   m o d els  f o r   NL P  task s ,   b u ilt   b ased   o n   tr a n s f o r m er s   an d   s elf - s u p er v is ed   lear n in g ,   a n d   tr ai n ed   o n   a  lar g e  c o r p u s   th ey   ca n   b e  tailo r ed   t o   f it   g o al - o r ie n ted   task s   with   c o n s tr ain ed   lab eled   d ata.   T h e   ev o lu tio n   o f   p r e - tr ai n ed   la n g u a g e  m o d els  ( PLM s )   b eg in s   with   Go o g le’ s   f am o u s   m o d el  B E R T   an d   Op e n AI ’ s   GPT - 1  [ 9 ] .   Fro m   th er e,   m an y   PLM s   wer e  d ev elo p e d ,   s u ch   as  r o b u s tly   o p tim ized   B E R T   p r etr ai n in g   ap p r o ac h   ( R o B E R T a) ,   XL Ne t,  b id ir ec tio n al   an d   au to - r eg r ess iv e  tr an s f o r m er s   ( B AR T ) ,   an d   E lectr a  [ 9 ] .     4 . 2 . 2 .   E nco der - deco der  m o dels   PLM 's  jo u r n ey   p r o g r ess ed   in   th r ee   s tag es:  en c o d er - b ased   m o d els,  d ec o d er - b ased   m o d els,  an d   en co d er - d ec o d er   m o d els.  Val iy ev   et  a l.  [ 1 7 ]   e x p lain s   th e   en co d e r - d ec o d er   ar ch itectu r e  co n s is ts   o f   b o th   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N a vig a tin g   th e  n ew fr o n tier :   l a r g e  la n g u a g e  m o d els a n d   th e ir   imp lica tio n s   fo r   ed u ca tio n   ( La ila   B o u llo u s )   2145   en co d er   an d   d ec o d e r   m o d u les;   th e  en co d er   m o d u le  is   an   em b ed d in g   o f   en co d er   lay er s ,   an d   ea ch   en co d e r   lay er   h as  s elf - atten tio n   an d   f e ed - f o r war d   n etwo r k s .   T h e   d ec o d er   m o d u le   is   an   em b e d d in g   o f   d ec o d er   lay er s ;  ea ch   lay er   is   eq u ip p e d   with   a   s elf - atten tio n   m ec h an is m ,   m ask ed   s elf - atten tio n ,   an d   f ee d - f o r war d   n etwo r k s .   So m e  en co d er - d ec o d er   m o d el s   ar e  k n o wn   f o r   th eir   h ig h   p e r f o r m a n ce   in   n atu r al  lan g u ag e  g en er atio n   task s ,   wh er ea s   o th er s   ar e  k n o wn   f o r   p er f o r m i n g   well  in   b o th   g en er atio n   an d   lan g u a g e  u n d er s tan d in g   task s .   Ma r ian MT   is   an   ex am p le  o f   s u ch   a  m o d el  b esid es  tex t - to - tex t  tr an s f er   t r an s f o r m e r   ( T 5 ) ,   B AR T ,   an d   n o   lan g u ag e  lef t  b eh in d   ( NL L B )   [ 9 ] .     4 . 2 . 3 .   M ultiling ua l m o dels   T h e  p r e - tr ain e d   L L Ms  h av e   k n o wn   a  v ast  s u cc ess   in   th e  E n g lis h   lan g u a g e,   wh ic h   in s p ir ed   r esear ch er s   to   d e v elo p   L L Ms  f o r   o th er   lan g u ag es  a n d   m u ltil in g u al  L L Ms.  So m e   o f   t h e  m o s t  wid ely   k n o wn   an d   u s ed   ar e  m u ltil in g u al  b id ir ec tio n al  en co d er   r e p r esen tat io n s   f r o m   tr an s f o r m er s   ( m B E R T ) ,   cr o s s - lin g u al  lan g u ag e  m o d el  ( XL M ) ,   XL M - R o B E R T a  ( XL M - R ) ,   m u ltil in g u al  tex t - to - tex t  t r an s f er   t r an s f o r m er   ( m T 5 ) ,   m u ltil in g u al  d ec o d in g - en h an ce d   B E R T   w ith   d is en tan g led   atten tio n   ( m DeBERTa) ,   B ig Scien ce   lar g e     o p en - s cien ce   o p en - ac ce s s   m u l tili n g u al  lan g u ag e  m o d el  ( B L OOM ) ,   an d   B L OOM   ( in s tr u ct io n - tu n e d   v e r s io n )   ( B L OOM Z )   [ 9 ] ,   [ 1 0 ] .   T h er e  ar e  also   f am o u s   b ilin g u al  L L Ms,  in clu d in g   J ais  Ar ab ic - Ar ab ic   ( J AI S)   LLM   m o d el  ( f o r   E n g lis h   an d   Ar ab ic )   an d   g en er al  lan g u ag e   m o d el  ( GL M)   ( f o r   E n g lis h   a n d   C h in e s e)   [ 1 0 ] .     4 . 2 . 4 .   Do ma in - s pecif ic  m o dels   Dep ar tin g   f r o m   lo w  p er f o r m a n ce   o f   g en er al - d o m ain   L L Ms   in   task   an d   d o m ain - s p ec if ic  p r o b lem s ,   r esear ch er s   s h if ted   t h eir   f o cu s   to   d ev el o p in g   d o m ain - s p ec i f ic  m o d els  in   v a r io u s   d o m ain s ,   f o r   ex am p le,   in   ed u ca tio n   lik e  C h atGPT .   I n   h ea lth ca r e,   th e  Me d - PaL M  wa s   d esig n ed   to   d eliv e r   to p - tier   an s wer s   to   m ed ical  q u esti o n s   [ 9 ] ,   wh ile  in   f i n an ce ,   Fin GPT  an d   B lo o m b er g GPT   em er g ed   [ 1 0 ] ,   a n d   in   law,   Sa u lLM - 7 B   L L M  was   tailo r ed   f o r   t h e  leg al  d o m ai n   [ 1 8 ] .   Ad d itio n ally ,   in   s o cial  m ed ia,   s o cial  m ed ia  p r e - tr ai n ed   B E R T   ( So B er t) ,   a   L L M  tr ain ed   o n   Stack Ov er f lo w  d ata  f o r   an s wer in g   q u esti o n s   r elate d   to   p r o g r am m in g   an d   s o f twar e   en g in ee r in g   [ 1 9 ] ,   r ep r esen ts   th is   s p ec ialized   ap p r o ac h .     4 . 2 . 5 .   Aut o re g re s s iv e  la ng ua g e  m o dels   Au to - r eg r ess iv e  L L Ms  ar e  ad v an ce d   m o d els  th at  ca n   g en er ate  tex t  b y   p r ed ictin g   th e  n ex t  to k en   is   cr ea ted   b ased   o n   p r ev io u s ly   g en er ated   to k e n s .   T h ese  m o d el s ,   s u ch   as  au to r eg r ess iv e  m o d els,  ex ce l  at  task s   lik e  lan g u ag e  g en er atio n   an d   co m p letio n   b y   lev e r ag in g   lan g u ag e  p atter n s   lear n ed   f r o m   tr ain i n g   d ata .   E x am p les  o f   au to - r eg r ess iv e  L L Ms  in clu d e  GPT  m o d els  d ev elo p ed   b y   Op e n AI ;  GPT - 3 ,   f o r   ex am p le  in clu d e s   1 7 5 B   p ar am eter s   tr ain ed   u s in g   a  co n s id er ab le  co r p u s   co n t ain in g   tex t  f r o m   v ar io u s   r eso u r ce s   s u ch   as  web   p ag es,  W ik ip ed ia,   an d   b o o k s   [ 1 1 ] .     4 . 3 .     T ra ditio na l la ng ua g e   mo dels   v s .   l a rg e  la ng ua g e  m o d els   Desp ite  th e  ef f ec tiv en ess   o f   tr ad itio n al  lan g u a g e  m o d els,  th ey   s till   ar e  ch allen g ed   b y   m o r e  co m p lex   lan g u ag e   item s   s u ch   as  id io m s ,   m etap h o r s ,   s o cial  co n tex t,   an d   im p licit  em o tio n s .   Ho we v er ,   L L Ms  s h o w   a  m ar k ed   in cr ea s e  in   n atu r al  lan g u ag e  u n d er s tan d in g   ( NL U) .   T h ey   ar e  tr ain ed   with   a  v ar ie ty   o f   tex t  r eso u r ce s   to   co m p r eh en d   th e   b ea u ty   a n d   co m p le x ity   o f   h u m an   lan g u ag e.   T ab le  1   s h o ws  h o w  e f f ec tiv ely   L L Ms  im p r o v e   p er f o r m an ce   in   a   v ar iety   o f   a r ea s ,   b u t  with   ad d e d   co n s id er atio n   f o r   a p p licatio n   r elev an c e.   Af ter   ad d r ess in g   th e  lim itatio n s   o f   tr a d itio n al  l an g u ag e   m o d els  ac r o s s   d if f er en t  ap p licatio n   d o m ain s   a n d   h o w  L L Ms  h elp ed   o v er co m e   th em ,   T a b le  1   s y n t h esizes th e  d is cu s s ed   id ea s   an d   p r o v id es a n   o v e r v iew  o f   t h eir   in ter r elatio n s .       T ab le  1 .   T h e  lim itatio n   o f   tr ad itio n al  lan g u ag e   ac r o s s   v ar io u s   d im en s io n s   an d   L L M  e n h an ce m en ts ,     a  d o m ain - b ased   co m p ar is o n   Tr a d i t i o n a l   l a n g u a g e   m o d e l   l i mi t a t i o n   LLM   a ss i st a n c e   R e l e v a n t   a p p l i c a t i o n   d o ma i n   Li mi t a t i o n   1 :   p e r f o r mi n g   s e n t i m e n t   a n a l y si s  o n   t e x t u a l   c o n t e n t   f i l l e d   w i t h   c o m p l e x   e m o t i o n s  o r   s a r c a sm   i s   c h a l l e n g i n g .   LLM s   b r i d g e d   t h i s   g a p   a n d   h e l p e d   m a c h i n e s   w i t h   i d e n t i f y i n g   a n d   i n t e r p r e t i n g   l a y e r e d   sen t i m e n t s,  e n su r i n g   h i g h   p r e c i si o n .     M a r k e t   s e a r c h   [ 2 0 ] ,   s o c i a l   me d i a   a n a l y t i c s  [ 2 1 ] ,   a n d   c u s t o mer   f e e d b a c k   p r o c e ssi n g   [ 2 2 ]   Li mi t a t i o n   2 :   i n   q u e st i o n - a n sw e r i n g   sy st e ms,  t h e   a n sw e r   i s  g e n e r a t e d   a c c o r d i n g   t o   k e y w o r d   a ss o c i a t i o n   a n d   sema n t i c   r e a s o n i n g .   LLM s   i n   q u e st i o n   a n sw e r i n g   s y s t e ms   a l l o w   t h e m  t o   c a p t u r e   t h e   c o r e   o f   i n q u i r i e s,   t a k i n g   i n t o   c o n si d e r a t i o n   v a r i o u s  a sp e c t s,   i n c l u d i n g   c o n t e x t ,   i n   o r d e r   t o   g e n e r a t e   p r e c i se  a n d   a u t h e n t i c   r e s p o n s e s.   C u s t o mer  su p p o r t   [ 2 2 ] ,   a c a d e m i c   r e sea r c h   [ 2 3 ] ,   a n d   i n t e l l i g e n t   t u t o r i n g   s y st e ms  ( I TS)   [ 2 4 ]   Li mi t a t i o n   3 :   i n   c o n t e n t   su mm a r i z a t i o n ,   t r a d i t i o n a l   LM s   p e r f o r m  s y n t h e si s   b a s e d   o n   mo d e s t   k e y   se n t e n c e s’   e x t r a c t i o n   t o   a n   i m p r o v e d   a b s t r a c t i o n   o f   t h e   ma i n   i d e a .   LLM s   h a v e   t h e   a b i l i t y   t o   p r o c e ss   massi v e   c o r p o r a ,   u n d e r s t a n d   t h e   d o m i n a n t   t h e m e s,   a n d   g e n e r a t e   t o - t h e - p o i n t   y e t   t h o r o u g h   o u t l i n e   s u mm a r i e s .     A c a d e mi c   r e sea r c h   [ 2 3 ]   a n d   b u s i n e ss  i n t e l l i g e n c e   [ 2 5 ]     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   3 ,  J u n e   20 26 :   2 1 4 1 - 2 1 5 2   2146   4 . 3 . 1 .   Sentim ent   a na ly s is   W h ile  tr ad itio n al  lan g u ag e  m o d els  ar e  u s ed   f o r   s en tim en t   an aly s is ,   th er e  ar e  ce r tain   is s u es  with   in ter p r etin g   tex tu al   d ata  i n   m o r e  c o m p lex   em o tio n   c o n tex t s ,   s u ch   as  s ar ca s m   [ 2 6 ] .   L L Ms  ad d r ess   th is   is s u e,   p r im ar ily   th r o u g h   th eir   ab ilit y   to   id en tify   lay er e d   an d   co m p lex   s en tim en ts .   T h is   is   v alu ab le  in   m an y   f ield s ,   b u t th e  m o s t r elev an t a r e  m ar k et  r esear ch ,   s o cial  m ed ia  an al y s is ,   an d   p r o ce s s in g   cu s to m er   f ee d b ac k   [ 2 7 ] .     4 . 3 . 2 .   Q ues t io n a ns wer ing   s y s t em s   T r ad itio n al  lan g u a g e  m o d els  ar e  ap p lied   in   q u esti o n - a n s wer in g   s y s tem s .   T h e  an s wer s   ar e   g en er ated   b ased   o n   g iv en   k e y wo r d   ass o ciatio n   an d   s em an tic  an al y s is   [ 2 8 ] .   Me an wh ile,   L L M - g en er ated   an s wer s   ar e   b u ilt  u p o n   ca p t u r in g   th e  co r e  o f   in q u ir ies.  L L Ms  tak e  in to   co n s id er atio n   th e   co n te x t  o f   a   g iv en   q u esti o n   t o   cr ea te  ac cu r ate  an d   g en u in e  an s wer s .   Qu esti o n   an s wer in g   s y s tem s   ar e  ap p licab le  ac r o s s   d iv er s e  d o m ain s :  cu s to m er   s u p p o r t,  ac ad e m ic  s ea r ch ,   an d   I T S,  en s u r in g   e n h an ce m en ts   [ 2 9 ] .     4 . 3 . 3 .   Co nte nt  s um m a riz a t io n   I n   th e   co n te x t  o f   co n ten t  s u m m ar izatio n ,   t r ad itio n al  la n g u ag e  m o d els’  p e r f o r m an ce   is   wea k   [ 3 0 ] .  L L Ms  p er f o r m   s y n th esis   b ased   o n   m o d est  k ey   s en ten ce   ex tr ac tio n   to   g en e r ate  an   im p r o v e d   ab s tr ac tio n   o f   th e   m ain   id ea .   C o n cu r r en tly ,   L L Ms  ca n   p r o ce s s   m ass iv e  co r p o r a  an d   u n d er s tan d   th e  d o m in a n t  th em es  [ 3 1 ] .   T h e y   ar e  also   ca p ab le   o f   g en er atin g   to - th e - p o in t  y et  th o r o u g h   o u t lin e  s u m m ar ies.  R elev an t  d o m ain s   th at  ap p ly   to   s u ch   a  task   ar e  ac ad em ic  s ea r c h ,   n ews a g g r e g atio n ,   an d   b u s in ess   in tellig en ce .       5.   L ARG E   L ANG UAG E   M O D E L :   CH A L L E NG E S AN D  L I M I T A T I O N S   T h o u g h   L L Ms  p r esen t  v ar io u s   p o s itiv e  asp ec ts   an d   en s u r e  s p ec if ic  o u tco m es,  th er e  a r e  n o tab l e   lim itatio n s   in h er en t  in   th eir   s tr u ctu r e.   On e  n o ta b le  lim itati o n   is   th at  it  p o s s e s s e s   s ig n if ican t  co m p u tatio n a l   d em an d s .   T h is   asp ec t  p o s es  a  ch allen g e  d u e  to   L L Ms  d ep en d en c y   o n   lar g e  tr ain i n g   s ets,  wh ich   r eq u ir es   d ev elo p in g   m o r e   ef f icien t   tr ain in g   al g o r ith m s .   So lv in g   th at  p r o b lem   will  p r o tect  th e   en v ir o n m en t   an d   r ed u c e   ca r b o n   f o o t p r in ts   g en er ate d   in   cr ea tin g   an d   u s in g   L L Ms  [ 4 ] ,   [ 3 2 ] .   Ad d itio n ally ,   d ata  p r iv ac y   an d   s en s itiv ity   p r esen t  a n o th e r   c o n s tr ain t  o n   th e   ef f ec tiv e n ess   o f   L L Ms.   T h is   lim itatio n   ar is es   f r o m   L L Ms  tr ain in g   o n   v ast  cr o s s - s ec to r   am o u n ts   o f   d ata,   wh ich   s till   r ai s es  a   lo t  o f   co n ce r n s   r eg a r d in g   u n in ten tio n al  d is clo s u r e  o f   s en s itiv e  d ata  b y   th ese  m o d els  [ 3 2 ] .   Mo r e o v er ,   th ese  m o d els   ar e  lim ited   b y   b iases   in g r ain ed   in   th e  d ata  th ey   wer e  tr ai n ed   o n .   T h is   f ac to r   r esu lts   in   th e  o cc u r r en ce   o f   “h allu cin atio n s ”,   a   s itu atio n   wh er e  L L Ms  g e n er ate  a   r es p o n s e  th at   is   d ec ep tiv ely   cr e d ib le  y et   f ac tu ally   in co r r ec t.  W h ich   cr ea tes  th e  p o ten tial  o f   b u ild in g   m o d els  th at  g en er ate  m is lead in g   in f o r m atio n   an d   “d ee p f ak es”  [ 4 ] ,   [ 3 2 ] .   An o th er   lim itatio n   to   b e  awa r e  o f   c o r r elate s   with   t h e  o u tco m es  r esu ltin g   f r o m   t h e  r is in g   ad o p tio n   o f   L L Ms  in teg r atio n   in to   tec h n ical  an d   n o n - tech n ical  s ec to r s .   No   o n e  d en ies  it  h as  v alu ab le  im p ac t   o n   au to m atio n ,   ef f icien c y ,   a n d   in n o v atio n .   Ho we v er ,   it  h as   p r o f o u n d ly   alter ed   th e  ec o n o m ic  a n d   s o cial  lan d s ca p e,   p ar ticu lar l y   r eg a r d i n g   jo b   d is p lace m en t w ith in   th e  wo r k f o r ce   [ 3 2 ] .   Fu r th er m o r e ,   th e  m o d el’ s   in te r p r etab ilit y   in tr o d u ce s   a  s ig n i f ican t  co n s id er atio n   in   ap p ly i n g   L L Ms.  Dee p   lear n in g   m o d els  ar e  k n o wn   to   b e   “b lack   b o x ”  m o d els  with   a  v ast  n u m b e r   o f   p ar am eter s ;  h en ce ,   u n d er s tan d i n g   an d   an s wer in g   wh y   th e  m o d el  o p te d   f o r   a  s p ec if ic  d ec is io n   ca n   b e  h ar d   to   f in d   [ 4 ] ,   [ 3 2 ] .  C o n clu d in g   th e  lis t,  t h e  s ix t h   lim itatio n   is   r elate d   t o   th e   f ac t  th at  L L Ms  lack   h u m a n   in tu itio n ,   eth ical   r ea s o n in g ,   an d   ac cu m u latio n   o f   ex p er ien tial  k n o wled g e.   Desp ite  th eir   ab ilit y   to   g en er ate  r esp o n s es  th at   m im ic  h u m a n   ex p er tis e,   th e  u s er s   s till   n ee d   to   ed u ca te   th e m s elv es  ab o u t  th e  m o d el’ s   n a tu r e  to   a d ju s t  th eir   lev el  o f   tr u s two r th i n ess   an d   d e p en d en ce   o n   its   o u t p u t  [ 4 ] ,   [ 3 2 ] .       6.   L ARG E   L ANG UAG E   M O D E L S IM P ACT O N  E DUCA T I O N   L L Ms    h av e  a  h u g e  im p ac t  o n   d iv e r s e  s ec to r s ;  ed u ca tio n   is   two   o f   th em .   L L Ms  p r o v i d e  a  m o r e   ad ap tiv e,   a p p ea lin g ,   an d   e f f icien t  lear n in g   en v ir o n m e n t  f o r   lear n er s   f r o m   d if f e r en t  b ac k g r o u n d s     an d   f ield s   [ 3 3 ] .   L L Ms  h av e   b ec o m e  a  tr an s f o r m ativ e  f o r ce   in   ed u ca tio n ,   d r iv in g   ad v an ce m en ts   ac r o s s     v ar io u s   e d u ca tio n al   f u n ctio n alities .   E d u ca tio n al  tech n o lo g ies  ar e  g e n er ally   ca teg o r iz ed   in to   f o u r   m ain   f u n ctio n alities   [ 3 4 ] .   I n   t h is   p a r t,  we  will  elab o r ate  o n   th e   u s e  o f   L L Ms  in   ea ch   o f   th ese  f u n ctio n alities   with   ex am p les  f r o m   r ea l - wo r ld   ap p licatio n s .   T ab le  2   s u m s   u p   th e  f in d in g s   in   ter m s   o f   im p le m en tatio n   o f   L L Ms  ac r o s s   d if f er en t e d u ca tio n al  f u n ctio n alities .     6 . 1 .     P er s o na liza t io n a nd   a da ptiv it y   B ein g   o n e  o f   t h e  m o s t  im p o r ta n t   f ea t u r es   i n   c u r r e n t   e - l ea r n i n g   s y s t em s ,   t h is   is   f o c u s e d   o n   c u s t o m ize d   ad ap tat io n   o f   th e   p r o c ess   o f   le ar n i n g   a n d   te ac h i n g   b a s ed   o n   i n d iv id u al   s t u d e n ts '   s k ills   as   we ll   as     p r e f e r e n c es   [ 3 5 ] .   L L Ms   ca n   b e   v e r y   h el p f u l   i n   d o in g   t h is   b y   o f f e r i n g   g u i d e d   lea r n i n g   [ 3 5 ] ,   d y n a m ic all y   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N a vig a tin g   th e  n ew fr o n tier :   l a r g e  la n g u a g e  m o d els a n d   th e ir   imp lica tio n s   fo r   ed u ca tio n   ( La ila   B o u llo u s )   2147   ad j u s t in g   co n t e n t  t o   t h e  p r o g r ess   o f   a  s tu d e n t   [ 1 5 ] ,   [ 3 3 ] ,   [ 3 6 ] .   C r e ati n g   c u s t o m iz e d   c o n te n t   ac c o r d i n g   t o   lea r n i n g   s t y l es,   r e q u i r e m e n ts ,   a n d   p e r f o r m a n c e   i n f o r m ati o n   [ 3 3 ] ,   [ 3 7 ] .   I m p r o v i n g   c u s t o m ize d   l ea r n i n g   p at h w a y s ,   e n a b li n g   s t u d e n ts   t o   p r o ce e d   at  th ei r   p ac e  p a th s   [ 1 5 ] ,   [ 3 8 ] ,   [ 3 9 ] .   D esi g n i n g   ad ap ti v e  test s ,   l ik e   co m p u te r - b as e d   m u lti p l e - c h o i ce   q u es ti o n s   ( MCQs ) ,   i n   d ep en d e n c e  u p o n   l ea r n e r   p r o f il es  a n d   in f o r m a ti o n   [ 4 0 ] .     6 . 2 .     Ass ess m ent   a nd   ev a lua t io n   L L Ms  p r o v id e  v a r io u s   m ea n s   o f   m ak in g   th e  ass ess m en t  p r o ce s s   m o r e  ef f icien t  a n d   lig h ten in g     th e  lo ad   o f   e d u ca to r s .   So m e  ex am p les  o f   u s e   ar e   s m ar t  g r ad in g ,   wh er e   ess ay s ,   s h o r t  a n s wer s ,   o r   e v en   co d e   ca n   b e  au to m atica lly   g r ad e d   f o r   tim e  an d   co n s is ten cy   s av in g s   [ 3 8 ] ,   [ 4 1 ] .   Au to m ate d   test   g en er atio n ,   lik e   m u ltime d ia - s u p p o r ted   test s   ta ilo r ed   to   tar g et  s p ec if ic  lear n in g   o b jectiv es  [ 2 4 ] ,   [ 4 2 ] .   Au to m ated   f ee d b ac k   g en er atio n   to   p r o v id e  in s tan t ,   co n s tr u ctiv e   f ee d b ac k   t o   s tu d en ts   [ 2 4 ] ,   [ 4 3 ] ,   [ 4 4 ] .   Dis cu s s io n   f ac ilit atio n ,   th r o u g h   a n aly s is   an d   e n g ag e m en t  in   g r o u p   d is cu s s io n s ,   to   allo w  d ee p er   p ee r - to - p ee r   in ter ac tio n   [ 4 2 ] ,   [ 4 5 ] .  L ast  b u t  n o t  least,  L L M - ass i s ted   class r o o m   ass is tan ce ,   in   wh ich   m o d els  ass is t  b o th   s tu d en ts   an d   in s tr u cto r s   d u r in g   liv e  s ess io n s — f o r   ex am p le,   s u m m ar izin g   co n v er s atio n s ,   an s wer in g   in - s ess io n   q u er ies,  o r   g iv in g   ex p lan atio n s   o n   d em a n d   [ 4 6 ] .     6 . 3 .     P r o f ilin g   a nd   predict ing   L L Ms  ca n   an aly ze   s tu d en t  b e h av io r ,   ac tiv ity ,   a n d   p er f o r m a n ce   s o   as  to   ass is t  p r ed ictiv e  an aly tics .   E x am p les  in clu d e  i d en tify in g   lev els  o f   co m p r eh en s io n   b y   an aly zin g   t h e  s u b m is s io n s   an d   in ter ac tio n s   o f   s tu d en ts   [ 3 ] ,   [ 4 7 ] .   Su g g esti n g   lear n in g   ac tiv ities ,   tailo r ed   to   cu r r en t  p e r f o r m an ce   [ 3 ] .   Sen tim en t  an aly s is ,   s o   th at  lear n er   f r u s tr atio n ,   c o n f u s io n ,   o r   s atis f ac tio n   ca n   b e   id en tifie d ,   allo win g   th e  in s t r u cto r   to   in ter v e n e   p r ee m p tiv ely   [ 3 6 ] ,   [ 4 3 ] .     6 . 4 .     I nte llig ent   t uto ring   s y s t em s   L L Ms   c an   f ac i lit ate   I T S  t o   im p le m e n t   m o r e   a d v a n c ed ,   i n t e r a cti v e  f ea t u r es  s u ch   as  o n e - on - o n e  v i r t u a l   tu t o r i n g   s i m u l ati n g   h u m a n - li k e  d i al o g u e  tai lo r e d   t o   t h e   s t u d e n t' s   lea r n i n g   r eq u i r e m e n ts   [ 3 ] ,   [ 3 9 ] ,   [ 4 8 ] ,   [ 4 9 ] .  Au t o m at ed   q u est io n - a n d - an s wer ,   w h e r e   s t u d e n ts   m a y   as k   f o l lo w - u p   q u est i o n s   a t  an y   t im e   [ 3 ] ,   [ 4 9 ] ,   [ 5 0 ] .  I n ter ac tiv e  co n ten t  g e n er atio n ,   e. g . ,   lear n in g   g a m es,  s ce n ar io s ,   an d   s im u latio n s   [ 2 4 ] .   E n ab lin g   s tu d en t   d is cu s s io n s   with   p r o m p ts   o r   in tellig en t  ag en ts   to   g u id e  th e  d is cu s s io n ,   an d   p r o v id in g   in s tan t  f ee d b ac k ,   r ep licatin g   a  tu to r ' s   p r o m p tn ess   d u r in g   lear n in g   ex e r cises   [ 1 5 ] ,   [ 4 5 ] .   Desig n in g   p r ac ti ce   ex er cises ,   e. g . ,   p er s o n alize d   q u izze s ,   lo g ic  p u zz les,  an d   r o le - p lay in g   s ce n ar io s   [ 1 5 ] ,   [ 4 5 ] ,   [ 4 9 ] ,   [ 5 1 ] .   Mim ick in g   tu to r - lik e   ac to r s ,   e. g . ,   c h atb o t - b ased   tu to r s   lik e  Nem o b o t,  wh ic h   p r o v id e  co n s tan t su p p o r t f o r   lear n in g   [ 5 2 ] .       T ab le  2 .   I m p lem en tatio n   o f   L L M  ap p licatio n s   ac r o s s   m ain   e d u ca tio n al  f u n ctio n alities   Ed u c a t i o n a l   f u n c t i o n a l i t y   LLM   a p p l i c a t i o n   P e r so n a l i z a t i o n   a n d   a d a p t i v i t y   –   G u i d e d   r e a d i n g   [ 3 5 ]   –   C o n t e n t   g e n e r a t i o n   [ 1 5 ] ,   [ 3 3 ]   –   A u t o ma t e d   p r o b l e m ref r a mi n g   a c r o ss  a c a d e m i c   d o m a i n s  [ 3 3 ]   –   En h a n c i n g   p e r s o n a l i z e d   l e a r n i n g   p a t h s  [ 1 5 ] ,   [ 3 8 ] ,   [ 3 9 ]   –   A u t o ma t e d   c r e a t i o n   o f   M C Q s  [ 4 0 ]   Ev a l u a t i o n   a n d   a sse ssm e n t   –   S mart  g r a d i n g   [ 3 8 ] ,   [ 4 1 ]   –   G e n e r a t i n g   v a r i o u s res o u r c e s ,   i n c l u d i n g   a ss e ssm e n t s   a n d   m u l t i m e d i a   c o n t e n t   [ 2 4 ] ,   [ 4 2 ]   –   P r o v i d i n g   a u t o ma t e d ,   p r o c e ss - o r i e n t e d   f e e d b a c k   t o   s t u d e n t s  [ 2 4 ] ,   [ 4 3 ]   –   S u p p o r t   g r o u p   c o n v e r sa t i o n s   [ 4 2 ] ,   [ 4 5 ]   –   a u t o m a t e d   c r e a t i o n   o f   M C Q s   [ 4 0 ]   –   LLM - d r i v e n   c l a ssr o o m fl i p p i n g   [ 4 6 ]   P r o f i l i n g   a n d   p r e d i c t i n g   –   I d e n t i f y i n g   s t u d e n t ’ s   c o m p r e h e n si o n   l e v e l   [ 3 ] ,   [ 4 7 ]   –   D e t e r m i n e   s u i t a b l e   t a s k s fo r   e a c h   l e a r n e r   [ 3 ]   –   S e n t i me n t   a n a l y si s   [ 4 3 ]   I TS   –   P r o v i d i n g   o n e - on - o n e   t u t o r i n g   f o r   st u d e n t s   [ 3 ] ,   [ 3 9 ]   –   A n sw e r i n g   q u e st i o n s  [ 3 ] ,   [ 5 0 ]   –   G e n e r a t i n g   i n t e r a c t i v e   c o n t e n t ,   f a c i l i t a t i n g   d i s c u ss i o n s ,   a n d   p r o v i d i n g   r e a l - t i me   f e e d b a c k   [ 2 4 ]   –   R e a l - w o r l d   p r a c t i c e   t h r o u g h   g e n e r a t i n g   p e r s o n a l i z e d   p u z z l e s,  q u i z z e s ,   a n d   r o l e - p l a y i n g   sce n a r i o s   [ 1 5 ] ,   [ 4 5 ]   –   F e e d b a c k   g e n e r a t i o n   [ 5 3 ]   –   S i mu l a t e   a   t u t o r - l i k e   e x p e r i e n c e   w i t h   a   c h a t b o t   l i k e   N e mo b o t   [ 5 2 ]       7.   CH AL L E NG E S AN D  F U T URE DI RE C T I O N S   R ec en t  s tu d ies  h av e  s h o wn   a  g r o win g   n u m b er   o f   r esear ch e r s   ex p lo r in g   th e  ap p licatio n   o f   L L Ms  in   ed u ca tio n   f o r   task s   lik e  ac ad e m ic  r esear ch ,   ass ess in g   k n o wled g e,   co u r s e  p lan n in g ,   an d   m o r e.   Ho wev er ,   m a n y   ch allen g es  an d   o p p o r tu n ities   r em ain   to   b e  ad d r ess ed .   Hav in g   ad d r ess ed   ea ch   c h allen g e  s e p ar ately ,   it’s  u s ef u l  to   p r o v id e  a  clea r er   v iew.   Fig u r e  4   s u m m ar izes th e  i d en tifie d   ch allen g es.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   3 ,  J u n e   20 26 :   2 1 4 1 - 2 1 5 2   2148       Fig u r e  4 .   Key   ch allen g es in   i n teg r atin g   L L Ms w ith in   ed u ca tio n al  co n te x ts   an d   e - lear n in g   s y s tem s       7 . 1 .     Student   m o delin g   B ef o r e  th e  ad v an ce m en t  o f   L L Ms,  s tu d en t  b eh av io r   m o d elin g   in   th e  d ee p   lear n in g   e r a  r elied   o n   s eq u en tial  m o d els  lik e  R NNs  an d   tr a n s f o r m e r s ,   wh ich   lac k ed   d ir ec t  s tu d e n t  f ee d b ac k   an d   o f ten   r esu lted   i n   o u tco m es  th at   wer e  d if f icu lt   to   in te r p r et.   T h e   in tr o d u cti o n   o f   L L M - b ased   e d u ca tio n al  s y s tem s   en ab les  s tu d en ts   to   ex p r ess   th eir   n ee d s   th r o u g h   d ialo g u e,   allo win g   f o r   th e   ex tr ac tio n   o f   p er s o n ali ze d   ch ar ac ter is tics   s u ch   as  to p ic  m aster y   a n d   lea r n in g   p r ef er e n ce s .   Mo r e o v er ,   L L Ms'   ab ilit ies  to   s im u late  h u m an   b e h av io r   an d   g en er ate  h u m a n - lik e  s am p les  o f f er   p r o m is in g   p o ten tial  f o r   en h an cin g   s tu d en t   s im u latio n s .   Fo r   s tu d en ts   with   lim ited   in ter ac tio n   r ec o r d s ,   L L M - b ased   s im u lato r s   ca n   g e n er ate  ad d itio n al  d ata ,   p r o v id in g   v alu ab le  i n s ig h ts   f o r   b etter   u n d e r s tan d in g   i n d iv i d u al  lear n er s   an d   im p r o v in g   e d u ca to r s '   teac h in g   s tr ateg ies  [5 1 ] .     7 . 2 .     Da t a   qu a lity   a nd   priv a cy   Priv ac y   o f   d ata  an d   p r iv ac y   o f   p er s o n al  in f o r m atio n   is   o n e  o f   th e  to p   co n ce r n s   with   u s in g   L L Ms   b ec au s e  u s in g   L L Ms  will  r eq u ir e  co llectin g   d ata  o n   lea r n er s   an d   teac h e r s   p er s o n al  a n d   lear n in g   d ata,   th er ef o r e  cr ea tin g   p r iv ac y   p r o t ec tio n   co n ce r n s   ar o u n d   d ata  c o llectio n .   Sch o o ls   an d   p r o g r a m s   m u s t p r o tect  an d   en s u r e  th e  p r i v ac y   o f   th eir   s tu d en ts /lear n er s   an d   e d u ca to r s   wh ile  p r o tectin g   a n d   s ec u r i n g   th e  d ata  th at  is   co llected .   Par en ts   an d   ed u ca to r s   ar e  also   cr itical  f o r   h elp in g   ed u ca te  ch ild r en   o n   d ata  p r i v ac y   an d   s af ety   an d   m an ag in g   r is k s   wh en   u s in g   L L Ms.  I n   r eg ar d   to   th e  c o llectio n   an d   u s e  o f   s tu d e n t  lear n in g   d ata  th er e  h av e  t o   b e  ap p r o p r iate  p r i v ac y   p r o tectio n s ,   th is   will  h elp   en s u r e  th at  s tu d en t  lear n in g   d ata  is   n o t  h ac k ed   an d   th at  d ata   is   n o t  u s ed   f o r   u n i n ten d ed   o u tco m es.  As  th e  wo r ld   is   en ter in g   an   u n u s u al  p er io d   o f   i n tellig en ce - ass is ted   ed u ca tio n ,   s ee n   th r o u g h   L L M  m o d els  lik e  C h atGPT ,   G PT - 4 ,   an d   Ma th GPT,   L L Ms  will  tak e  ed u ca tio n   b ey o n d   lim itatio n s   an d   we  n ee d   to   co n tin u e  to   f in d   m eth o d s   to   "tr ain "  L L Ms  m o r e  ef f ec tiv ely   an d   m ak e   im p r o v em e n ts   to   lar g e - s ca le  m o d els as a   wh o le  [5 4 ] .     7 . 3 .     T ec hn ica l c o m plex it y   L L Ms  ar e  b ec o m in g   in cr ea s in g ly   c o m p lex ,   with   c o m p u t atio n   tim es  f o r   s in g le - s tep   p r o ce s s es  in cr ea s in g   m o r e  th an   ten f o ld .   T ask s   th at  o n ce   to o k   a  f ew  h o u r s   to   tr ain   n o w  tak e  s ev er al  d ay s ,   with   th e  n ee d   to   m ain tain   a  o n e - d a y   lim it  f o r   test in g   s till   ess en tial.  T h e  co s t  o f   tr ain in g   lar g e,   g en er al - p u r p o s e  m o d els  is   s ig n if ican t  an d   escalate s   wh e n   o p tim izatio n ,   u p d ates,  an d   d ep lo y m e n t  ar e  i n clu d ed .   I n t eg r atin g   L L Ms  in to   ex is tin g   ed u ca tio n   s y s tem s   p r esen ts   s ig n if ican t  tech n ical  ch allen g es.  Sch o o ls   m a y   s tr u g g le  to   alig n   L L M   ca p ab ilit ies with   th eir   cu r r en t I T   in f r astru ctu r es,  wh ich   m ay   r eq u ir e  s ig n if ican t u p g r ad es a n d   cu s to m izatio n   to   s u p p o r t  t h ese  ad v a n ce d   tec h n o lo g ies.  I n   ad d itio n ,   C h atGPT ' s   r elian ce   o n   a  lar g e  n u m b er   o f   GPU  ch ip s   f o r   d ata  p r o ce s s in g   ad d s   f u r th er   c o m p lex ity   a n d   co s t to   d ep lo y m en t  [5 4 ] .     7 . 4 .     E ns uring   a ca dem ic  inte g rit y   L L Ms  p r o d u ce   tex t  th at  ca n   r iv al  o r   ev en   s u r p ass   h u m an   wr itin g   in   ter m s   o f   f lu en cy   an d   q u ality .   W h ile  th is   ar ticle  h ig h lig h ts   th eir   p o ten tial  in   ed u ca tio n al  co n tex ts ,   it   is   im p o r ta n t  to   r ec o g n ize  th at    o v er - r elian ce   o n   L L Ms  ca n   in h ib it  n atu r al  lear n in g   p r o ce s s es.  Usi n g   L L Ms  f o r   h o m ew o r k   h elp   is   ac ce p tab le,   b u t  r ely in g   o n   th em   to   co m p lete  task s   ca n   lim it  o p p o r tu n i ties   f o r   m ea n in g f u l  p r ac tice  an d   u n d e r s tan d in g .   Dete ctin g   L L M - g en e r ated   c o n ten t  is   ess en tial  to   p r ev e n t  ch e atin g   an d   m ain tain   ed u ca tio n a l  in teg r ity .   R ec en t   s tu d ies  h av e  i n tr o d u ce d   two   m ain   d etec tio n   s tr ateg ies:   s tatis tical  o u tlier   d etec tio n ,   wh ich   id en tifie s   v ar iatio n s   in   lin g u is tic  f ea tu r es,  an d   s u p er v is ed   class if ier s ,   wh ich   u s e   m ac h in e  lear n in g   alg o r ith m s   tr ain ed   o n   ex am p les   o f   b o th   h u m a n   a n d   L L M - g en er ated   tex ts .   As  L L Ms   ev o lv e ,   d etec tio n   m eth o d s   m u s t  also   e v o lv e,   in co r p o r atin g   s tatis tical  an aly s is ,   m ac h in e  lear n in g ,   a n d   p o t en tially   n ew  tech n iq u es  to   e f f ec tiv ely   d is tin g u is h   L L M  o u tp u t  f r o m   h u m a n - wr it ten   co n ten t  [5 1 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       N a vig a tin g   th e  n ew fr o n tier :   l a r g e  la n g u a g e  m o d els a n d   th e ir   imp lica tio n s   fo r   ed u ca tio n   ( La ila   B o u llo u s )   2149   7 . 5 .     M ulti - m o da l inf o r m a t io n in e du ca t io n   Mu ltimo d al  in f o r m atio n   in   e d u ca tio n   is   n o t  a   n o v el  p h e n o m en o n .   Fo r   ex am p le,   g e o m etr ic  wo r d   p r o b lem s   i n clu d e   im ag es  alo n g   with   tex t  a n d   tex tb o o k s   o f ten   u tili ze   tex t   in   c o n ju n ctio n   with   im ag es   f o r   a   co n ce p t  to o .   T h is   r ep r esen tati o n   an d   m u ltimo d al  alig n m en t   ar e  p a r t  o f   wh at  m ak es  an   in tellig en t  ed u ca tio n   s y s tem   o p tim al,   an d   u ltima tely   wh at  m ak es  a  m u ltimo d al  i n f o r m atio n   s y s tem   m o r e   r o b u s t.  T h e  m u ltimo d al   lan d s ca p e  is   r ap id ly   e v o lv in g ,   esp ec ially   f o r   L L Ms,  as  v ar i o u s   ar ch itectu r es  an d   p r etr ai n in g   task s   ar e  b ein g   estab lis h ed   as  well.   Ho wev er ,   ed u ca tio n al  co n tex ts   r ep r e s en t  a  u n iq u e   an d   co m p lex   ca s e  to   d ea l  with   m u ltimo d al  in f o r m atio n .   I m ag es  an d   tex t  in   th e  ed u ca tio n al  co n tex t  ar e  o f te n   v er y   p r ec is ely   alig n ed   with   o n e   an o th er .   Fo r   ex a m p le,   g eo m et r y   wo r d   p r o b lem s   ca n   h av e  v er y   s p ec if ic  in f o r m atio n   ab o u t  th e  p ar am eter s   o f   th e  g eo m etr ic  s h ap es  in   th e  im ag es  as  well  a s   ae s th eti c  d etails,  th at  r eq u ir e  eq u ally   p r ec is e  v er b al  r ep r esen tatio n   as  well.   T h e  m o d el  h as  to   b e  ab le  to   r ep r esen t  th e  im ag e  all  th e  in f o r m atio n   an d   d etails  co n v ey e d   in   th e  v is u al  m o d a lity .   C r o s s - m o d el  r ea s o n in g   i s   ty p ically   r eq u ir ed   f o r   e d u c atio n al  m u ltimo d al   in f o r m atio n   r ep r esen tatio n   an d   d atasets   d o   n o t  u s u ally   r ep r e s en t c r o s s - m o d al  r ea s o n in g   co m p lex ities .       8.   CO NCLU SI O N   T h i s   r ev i ew   g o e s   b ey o n d   h i g h - lev el   p r o m i s e s   an d   m ak e s   s p ec i f i c  s t at em en t s   o f   h o w  L L M s   ca n   b e  a   f o r ce   f o r   b e tte r   e - l ea r n in g ,   an d   wh a t  n ee d s   to   b e  m an a g ed ,   in   o r d er   to   d o   s o   r e s p o n s ib ly .   Fir s t,   o u r   ed u ca t io n - f o cu s ed   tax o n o m y   m ak e s   an   e x p l ic it   co n n ec tio n   b et wee n   L L M  ca p ab i li t ie s   an d   f o u r   p ed ag o g ic al   f u n ct io n s ,   wh ich   ca n   u s ef u lly   in f o r m   s e lec t io n   an d   e v alu at iv e  ef f o r t s .   Se co n d ,   o u r   d o m a in - b as ed   co m p ar i s o n   cla r if ie s   wh ich   s p ec i f i c  ar ea s   L L M s   h av e  u n am b ig u o u s   ad v an tag es  o v er   tr a d i tio n al  p ed ag o g i ca l   m o d el s   ( i. e. ,   n u an c ed   s en tim en t,  co n t ex tu a l  q u e s tio n   an s wer in g ,   an d   tr u e  ab s tr a ct iv e  s u m m ar iza t io n )   an d   h o w  th a t  m ig h t   m e an   b et ter   f ee d b ac k ,   g u id an ce ,   o r   s tu d y   s u p p o r t   f o r   le ar n er s .   T h ir d ,   w e  ag g r eg a te   s ix   s y s t em ic  t h r e at s   t o   th eir   u s e  ( co m p u ta tio n a l  co s t /c ar b o n ,   p r iv ac y   a n d   d a ta  g o v e r n an c e,   b i a s   an d   h al lu c in a tio n ,   wo r k f o r ce   ch a ll en g e s ,   m o d e l  o p a ci ty ,   an d   li m it s   o f   h u m an   j u d g m en t)   a s   d es ig n   o p p o r tu n i ti es   ( to   d e s ig n   f o r   p r iv a cy - by - d es ig n   d a ta   m an ag em en t ,   b ia s   a u d it s ,   v er if iab le  g r o u n d in g ,   e d u ca to r - in - th e - lo o p   o v er s ig h t,  an d   ex p la in ab i li t y   f o r   p ed ag o g i ca l  p r ac ti ce s ) .   F in a lly ,   o u r   r ef l ex iv e  m eth o d o lo g y   f o r   d o cu m en t in g   o u r   r ev i ew  p r o ce s s   an d   cu r a ted   b o d y   o f   d o cu m en t s   cr ea te s   a  li v in g   r e s o u r ce   f o r   r e ca p s ,   o r   p r ep ar in g   f o r   ad v an c e s   in   m o r e  s u b s t an t iv e  m o d e l d ev e lo p m en t,   p o l icy   r eg u la t io n s ,   o r   c la s s r o o m   p r a ct ic e.       ACK NO WL E DG M E N T S   T h e  au t h o r s   wo u ld   lik e  to   t h an k   th e  Ar tific ial   I n tellig en ce   an d   C o m p lex   Sy s tem s   E n g in ee r in g   L ab o r ato r y   ( E NSAM,   Hass an   I I   Un iv e r s ity )   an d   th e   Sm ar til ab   L ab o r ato r y   ( M o r o cc a n   Sch o o l  o f   E n g in ee r i n g )   f o r   th eir   s u p p o r t.       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  s u p p o r ted   b y   th e  Ar tific ial  I n tellig en ce   an d   C o m p lex   Sy s tem s   E n g in ee r in g   L ab o r ato r y   ( E NSAM,   Hass an   I I   Un iv e r s ity ,   C asab lan ca ,   Mo r o cc o )   an d   L a b o r at o r y   Sm ar tilab   ( Mo r o cc an   Sch o o l o f   E n g in ee r in g   Scien c es,  R ab at,   Mo r o cc o )       AUTHO R  CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th e  C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT)   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .       Na m e  o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   L aila  B o u llo u s   ✓   ✓   ✓     ✓   ✓   ✓   ✓   ✓   ✓   ✓     ✓     Mu s tap h a  Hain         ✓     ✓     ✓     ✓   ✓   ✓       Ad il C h er g u i   ✓   ✓     ✓     ✓         ✓     ✓       B r ah im   E lb h ir i     ✓         ✓         ✓     ✓         C   :    C o n c e p t u a l i z a t i o n   M   :    M e t h o d o l o g y   So   :    So f t w a r e   Va   :    Va l i d a t i o n   Fo   :    Fo r mal   a n a l y s i s   I   :    I n v e s t i g a t i o n   R   :    R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi   :    Vi su a l i z a t i o n   Su   :    Su p e r v i s i o n   P   :    P r o j e c t   a d mi n i st r a t i o n   Fu   :    Fu n d i n g   a c q u i si t i o n       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell ,  Vo l.  15 ,   No .   3 ,  J u n e   20 26 :   2 1 4 1 - 2 1 5 2   2150   CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h e  au th o r s   s tate  n o   co n f lict o f   in ter est.       I NF O RM E D  CO NS E N T   No t  ap p licab le.   T h is   s tu d y   d id   n o t   in v o l v e  h u m an   p ar tici p an ts ,   h u m an   d ata,   o r   a n y   p er s o n ally   id en tifia b le  in f o r m atio n .   All  d ata  u s ed   wer e  eith er   p u b licl y   av ailab le,   f u lly   an o n y m ize d ,   o r   d er i v ed   f r o m   n o n ‑ h u m an   s o u r ce s ,   an d   th er e f o r e  n o   in f o r m ed   co n s en t w as  r eq u ir ed   f r o m   in d iv i d u als.       E T H I CAL AP P RO V AL   N o t   a p p l i c a b l e .   T h is   r e s e a r ch   d i d   n o t   i n v o l v e   h u m a n   s u b j e c t s ,   h u m a n   b i o l o g i c a l   m a t e r i a ls ,   o r   e x p e r i m e n t a l   p r o c e d u r e s   o n   a n i m a l s .   T h e   w o r k   w a s   c o n d u c t e d   s o l el y   o n   c o m p u t a t i o n al   m o d e l s ,   p u b l i cl y   a v a i l a b l e  d a t as e ts ,   o r   n o n ‑ s e n s i ti v e   d a t a  t h a t  d i d   n o t   r e q u i r e   i n t e r v e n t i o n   w i t h   l i v i n g   o r g a n i s m s .   T h e r e f o r e ,   e t h i c a l   a p p r o v a l   f r o m   a n   i n s t it u t i o n a l   r e v i ew   b o a r d   o r   a n i m a l   et h i c s   c o m m i t t e e   w as   n o t   n e c e s s a r y   f o r   t h i s   s t u d y .       DATA AV AI L AB I L I T Y   As  th is   is   a  r ev iew  ar ticle,   a ll  d ata  u s ed   in   th is   s tu d y   we r e  r etr iev e d   f r o m   estab lis h ed   s cien tific   d atab ases   an d   ac ad em ic   ar ticles.  T h e  c o m p r e h en s iv e   lis t  o f   r ef er e n ce s   p r o v id e d   in   th is   m an u s cr ip t  c o n tain s   all  th e  n ec ess ar y   in f o r m atio n   an d   s o u r ce s   u tili ze d   f o r   t h e  an aly s is .   T h er e f o r e ,   d ata   av ailab ilit y   is   n o t   ap p licab le  to   th is   p ap er   as n o   n ew  d ata  wer e  cr ea ted   o r   a n aly ze d   in   th is   s tu d y .       RE F E R E NC E S   [ 1 ]   A .   V a sw a n i   e t   a l . ,   “ A t t e n t i o n   i s  a l l   y o u   n e e d , ”   i n   3 1 st   C o n f e re n c e   o n   N e u r a l   I n f o rm a t i o n   Pr o c e ss i n g   S y st e m s  ( N I PS   2 0 1 7 ) ,   2 0 1 7 ,   p p .   1 – 1 1 .   [ 2 ]   S .   C h a t t e r j e e ,   M .   B h a t t a c h a r y a ,   S .   P a l ,   S .   Le e ,   a n d   C .   C h a k r a b o r t y ,   “ C h a t G P T  a n d   l a r g e   l a n g u a g e   m o d e l s  i n   o r t h o p e d i c s :   f r o m  e d u c a t i o n   a n d   s u r g e r y   t o   r e se a r c h , ”   J o u r n a l   o f   E x p e ri m e n t a l   O r t h o p a e d i c s ,   v o l .   1 0 ,   n o .   1 ,   Ja n .   2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s4 0 6 3 4 - 023 - 0 0 7 0 0 - 1.   [ 3 ]   Y .   K .   D w i v e d i   e t   a l . ,   “ O p i n i o n   p a p e r :   ‘ S o   w h a t   i f   C h a t G P T  w r o t e   i t ? ’   M u l t i d i sc i p l i n a r y   p e r s p e c t i v e s  o n   o p p o r t u n i t i e s,  c h a l l e n g e s   a n d   i mp l i c a t i o n s   o f   g e n e r a t i v e   c o n v e r sa t i o n a l   A I   f o r   r e sea r c h ,   p r a c t i c e   a n d   p o l i c y , ”   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o rm a t i o n   Ma n a g e m e n t ,   v o l .   7 1 ,   A u g .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . i j i n f o mg t . 2 0 2 3 . 1 0 2 6 4 2 .   [ 4 ]   E.   Y .   Z h a n g ,   A .   D .   C h e o k ,   Z.   P a n ,   J .   C a i ,   a n d   Y .   Y a n ,   “ F r o m  t u r i n g   t o   t r a n sf o r mers :   a   c o mp r e h e n s i v e   r e v i e w   a n d   t u t o r i a l   o n   t h e  e v o l u t i o n   a n d   a p p l i c a t i o n s   o f   g e n e r a t i v e   t r a n sf o r m e r   m o d e l s, ”   S c i ,   v o l .   5 ,   n o .   4 ,   D e c .   2 0 2 3 ,   d o i :   1 0 . 3 3 9 0 / sc i 5 0 4 0 0 4 6 .   [ 5 ]   D .   Q i u   a n d   B .   Y a n g ,   “ Te x t   s u mm a r i z a t i o n   b a s e d   o n   m u l t i - h e a d   s e l f - a t t e n t i o n   me c h a n i sm   a n d   p o i n t e r   n e t w o r k , ”   C o m p l e x   &  I n t e l l i g e n t   S y s t e m s ,   v o l .   8 ,   n o .   1 ,   p p .   5 5 5 – 5 6 7 ,   F e b .   2 0 2 2 ,   d o i :   1 0 . 1 0 0 7 / s 4 0 7 4 7 - 0 2 1 - 0 0 5 2 7 - 2.   [ 6 ]   Z.   A h m e d ,   S .   S .   S h a n t o ,   a n d   A .   I .   Jo n y ,   “ P o t e n t i a l i t y   o f   g e n e r a t i v e   A I   t o o l s  i n   h i g h e r   e d u c a t i o n :   e v a l u a t i n g   C h a t G P T’ s v i a b i l i t y   a s  a   t e a c h i n g   a ssi s t a n t   f o r   i n t r o d u c t o r y   p r o g r a mm i n g   c o u r s e s, ”   S T EM   Ed u c a t i o n ,   v o l .   4 ,   n o .   3 ,   p p .   1 6 5 – 1 8 2 ,   2 0 2 4 ,     d o i :   1 0 . 3 9 3 4 / s t e m e . 2 0 2 4 0 1 1 .   [ 7 ]   J.  D e v l i n ,   M . - W .   C h a n g ,   K .   L e e ,   a n d   K .   T o u t a n o v a ,   “ B ER T :   p r e - t r a i n i n g   o f   d e e p   b i d i r e c t i o n a l   t r a n sf o r m e r s  f o r   l a n g u a g e   u n d e r s t a n d i n g , ”   i n   Pr o c e e d i n g s  o f   t h e   2 0 1 9   C o n f e r e n c e   o f   t h e   N o rt h ,   2 0 1 9 ,   p p .   4 1 7 1 – 4 1 8 6 .   d o i :   1 0 . 1 8 6 5 3 / v 1 / N 1 9 - 1 4 2 3 .   [ 8 ]   A .   R a d f o r d ,   K .   N a r a s i mh a n ,   T.   S a l i man s ,   a n d   I .   S u t s k e v e r ,   “ I mp r o v i n g   l a n g u a g e   u n d e r st a n d i n g   b y   g e n e r a t i v e   p r e - t r a i n i n g , ”   O p e n AI ,   2 0 1 8 .   [ 9 ]   W .   A l i   a n d   S .   P y y sa l o ,   “ A   su r v e y   o f   l a r g e   l a n g u a g e   m o d e l s fo r   E u r o p e a n   l a n g u a g e s,”   A u g .   2 0 2 4 ,   a r Xi v :   2 4 0 8 . 1 5 0 4 0 .   [ 1 0 ]   K .   S .   K a l y a n ,   “ A   s u r v e y   o f   G P T - 3   f a mi l y   l a r g e   l a n g u a g e   m o d e l s   i n c l u d i n g   C h a t G P T   a n d   G P T - 4 , ”   N a t u ra l   L a n g u a g e   Pro c e ss i n g   J o u rn a l ,   v o l .   6 ,   M a r .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . n l p . 2 0 2 3 . 1 0 0 0 4 8 .   [ 1 1 ]   H .   F a n ,   B .   L i ,   Y .   W e n g ,   a n d   S .   Z h o u ,   “ S mal l   b u t   m i g h t y :   e n h a n c i n g   t i me   s e r i e s  f o r e c a st i n g   w i t h   l i g h t w e i g h t   LL M s, ”   T h e   J o u rn a l   o f   S u p e rc o m p u t i n g ,   v o l .   8 1 ,   n o .   8 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 0 7 / s 1 1 2 2 7 - 025 - 0 7 4 9 1 - 5.   [ 1 2 ]   K .   Z h o u ,   M .   C o n st a n t i n i d e s,   a n d   D .   Q u e r c i a ,   “ S h o u l d   L LM s   b e   W EI R D ?   e x p l o r i n g   W EI R D n e ss  a n d   h u m a n   r i g h t si n   l a r g e   l a n g u a g e   m o d e l s, ”   i n   Pr o c e e d i n g s   o f   t h e   Ei g h t h   A AAI/A C M   C o n f e r e n c e   o n   AI ,   Et h i c s,   a n d   S o c i e t y   ( AI ES 2 0 2 5 ) ,   2 0 2 5 ,     p p .   2 8 0 8 – 2 8 2 0 .   [ 1 3 ]   H .   Y a n g ,   X . - Y .   Li u ,   a n d   C .   D a n   W a n g ,   “ F i n G P T:   o p e n - s o u r c e   f i n a n c i a l   l a r g e   l a n g u a g e   m o d e l s, ”   S S RN   El e c t ro n i c   J o u rn a l ,   2 0 2 3 ,   d o i :   1 0 . 2 1 3 9 / s sr n . 4 4 8 9 8 2 6 .   [ 1 4 ]   K .   S i n g h a l   e t   a l . ,   “ T o w a r d   e x p e r t - l e v e l   m e d i c a l   q u e s t i o n   a n sw e r i n g   w i t h   l a r g e   l a n g u a g e   m o d e l s , ”   N a t u re   M e d i c i n e ,   v o l .   3 1 ,   n o .   3 ,   p p .   9 4 3 – 9 5 0 ,   M a r .   2 0 2 5 ,   d o i :   1 0 . 1 0 3 8 / s4 1 5 9 1 - 024 - 0 3 4 2 3 - 7.   [ 1 5 ]   S .   P a n g ,   E .   N o l ,   a n d   K .   H e n g ,   “ C h a t G P T - 4 o   f o r   E n g l i sh   l a n g u a g e   t e a c h i n g   a n d   l e a r n i n g :   f e a t u r e s,  a p p l i c a t i o n s,  a n d   f u t u r e   p r o s p e c t s , ”   S S RN   El e c t ro n i c   J o u r n a l ,   2 0 2 4 ,   d o i :   1 0 . 2 1 3 9 / ssr n . 4 8 3 7 9 8 8 .   [ 1 6 ]   E.   P u l s,   M .   T o d e sc a t o ,   a n d   J.  C a r b o n e r a ,   “ A n   e v a l u a t i o n   o f   p r e - t r a i n e d   m o d e l s   f o r   f e a t u r e   e x t r a c t i o n   i n   i m a g e   c l a ss i f i c a t i o n , ”   i n   Pro c e e d i n g s  o f   t h e   2 6 t h   I n t e r n a t i o n a l   C o n f e re n c e   o n   E n t e r p r i se  I n f o rm a t i o n   S y st e m s ,   2 0 2 4 ,   p p .   4 6 5 – 476 ,     d o i :   1 0 . 5 2 2 0 / 0 0 1 2 6 2 2 3 0 0 0 0 3 6 9 0 .   [ 1 7 ]   G .   V a l i y e v ,   P .   E l e s ,   A .   K o k ,   a n d   R .   D ’ Er c o l e ,   “ C o m p a r i s o n   o f   t r a n sf o r m e r   mo d e l s  f o r   p e r f o r ma n c e   o n   d o mai n   s p e c i f i c   t e x t s:   a   sy st e ma t i c   e v a l u a t i o n   o f   i n t r i n si c   m o d e l   p e r f o r m a n c e , ”   i n   2 0 2 3   I n t e r n a t i o n a l   C o n f e re n c e   o n   Mi l i t a r y   C o m m u n i c a t i o n s   a n d   I n f o rm a t i o n   S y st e m s (I C MC I S ) ,   M a y   2 0 2 3 ,   p p .   1 – 6 ,   d o i :   1 0 . 1 1 0 9 / I C M C I S 5 9 9 2 2 . 2 0 2 3 . 1 0 2 5 3 4 9 1 .   [ 1 8 ]   T.   V .   Q .   L e ,   N .   P .   N g u y e n ,   T. - C .   D u o n g ,   A . - C .   Le ,   V . - C .   N g u y e n ,   a n d   V . - H .   N g u y e n ,   “ En h a n c i n g   r e a d i n g   c o mp r e h e n s i o n   o f   V i e t n a m e se   L LM s   w i t h   sy n t h e t i c   d a t a , ”   i n   2 0 2 4   1 6 t h   I n t e r n a t i o n a l   C o n f e ren c e   o n   K n o w l e d g e   a n d   S y st e m   E n g i n e e ri n g   ( K S E) ,  N o v .   2 0 2 4 ,   p p .   3 2 7 – 332 ,   d o i :   1 0 . 1 1 0 9 / K S E6 3 8 8 8 . 2 0 2 4 . 1 1 0 6 3 5 2 3 .   Evaluation Warning : The document was created with Spire.PDF for Python.