Int ern at i onal  Journ al of E valua tio n  an d  Rese arch  in  Educati on (I JE RE)   Vo l.   8 , No .   3 ,  Septem ber   201 9 , p p.   392 ~ 400   IS S N: 22 52 - 8822 ,  DOI: 10 .11 591/ ije re . v8 i 3 . 20245          392       Journ al h om e page :  http: // ia es core .c om/ journa ls /i ndex. ph p/IJE R E   How  d oe s  p ortf oli o  a ssess  i nterpro fess i onal  l earning   am ong   m edical  and  m idwife ry  s t ud ents ?         Bul an   Kakani ta Herm asari 1 ,  G an de s Retn o Raha yu 2 ,  M ora C l arami ta 3   1 Depa rt m ent   of  Medic a l  Edu cati on,   Univer si ta s  Sebel as  Mar et,  I ndonesia   2,3 Depa rt m ent of   Medical   Educat ion  and   Bioethi c s,  Univer sit as  G adj ah   Mada ,   Ind onesia       Art ic le  In f o     ABSTR A CT   Art ic le  history:   Re cei ved   J un   14 , 2 01 9   Re vised  A ug 1 0 , 2 01 9   Accepte d  Aug 2 3 , 201 9       Top - qualit y   m aterna l  he alth  ca r e   req uire s  m idwife r y   and  m edi cal  student s  to  work  toge the r   in  m ult idi sci pli nar y   in te rpr ofe ss iona l  edu c at ion  (IPE) .   Achie ving  IPE  l ea rning  competenci es  req u ire s  i nte rprofe ss ional   assess m ent   m et hods;  one  such  is  portfol io .   Stud y   on  por tfol io  as  in te rp rofe ss ional   assess m ent   is  li m it ed.   T o  ev a lua t e  interprofes sional   cor e  co m pet enc i es  il lustrated  b y   IPE  portfolios.   A  qual itati v e  d esign  using  content  ana l y sis  t o   eva lu at e   portfo lios   of  m idwife r y   and  m edi c al  stud ent s  a tt end ing  th ree   we eks’   int erp rof essional  le arn ing  in  an  I ndonesia n  univers ity .   Sixt y   po rtf oli os  were   ana l y z ed  for  fou r  IPE  cor e  compete n ci es.   Fif te en   open - ende d  que stionna ir es   were   col l ecte d   to  conf irm  the   dat a  and  furthe r  expl or e  issues.   Four  int erp rof essional  cor e  compete n c ie s  were   il lustr ated  in  portfo li os.  W hil e  on l y   thre e  portfo li os  cont a ine d  object ive   evi d ence  of  le arn ing,   over   t wo - thi rds  of   student s  c ould  pla n  appr opr ia t e ,   conc r ete  work  base d  on  inter profe ss iona l   le arn ing.   Th e  result s  indi c at e  t hat   the   portfo lio  assess es  int erp rofe ss ional   le arn ing  with  st udent   ref lecti ons   tha t  il lustr ate  t he  ac h ie v ement  of  four  IPE   cor e  compet encie s.  Th e  validity   of  th is  comp et en c y   ac h ie v e m ent   is  al so  supported  and  c onfirmed  b y   th e evi den ce   of  l ea r ning  and  subs eque nt  learni ng   pla ns.  Furthermore,   portfolios  al so  ca n  enc oura ge  the   student s  to  pre par e  a   conc re te  and  appr opriate   work  pla n  or  s tud y   pl an  for  student s’  int erp r of essional l e arn ing .   Ke yw or d s :   Assessm ent   In te r pro fessio na l   Me dical   Mi dw ife ry   Po rt fo li o   Copyright   ©   201 9   Instit ut e  o f Ad vanc ed   Engi n ee r ing  and  S cienc e .    Al l   rights re serv ed .   Corres pond in g  Aut h or :   Bulan  Ka kan it a H e rm asari,    Dep a rtm ent o f M edical   Ed uca ti on ,   Un i ver sit as  Se belas Ma ret,   Ir .  S utam i   street   No.36 A Kent ing a n,   Jeb res,  Su r aka rta 57 126,   I ndonesi a.   Em a il : dr .bula n.kak a nita@st aff . uns.ac .id       1.   INTROD U CTION   High - qual it y  m idwifer y  car e  has  an  im po rtant  an d  gro w ing   r ole  in  i m pro ving  the  he al th  sta tus  of  m oth ers  and   c hildr e n,   es peci al ly   in  the  pr im ary  healt h  care  set ti ng .   [ 1]   I n  this  set ti ng ,  m idwiv es  are  e xp ect e d  to  eff ect ively   work   i n  inter di sci plinary  te am s   integrated  acro s s  healt h  centers  a nd   c om m un it y  set t i ng s .   [ 2]   Ther e f or e,   one   i m po rta nt  co m petency  is  to  be  a ble  to  w ork  c ollaborat ive ly   with  ot her   he al th  pro fessio nals,  i n  order  to  im pr ove  healt h  ca re  for  wo m en  an d  fam ilies.   [3]   T o  s upport  t hat  go al   t hro ugh  m idwifer y  e ducat ion,   m idwifer y  stu de nts  are  inc rea sing ly   en ro ll ed   in  an  in novati ve  f or m   of   I nt erprofessi on al   Ed ucati on   (IP E).   [ 4]   Pr ese ntly ,  how ever,  there  are   relat ively   few   stud ie s  on   te chn i qu e s  for  the  assessm e nt  of   interp r of es sion al   le arn in g betwe en  m idwifer y s tud e nts a nd stu den ts  in othe r heal th  prof e ssion s .   Learn i ng   asse s sm ent   m us t  no t  on ly   te st  the  achievem ent  of   le arn in g  ob j e ct ives  bu t  al so  su pport   the  le arn in g  proce ss  and   pr ov i de   feed bac k  to  stud e nts  relat ed  to  their  progre ss  in  achievin g  the  ob j e ct ives .  This  app li es  al so   in  assessi ng  in te rp r ofessi onal   com petences.  Sever al   stu dies  hav e  re por te d  on   the  le arn i ng  assessm ent  syst e m s.   [5 - 8]   one   su c h  a ppr oac h  is  t he  us e  of  ref le ct ive   port fo li os.   [9]   T his   ap proac h  has  bee n  widely   use d  i n  var i ou s   le ve ls  an d  co nte xts  of  e ducat ion,  incl ud i ng  m idwifer y  e du cat io n   [ 10 - 13]   a nd   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  E val & R es Educ .     IS S N:  22 52 - 8822       Ho w  does  port foli o  asse ss i nterprofe ssio na l   le ar ni ng o f  me dical  and ...   ( Bulan K akanita  Hermas ar i )   393   edu cat io n  for  oth e r  healt h  pr of essi ons.   [ 14]   Howe ver,  re ports  on   portf ol io  us e  i n  inter prof e ssio nal  le arn i ng,  betwee n  m idwifer y a nd o t her  healt h p r of e ssion stu de nts,  a r e lim it ed   [9 , 1 5] .   To  asse ss  the   e ff ect ive ness  of   portf olios  f or   te sti ng   I PE  le a rn i ng   ob j ect ive s,  eval uatio n  a nd  le ar ning  are  need e d  [16,   17]   to  e nsu re  that  t he  por tfolio  is  reli ab le   and  acco unta ble.   [18]   IPE   ref le ct ive  por tfolio   evaluati ons  w ere  co nducte d  by  Do m ac  et   al .,   [9]   w ho  con cl ud e d  that   stud e nt  ref le c ti on s  in  the  portf olio  accuratel y  des cribe  their  I PE   achievem ent  and   c om petence  dev el opm ent.  In   fact,  t he  portf olios  as  ge ner al ly   con cei ved   c onsist   no t  on ly   of  ref le ct ion   but  al so   show  m ea su ra ble  evide nc e  of   le arn i ng   and   work   plan s  to  be   able  to  desc rib e  the  ac hieve m ent  of   com petence.   [10,  11 ,  14,   19,   20]   T her e fore,   this  s tud y  a naly zed  entire   par ts   of  st ud e nt s’  portf olio  to   assess   the  por tfolios ’  a bili ty   to  prom ote  m i dw i fer y  st ud e nt s’  I PE  le a rn i ng.  I n  add it io n,   i n  c ontrast   with  othe r  stu dies,  t his   stud y  e valuat ed  the   achie ve m ent  of   IP E   c om petencies  ba sed  o n  four co r e c om petencies p rovi de d by I PEC   [ 4] .       2.   RESEA R CH MET HO D   This  stu dy  w as  qual it at ive  researc h   t hat  involve d  cal culat in g  t he  f reque ncy  of  ind ic at io ns   of   do m inance  or  powe r  over  a  par ti cula r  issu e  us in g  co nten t  analy sis  te chn iq ues   [ 21,  22] .   The  m a te rial  was  60   portf olios  of  m edical   stu den ts   an d  m idwifery   stud e nts  who   took  t he  i nter prof e ssio nal  le arn i ng  m od ule   in  th e   Faculty   of   M edici ne,   Un i ve rsita s  Sebelas   Ma ret,  Su ra ka rta,  I ndon esi a,  in  Jan uar y - Februa ry  2016 .  This  interp rofessi onal   le arn in g  wa s  ta ken  by  5  unde r gr a du at e  m edical   stud e nt s  and  10  unde rgraduate   m idwifer y   stud e nts  in  the  con te xt  of  m at ern al   and   child  healt h  s erv ic es.  T he  inter prof es sio na l  le arn ing   po rtfo li os   consi ste d  of  f our  sect ions:   on e  is  co rr es pond ing   t o  eac h  of  weeks  1  to   3  a nd  one  c onta in ing   final  ref le c ti on s.  Nex t,  f ur the r  e xp l or at io n of  a ll  1 5  stu de nts’ si tuati on   was  done  t o  co nfi rm  the r es ults of  t he  po rtfo li o an al ysi s.   Ex plo rati on  u s ed  a  quest io nnai re contai n in g o pen - e nd e d q uestio ns .   This  st ud y  us e d  c od i ng  guide li nes  de velo pe d  by  the  a ut hor  based  on  t he  four  co re  c ompete ncies   of   IP E  set   by  I P EC   [4]   an d  f our  portf olio  as sessm ent  crit eria:   the  le vel  of   ref le ct io n,   th e  qu al it y  of   le arn i ng   evide nce,  t he u se of  releva nt refere nces,  and  the quali ty  o f  the  wor k plan.   The  data  we r e  colle ct ed  by  gathe rin g  a nd  c op yi ng  st udents ’  portf olios,  us i ng   a  to ta l  sa m pling  m et ho d  be caus e  the  ov e rall   am ou nt  of   data  app ea re d  ap propriat e  for  the   purpose  of  th e  stud y.  T he  con te nt   analy sis  te ch niq ue   wa s  us ed .   Co ding  was  pe rfor m ed  by  t hr ee   m edical   edu cat io n  ex pert s.  I niti al ly ,  the  first   cod e r  a naly zed   four  por t fo li os  of   m edical   stud ents  a nd  ei ght   portf olios  of   m idwifer y  stu de nts,  a nd   t hen  dr e w   up   a  li st  of   c odes  and   a  c od i ng  schem e.  The se  wer e  s har e d  with  two  oth e r  co der s ,  w ho   us e d  them   to  a naly ze  the  sam e  do cu m ent  analy zed   by  the  first  c od e r,   a nd  the n  the  agr e em ent  was  cal culat ed  am on g  the  resu lt s  (k a ppa>0 .78).  Fu rt her m or e,   the  c od e rs  a nal yz ed  the  rem a ining  po rtfo li o  docum ents  in   su ccessi on  to   form   cod e s, gr oups,  cat egories, a nd  d e rive  m eanin gs .   Ethic al   cl earance  was  iss ue d  by  the  et hics  com m itt ee  of   the  Moewa rd i  H ospit al   (N o.   56 / I/HREC/ 20 16).  The   stu de nts  had  bee n  i nfor m ed  that  pa rtic ipati on   i n  this  stu dy  w as  vo l un ta ry  an d  woul d  no t a ff ect  t heir final  c ourse  m ark s .       3.   RESU LT S   A ND AN ALYSIS   A  total   of   60  portf olios  we r e  analy zed  by   the  three  c oders,   a nd   15   stud e nt  quest io nnai res  were   colle ct ed  a nd a naly zed. The  c har act erist ic s  of r e spo nd e nts a re show n  in  Ta ble 1.       Table  1.  C har a ct erist ic s o f  s tu den ts   Prof ess io n   Gen d er   Total   Ag e r an g e   (y ea rs)   Male   Fe m ale   Medicin e   2   3   5   23 – 24   Midwif ery   -   10   10   20 – 21   Total   2   13   15   Mean 2 1 .5       3.1.   Portf olio  a n aly sis   Table  2  sho ws  a ll   the  cor e  com petencies  of   IP E - I nter prof e ssion al   Ethic s,  Roles  and   Re s pons i bili ti es,  In te r pro fessio na l  Co m m un ic at ion ,  an d  Tea m s   and   Team work - as  po rtra ye d  in  the  stud ents ’  ref le ct ion s  in     their  portf olios .           Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8822   In t.   J .   Eval .   &  Re s .   E du c .  Vo l .  8 , No .  3 ,  Sept e m ber   2019 :  392   -   400   394   Table  2.   Four I PE  c or e c om petencies i ll us trat ed  in  the  port fol io   IPE  Co re  Co m p ete n cies   W eek 1   W eek 2   W eek 3   Fin al Ref lectio n   Total   Percentag e   Valu es an d  E th ics  (VE )   25   31   30   36   122   23   Ro les an d  Resp o n s ib ilities (RR)   30   34   21   20   105   20   Interpro f ess io n al Co m m u n icatio n  ( CC )   30   50   43   24   147   27   Tea m s  and  T ea m w o rk (T T )   33   49   44   31   157   30   Total   531         Figure  1  s how s  the  f re qu e nc y  of   t he  em erg ence   of  inte r prof e ssio nal   c or e  c om petenc ie s  in  stu de nt   ref le ct io ns   in  t he  IPE  port fo li os .  All  codes  f or   c om po ne nts   of   inte rpr of es sion al   c or e  c om petencies  of   Values   and  Ethic s   an d  of  I nter pro fes sion al   C omm u nicat ion s   we re   ref le ct e d  by  the  st ud e nts.  H ow e ve r,   not  al l  code   com petencies   of   c ore  c om petencies  of  R oles  an d  Re s ponsi bili ti es,  and   Team   and   Tea m wo rk   a ppear ed  on   stud e nt r e flect ion.           Figure  1. Fr e quency  of a pp ea ran ce  of inte rprofessio nal c ore com petencies i n portf olio  refl ect ion       The  quotati ons   fr om   stud ent  r eflect ion s  on  th e  m os t  do m inant  cod e  f r om  ‘V al ues  an d  Ethic s  (V E ) ’   com petency ar e ex plaine d  in   Table  3.       Table  3.   A naly sis of  re flect io ns   on inter pro f essional  valu es  and ethics   ( V E)  c om petency com po ne nts   Co d e   Co m p o n en t   Qu o tatio n s f ro m  St u d en t Ref lectio n s   VE5   W o rkin g   clo sely  with   th e  p eo p le  wh o   rece iv e   treat m en t,  c are   g iv ers,  an d   o th ers  wh o   co n tribu te to o r  su p p o rt  d iseas e preven tio n  and  h ealth  car e   “ At  th is   stag e,  w e  m eet  stak eh o ld ers  f ro m   th e  KL  v illag e…we  (also )   m e et  with   Mr s.   RW  an d   cadre s  to   m e et  with   th e  h ead  o f  th e  n eig h b o rh o o d   t o   ask   f o r  p er m iss io n   to   b e  ab le  to   r ecord   th e  citizen s,   id en tif y  the p rob lem s  r elated to  the h ealth  of   m o th ers  a n d  child ren.” ( M2)   “ W h at  h ap p en s  d u ring   th e  week - II   is  actu ally   m o re   lead in g   to   th e   ev alu atio n   o f   co o rdin atio n   b etween  th e  stu d en ts  (jun io r  d o cto rs  an d   m id wiv es)  -   IP E  T ea m   -   su p ervis o r  o f   m id wif er y - h ealth  center”  (M 1 4 )   VE7   De m o n strate   eth ical  stan d ards   a n d   h ig h - q u ality   serv ices   related  to   a   p erso n ’s  co n tribu tio n  to team - b ased  ca re   “ …we  ask   Mr s.  A   f o r  ap p rov al  [ so ]  we  can  co m e  ag ai n   to m o r row  with   th e su p ervis o r.  M r s. A  f in ally  is willi n g  that we co m e  a g ain ….”  ( M2)   “ Becau se  to   d ig   u p   in f o r m atio n   o n   p atien ts  requ ire s  g o o d   eth ics   an d   h o n esty  esp ecially   at  th is  stag e  with   th e  v isit  to   o u r  c lien ts’  h o u se  we  sh o u ld  brin g  ethical  m an n e rs  m o re  to  ex p lo re  p atien t info r m atio n ” ( M12 )   “ Health   wo rkers  m u st  h av e  a  g o o d   attitu d e  esp ecially   p o lite  in   sp eech ,  actio n  and  deter m i n e r u les an d  r eg u la tio n s o f  a  p articular  are a”  (M 6 )       Fu rt her   ex plor at ion   of   st ud e nts’  op i nions  and   le a rn i ng  thr o ugh  the  qu est ionnaire  re vealed  w hy   com petence  com po ne nts  V E9  a nd  VE 8  em erg ed  onl y  ver y  in fr e quently   in  a nal ysi s  of   t he  portf oli o  ref le ct io ns .  St ud e nts  sta te d  that  com po ne nt   VE8,  “Acts  with  ho nesty   and   i nteg rity   i n  relat io nships   wit h  Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  E val & R es Educ .     IS S N:  22 52 - 8822       Ho w  does  port foli o  asse ss i nterprofe ssio na l   le ar ni ng o f  me dical  and ...   ( Bulan K akanita  Hermas ar i )   395   patie nts,  fam ili es,  a nd   ot her  te a m   m e m ber s,”  need e d  not  be  wr it te n  i n  t he  portf olio  but  w as  ne ve rtheless   ve ry   i m po rtant t o  i m ple m ent.     “I   t hin k  t he  c ause  is  t he  c ompone nt  is  no t  v ery  pro mine nt  in  the  sense   not  co ns i dere d  too   necess ar y   to  be  wri tt en   in  the  po rtf olio.  B ut  in  fact   i n  the  pr ac ti ce  durin g  the   le ar ni ng I PE  is  sti ll  a lw ays us ed”. ( M1 5)     “Beca us e   ho ne sty   is  do ne  i n  acc or da nce  wi th  eac h  per so n’s   per son alit y  and  c an  be   seen  in   the  wri ti ng   of  the  res pe ct iv e  po rtf olio   so   I  thi nk  the  po i nts  ho nesty  do e s  not  need  to b e  wri tt en.   As for  integrit y , a ll  is  goin g a ccor ding to  p l an th at exist s”.   ( M11 )     On e  of  the  stu den ts  al s o  sta te d  a  reas on  w hy  com po ne nt   VE 9,   “M ana gi ng   a n  et hical   dilemm a  on  interp rofessi onal   care  centere d  on  th e  sit uation  of  the  patie nt/pop ulati on,”   did   not  show  up :   beca us e  th ey   felt   there  was n o  s pecial  ethica l d il e m m a that oc curred  du rin g  t he  le ar ning.     “Beca us e  the  stud e nts  wh o  pa rti ci pate   in  the  IPE  progr am   ar e  alrea dy   in  the  fi na l   semester  or   cl i nical  r ota ti ons,   I  thi nk  they   ha ve  bee n  ab le   t o  m anage  et hic al   dile mmas  so  tha t t hey t he  et hical thin gs  wi ll  n ot b e  highli gh te d  by m an y  stud e nts in  the  po rtf olio.  T he n  also i t seems  th ere was  no spe ci al ethical  pro blem d ur in g IP E yeste rday” . (M1 0)     The  quotati ons   from   stud ent  r eflect ion s on  the  m os t  do m inant  co de  f r om   ‘Ro le s  a nd   Re s pons i bili ti es  (RR)’  co m petency are  explai ne d  in  Ta ble 4.       Table  4.   A naly sis of  re flect io ns   on roles a nd  r es pons i bili ti e s  (RR)  com petency com pone nts   Co d e   Co m p o n en t   Qu o tatio n s f ro m  St u d en t Ref lectio n s   RR4   Clarif y   th e  roles   a n d   resp o n si b ilities  o f  o th er  serv ice  p rov i d ers  an d   h o w  tea m s   wo rk to g eth er  to  pro v id e ca re.   “ I  as  a  m id wif e  h elp   d eliv er  th e  role,  f u n ctio n s  an d   d u ties  o f   th e  m id wif e  in   th e  cas e…d istrib u tio n   o f   wo rk  accord in g   to   th e  au th o rity   o f  eac h  pro f ess io n .”  (M 4 )   “ …I  a m   d e m an d ed   to   k n o w   t h e  role  o f   m id wiv es  an d   k n o win g   it   can  h elp   m e  u n d erstand   th e  b o u n d aries  b etween  th e  role s  a m o n g   th e  p rof ess io n s in  work in g  tog eth er. ” ( M 9 )   RR3   Related   to   d iv erse  h ealth   p rof ess io n al s  th at  co m p le m en t   o n e’s  p erso n al  p rof ess io n al  sk ill s,  as  well  as  t h e  ass o ciated  reso u rces,  to   d ev el o p   strateg ies  to   m eet  t h e  n eeds   o f   s p ecif i c  p atien t car e.   “ …wh at  p rob le m   th at  th e  so lu tio n   is  accord in g   to   o u r  resp ectiv e  co m p et en ces.”  (M 1 0 )   “ W e  v isit  o u r  p at ien ts  in   th e  KL   v illag e.  Di rectl y   g o in g   to   th eir   h o u ses   t o   p erfo r m   an a m n esis   with   su p ervis o r  co m m u n ity   an d   h ealth   cent ers,  an d   o u r  le ctu rer   Mr s.  R .  The   h ealth   cent er  is  v e ry   su p p o rtive  o f   o u r  p roject…”  (M 1 2 )“ It’ s  n o t  ab o u t  m y   jo b ,  o r  it’s  y o u r  jo b ,  b u t   to g eth er  to  so lv e the p rob le m s  ( p atie n ts)” ( M14 )       Com po ne nt  RR 8  di d  no t  a rise  beca us e  t he   subj ect   of  this   stud y  was  st udents  a nd  they   ha d  no t  ye t   beco m e  real  he al th  pro fessio nals.  T he refor e ,  com petency  r el at ed  to  prof e ssion al   de velo pm ent  or   c onti nui ng   interp rofessi onal  learnin g was  not ap plica ble.   Table  5   sho ws  the  quota ti on s  from   st ud e nt  ref le ct ion s  on   the  m os t   do m inant  cod e  from   ‘Inter prof es sio nal Com m un ic at ion   (CC)’  com petency.       Table  5.   A naly sis of  re flect io ns   on inter pro f essional c omm un ic at io n  (CC)   com petency c om po ne nts   Co d e   Co m p o n en t   Qu o tatio n s f ro m   St u d en t Ref lectio n s   CC2   Measu ring   an d   co m m u n icatin g   th e  in f o r m atio n   with   th e  p atien t,   f a m il y ,   an d   m e m b ers  o f   th e  h ealth   tea m   in   an   in telli g ib le  for m ,  an d   av o id in g   s p ecific  p rof ess io n   ter m in o lo g y  when ev er  p o ss ib le.   “ …at  th e  en d   o f   t h e  ses sio n   we  ask   Mr s.  W   an d   sh e  h as  alrea d y   u n d ersto o d  ou r  ex p lan atio n ” ( M6)   “ Ef f o rts  o n   ed u catio n   p ro v isio n   can  b e  ab so rbed  an d   t h e  p atien t  u n d erstand s wh at to say”  (M 2 )   “ …p rov id e ans wers in an easily  un d erstand ab le by  p atie n t” ( M7)   CC4   Activ ely   list en in g ,  an d   en co u ragin g   id ea s  an d   o p in io n s   f ro m  oth er  tea m   m e m b ers.   “ If   th ere is   trou b le between   task s  th at  are d iv id ed   in to   g r o u p s,  we  tell  each  o th er  an d   g iv e   f eedb ack   t h at  can  h elp   o th e r  g rou p   m e m b e rs”  (M 1 3 )       Fu rt her   e xplo r at ion   th rou gh   t he  quest io nnai re  re vealed  why   com petency  com po ne nts  CC 5  an d  CC 6  wer e  ve ry  rar e  in  the  analy sis  of   po rtfo li o  refl ect ion s.  O n  CC 5,   stu den ts  di d  not  feel  fr ee  to  prov i de  fee dbac k  to a  fr ie nd  relat ed  to  h is/ her   pe rfor m ance in  t he  te am  f or  i nt erp e rs on al   or s ocioc ultur al   re aso ns .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8822   In t.   J .   Eval .   &  Re s .   E du c .  Vo l .  8 , No .  3 ,  Sept e m ber   2019 :  392   -   400   396   “I   think  i t  do e s  no t  show  up   because  I  do  not  ha ve  a  hear t  if  I  wan t  to  e xpress  ugly   fe edback  on  th e  ot her  te am  m emb e rs  as s ociated   wi th  the   pe rforma nce,   so  I  do  not  do   i t   in practi cal s es sion ei ther”.  (M2)     As  for  CC 6,   stud e nts  sta te d  that  in  com m un ic at ion   they   wer e   accustom ed  to  al ways  us ing   re sp ect f ul   la nguag e ,  s o  it   did   not  nee d  t o  be   w ritt en  in   the  port fo li o.  In   a ddit ion ,   stu den ts  al s o  sta te d  that  the re  we re  no  confli ct s that  oc curred  du rin g l earn in g.      “I   think  it   is  only   slowl y  eme rg in g  bec ause  I  fe el   it   is  ap p ro pri ate  to  use   respectf ul   langua ge  s o  it   does  no t  nee d  to  ref le ct .  I n  pr ac ti ce  it   is  al ways  li ke  tha t ,  there  is  no  con fl ic t”. (M 2)     Table  6  descr i be s  the  quotati on s  from   stud e nt  ref le ct io ns   on   t he  m os t  do m inant  cod e  from   ‘Tea m s   and Team wo r k (TT )’ com peten cy .       Table  6.   A naly sis of  re flect io ns   on team s an d  te am wo r k  ( T T)  c om petency c om po ne nts   Code   Com ponent   Quotat ions f rom   Student Re fl ecti ons   TT8   Refl e ct ing  on   the   per for m anc e  of  indi viduals  and  te ams   for  indi vi dual s  and  te ams ,   and  pe rfo rm anc e  improve m ent s   “ Discuss ions  in  the   IPE,   the  inte rac t ion  has  b ee n   running  wel l   but  I ' m   stil l  l ac k i ng  li v el in ess”  ( M4)   “ …if  fac ing  a  ca se  l ike   th is  i n  a  diffe r ent   team   in  orde r  to   conduc t   interpro fessional   col l abo rat ion   better ”  (M 10)   “ But  the re  is  stil l  a  la ck  of  comm unic a ti on  be twee n  m e  and  th e   te am wit h   Mrs .   A,  the pre gn ant  wom an  we  visit ”   (M3)       TT7   Sharing  responsibil ity   wit h  othe r   profe ss iona ls,   pat i ent s ,   and  comm unic at ions   to  provid e  h ea l t h  ca r e  and  disea se  pr eve n tion.   “ I  and  the   team   al wa y s  d ivi d e  tas ks  and  role s  in   i nte rve n ti ons  to   pat i ent s a nd   th eir fa m il i es”   (M3)   “ It  is  al so  evi de nt  in  the   d ivi sio n  of  role s  and  re spons ibi li ties  of   ea ch  m ember.   Sukm a  is  respo nsible   for…m y   dut y   is…whil e   Bria n  compile s …”  (M9)   “ I  am  give n  the   ta sk  of  ini t ia l  an amnesis  about   th e  health   of  th e  pat i ent   and   fa m ily   [whi le ]   m idwive s  per form   ana m nesis   conc ern ing  m id wife r y   c are”  (M 14)       Fu rt her   e xp l orat ion   thr ough  a  qu est io nnai r e  rev eal ed  the  reasons  w hy  com po ne nts  TT 2  an d  TT1 0  did   no t  a pp ea r  in  the  a naly sis  of   the  por tfolio  re flect io ns .  Re gardin g  TT2,   t he  stu den ts  sta te d  t hat  the   interp rofessi onal   le arn in g  pr ocess  nee de d  cl ear  i nfor m at io n  a nd  r ea l - li fe  exam ples  relat ed   to  et hical  consens us  i n  s erv ic e.     “S tu de nts  sti ll  need   ex plan at ion s  and  c oncret e  example s  in  this  re gard   ( co ns e ns us   et hics) ”.  ( M10)     “Th e   c on se nsu s  in  m anagem ent  [ is ]   base d  on  a  stu dy   th at   we   kn ow,   th ough  [ it   doe s ]   no t  dire ct ly   ap ply  in  all  as pe ct s.  We  do  not   unde rsta nd  in   this  po i nt  an d  to   how  t o  wri te  is n ot  giv en”. ( M1 4)     Re la te d  to  co m petency  TT10 ,  the  stu den ts   sta te d  that  integrati ng  know le dg e  a nd   e xp erience  was   essenti al  to o ve rco m e p r ob le m s,  bu t di d no t  f eel  it  n ee de d t o  be  writ te n  in  the  portf olio.       “I n  my  opinio n,   it   did   no t  cr os s  in  the  stu de nt’s  mi nd   to  wri te   in  th e  po rtf olio  because   i t   is  no t  re quire d  and  w ha t  is   done  is   ha nd l ing   his  pr oble ms  wi th  servi c e  deliv ery  an d  mo re  s pecif ic ally t o  the  pati en t”. (M1 1)     The  c onte nt  a na ly sis  of  the  stud e nt  ref le ct io ns   s howe d  that   the  portf olios   wer e   able   to  s upport  IP E   le arn in g  betw een  m idwifery   and   m edical   stud e nts  by   descr i bing   their  ac hiev e m ent  in  the   fou r   interp rofessi onal   cor e  com petencies.  T he   stud e nts  re flect ed  on  T ea m s  and   Te a m wo r k,   R ole  an d  Re sp onsi bili ti e s,  I nter prof es sion al   C omm un i cat ion ,  a nd  Val ues  a nd   Et hics  in  the ir  portf olios.  T he  a naly sis  of   stud e nts’  re flect ion s on  t he  portf olios   f ollo wed  the   guidel ines o f   D om ac  et   al .   [ 9]   a nd Marg al it   et   al . ,   [ 23 ]   a nd   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  E val & R es Educ .     IS S N:  22 52 - 8822       Ho w  does  port foli o  asse ss i nterprofe ssio na l   le ar ni ng o f  me dical  and ...   ( Bulan K akanita  Hermas ar i )   397   descr i bed  ho w   the  st ud e nts  c on s olidate d  th ei r  inter pro fess ion al   le ar ning  process   in  t he  courses   an d  m et   the   four inter pro fe ssion al  c ore  c om petencies.   The  stu de nts  sta te d  that  they   did   not  feel   it   i m po rtant  to  ref le ct   on  TT2  c om petency  (ethical   consens us   i n  pa ti ent  care)  be cause  they   i ns te ad  need   cl ea r  inf or m at ion   an d  real - li fe  exa m ples  of   it .  Gusta fs on   and  Be nnet   [ 24]   sta te d  that  the  abili ty   to   r eflect   is  aff ect ed  by  the  st udents’  pr i or  kn ow le dg e   to ward  t he   m at erial   to  be  ref le ct ed   on.   The  pr i or   kn ow le dg e   inclu des  e xp e rience   of  bei ng   e xp os e d  to  t he  re le vant   le arn in g  e nv ir on m ent  and   obser vatio n  of  a  ro le   m od el   r el at ed  to  the  gi ven   c on te nt.   [ 25 - 27]   H owev er,  thi s   interp rofessi onal   le arn ing   wa s  the  first  IP E  unde rtake n  by  stud e nts;  in  ad diti on ,  durin g  the  le arn i ng   process ,   an  ov e r view  of   [ 28 ]   t he  et hica l  consens us  in   the  he al th  se rvi ce  was  not  give n.   Thes e  re su l ts  pro vid e   evi de nce  of   t he  need   f or  the  i ns ti t ution   to  orga nize  a  le arn in g  m eth od  t hat  disc usse s  the  et hical   con se nsus  on  the   le arn in g proces s of stude nts.   On  the  CC 5  c om petency,  stud e nts  did   not  feel  f ree  to  pro vid e  fee db ac k  to  t heir  fr ie nd s   beca use   har m on io us   re la ti on s  an d  m ai ntainin g  their  relat ion s hip   wer e  m or e  i m portant.  In   ac corda nce  with   this ,   Suho y o  et   al .   [ 28 ]   ex plain  t ha t  in  countries   with  a  colle ct ivist   culture  s uc h  as  I ndonesi a,  stud e nts  feel   m or e  secur e  w hen  they   do  not  m ake  a  m ist a ke,   si nce  they   per cei ve  m is ta kes  as  disru pting   a   go od  gro up  atm os ph e re; th us , pa rtic ipants  r ef raine d from  g ivi ng an y  ne gative  feedbac k.   In   the  VE 9  c om petency,  no  et hical   dilem m a  was  sh own   i n  stu den t s’  port fo li os,  and   st udents   ind ic at ed  t hat  there  we re  no  e thica l  dilemm a s  f ound  in  t heir  le ar ning.  T he   abse nce  of   e ve nts  that  c ou l d  be  a   trigg e r  of  re fle ct ion   i n  this   re gard  a ff ect e d  how  stu den ts   wrote  thei r  r ef le ct ion s.  Lo we   et   al .   [25]   sta te d  th at   the  interact ion  of   stud e nts  ex per ie ncin g  var i ou s  pro blem s   relat ed  to  cl ie nt s/pati ents,  fr ie nd s ,  an d  colle a gue s   cou l d  stim ulate  ref le ct ion.  S uch   pro blem s   pu s he d  stu den t s’  thou gh t  pr oc ess  to  consi der  oth er  as pects  su c h  as   reasonin g  a nd  decisi on - m aking,  wh ic h were  both  i nclu de d i n  the  proces s  of r e flect ion .   Stud e nts  di d  not  ref le ct   on  th e  RR 8  com petency  since  the y  are  sti ll   in  th e  edu cat io n  phases,  so   t hat  it   is n ot yet  r el ev ant for  them  to  ref le ct   on c on t inu in g p rofessi on al  a nd inte rprofessio nal  devel op m ent.   In   a ddit ion   to  t he  ab sent  c ompone nts  m entio ne d  a bove,   se ver al   c om po ne nts  ( VE 8,   CC 6,  an d  TT 10)   wer e only   il lustrate d  in   lim it e d  am ou nts  i n  st ud e nts’  re flect ion.  F ur t her  ex plorat ion  in dicat ed  that  the   st ud e nts   di d  not  feel  th ey   wer e  i m po rt ant.   The  order   or   ty pes  of  que sti on s  f or   ref le ct ion   affe ct   the  stud e nts’  re flect ion  process .   [ 24,  27,  29] . T hese  prom pts  act   to  stim ulate   stud ent s  to  re flect   and   ca n  deter m ine  the  co ntent  a nd   dep t h  of  thei r   ref le ct io n.   T he refor e ,  the  fa culty s  sh ould   determ ine  the  ref le ct io n  ques ti on s  pr eci sel y  and  sp eci fical ly  so   that st udents  c an per form  sp eci fic ref le ct io ns.   [ 29]     3.2.   Analysis  of p or tfoli o  le ar nin g  e vidence   Each  stu de nt  ha d  to  e nclose  pro of   of   le ar ni ng   i n  the  portf olio  in  the  firs t,  second  a nd   t hir d  wee k.  Evid e nce  of   l earn i ng   was  a naly zed  by  de te rm ining   c ompli ance   with  r eflect ion s  on  ever y  week.  T able  7  rev eal s t he num ber  o f piec es  appr opriat e lea rn i ng ev i den ce  in reflec ti ons  each  week.        Table  7.  T he   s uitabil it y of  lea rn i ng ev i den ce     Ap p rop riate   No t app rop riate   W eek  I   6   9   W eek  II   8   7   W eek  II I   11   4   Total   25   20       Nex t,  an  a naly sis  was  done  of   t he  qual it y  of   le a rn i ng   e vi den ce   in  25   stud e nts  who  ha d  a  s uitable   portf olio  in   te r m s  of   evide nce   of  le ar ning  ba sed  on  re flect ion.  T he  qual it y  of   le a rn i ng  e vid e nce  was  a naly zed  by  m od ify ing   the  crit eria  de velo ped   by  Re es  an d  S heard   [30] .   Ta ble  8  sh ows  t hat  th ere  we re  only   three     stud e nts  w ho  had  a  portf olio  of  le ar ning  evide nce  t hat  was  a uth e ntic  and  obj ect ive   and  descr i bed  stud e nt  le arn in g  e ffor t .       Table  8.   Q ualit y of  le arn i ng e vid e nce   Sco re   Descripti o n   Nu m b e r  o f  Portf o lio s   1   Proo f  of  in d iv id u al eff o rt  (+) ;  o b jecti v e ( - );  auth en tic ( - )   9   2   Proo f  of  in d iv id u al eff o rt  (+) ; ob jecti v e ( +);  auth en tic ( - )   13   3   Proo f  of  in d iv id u al eff o rt  (+) ; ob jecti v e ( +);  auth en tic ( +)   3       In   this  st ud y,  t her e  was  e vid e nce  of  le ar ning   throu gh   ref le c ti on ,  inc reasin gly  from   the  fi rst  wee k  t o  the  final  ref le c ti on s.  This  m igh t  be  due  to  t he   ro le   of  the  m ento r  in  e valua ti ng   the  su it abi li ty   of   the  e vide nce.   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8822   In t.   J .   Eval .   &  Re s .   E du c .  Vo l .  8 , No .  3 ,  Sept e m ber   2019 :  392   -   400   398   [29,   31 - 33]   A  m entor   or   sup erv is or   from   t he  fac ulty   eval uated  t he  stu de nt  port fo li os  on  a  wee kly  ba sis  an d  then,   dur in g  th e  m entor in g,   di scusse d  with  stud e nts  issues   relat ed  to  the  interpro fessio nal  le arn in g  pr oces s   and stu de nt po rtfo li os.   [34]   A t t he  sam e tim e , th e  fac ulty  superviso r ga ve  f eedb ac k  t o  t he st ud e nts.   Howe ver,  on  f ur t her   an al ysi s,  it   was  found   that  on ly   a  sm al l  per centag e  of   stu de nts  wer e  a ble  to  pro vid e  a uth e nt ic   eviden ce  of  le arn in g  that  a lso  desc ribe d  a uth e ntic  ind i vid ual  le ar ning  e ffor ts  a nd   obj e ct ive   evide nce  f r om   per f or m ance - base d  asses sm ent.  Gatheri ng   a uth e ntic  and   obj ect iv e  evide nce,  s uch   a s   recordi ngs  of  conve rsati ons  in  te a m s,  or   te a m   int eracti on   vi deo s  i n  (s i m ulate d)   patie nt  care  co nte xts,  or   interp rofessi onal   assessm ent  ru bri c,  is  dif ficult .  I n  a dd it io n,  the  sm al l  num ber   of   st uden ts  pro vid in g  e vi den c e   they   had   m et   s tud e nt  le arn in g  obj ect ives  m i gh t  be  due  to  la ck  of  ex plana ti on   to  stu den t s  and   facu lt y  tuto rs   that  an  In te rpr of essi onal   Col la borati ve  Asse ssm ent  Rub ri c  (I C AR)  s hee t   [35]   an d  a  t ut or ’ s  fee dback   s heet  wer e  highly   reco m m end ed  t o  at ta ch  as  eviden ce  of  le arn i ng  portf olios .  Chall is   [36]   ex pl ai ned   that  stu den ts   cou l d  c hoos e   t he  e vid e nce of  le arn in g  t hat wou l d  be  at ta ch e d  t o  the  p ort f olio,  but  the   sou r ce  an d  obj ect i ve s  of   le arn in g  e vid e nce att ache d h ad  to  b e  clea rly  explai ned b y  the  facu lt y.     3.3.   Analysis  of work  plans   Each  stu de nt  wrote  a  w ork  pl an  base d  on   t he ir  or t fo li o   ref l ect ion   by  the  e nd   of  the  first,  seco nd,  an d  third   week,  an d  then  the  fina l  ref le ct ion s.  T he  w ork  pla n  was  analy zed  by  determ ining   com pliance  with  the   ref le ct io ns   an d  loo ki ng   for  co ncr et e  evi den c e  or   abse nce  of  evide nce  of  the  w ork  pla n.   Table  9  desc ri bes   the   nu m ber   of  a ppropr ia te   an d  c on c rete  w ork  plans  in  t he  portf olios  unti l  the  first  wee k - end   ref le ct io ns.  The   resu lt s s how  th at  at le ast  1 0 o ut of a  t otal o f 15 stu den ts  w e re ab le  t o pr e pa re a wor k plan that  was  a ppr opriat e   and co nc rete.       Table  9.  T otal  su it able a nd concrete  w ork plans     Po rtf o lio s th at have  su itab le and   co n crete  work  plan s   W eek 1   14   W eek 2   11   W eek 3   10   Fin al Ref lectio n   10   Total   45       The  wor k  pla n  incl ud e d  a  l earn i ng   phase  base d  on  e xpe rience.  K olb,  in  Chall is,   [36]   sta te d  that   exp e rience  ref l ect ed  on  can  be   gen e rali zed  t o  ap ply  to  ne w  le ar ning  ex per ie nces.  In   t his  stu dy,  the  resu lt s   sh owe d  that  a ppr opriat e  co ncret e  work   plan s   wen t  sli ghtl y  dow nh il l  from   the  first  week   of   t he  po rtfo li o  un ti l   the  final  ref le c ti on ,  rem ai nin g  ste ady  in  we eks  I I  a nd   III.  Howe ver,  at   le ast   two - t hir ds   of   t he  stu de nts  were   sti ll  able  to  plan  ap propriat e  and   co ncr et e  work ;  an d  al m os t  al l  stud ent s  wer e  able  to   plan  ap propri at e  and   con c rete  wor k  in  the   port fo li o  in  wee k  I .  T hi s  fin ding   m igh t  be  beca us e  t he   stu den t  ta s k  f or  the  seco nd  week  of  inter profess ion al   le ar ning   was  relat ively   easy   for  st ude nts,  nam el y  to   identify   pro bl e m s  and  nee ds.  T his  was  co ns ist ent  with  Mi tc hell   [10]   an d  Mu r phy  et   al .   [13]   w ho   e xpla ined  t hat  cl ear  ta sk s  or   in structi on s  aff ec t   the s uccess  of the  portf olio.   In   the  seco nd  and   thir d  wee ks,  stud e nt  wor k  plans  wer e  c on sist e ntly   appropr ia te   an d  co ncr et e.  T his  m igh t  be  cau se d  by  the  IP E  a ct ivit ie s  in  those   wee ks ,  wh ic h  m igh t  hav e  overla pp e d.   In   weeks  II   an d  I II ,  t he   stud e nts’  ta s k  was  to  pr i or i ti ze  issues  an d  de vel op  pro po s al s  for  hea lt h  interve ntio ns   with  patie nt s  and   fam i li es.  I m ple m entat ion   in  the  fiel d  w ould  va ry  gr eat ly   dep e ndin g  on   the  natu re  of   the  case  or   he al th   pro blem ,  the  pr ogre ssio n  of  the  co unsel ing   process  under   su pe r visin g  he al th  centers  or   insti tuti o ns ,  a nd   th e   will ing ne ss  of  patie nts  an d  fa m ilies  to  be  in te rv e ned.  T hes e  aspects  le d  t o  a  ti m e  lim it   on   eac h  ta s k  t hat  the  stud e nt  co uld   no t  easi ly   determ ine.  Final  ref le ct ion   on  th e  portfo li o  require d  the  stu de nts  to  ref le ct   on  the   whole  relat ed   inter prof es sio na l  and   we re  li nked  t o  wh e n  th e  stud e nt  had   beco m e  a  healt h  pr of essi onal .   This   require d  a  cl ear  pictu re  of  the   prof es sio ns   of   do ct or s  a nd  m idwiv e s  an d  th ei r  ro le s  i n  hea lt h,   w hich  m igh t  sti ll   be  di ff ic ult  f or  stu den ts  to  c on ce ptu al iz e  be cause  they   ha v e  ne ve r  ex pe rience d  it   dir ect ly .  The  abili ty   to   ref le ct  w a s in fl uen ce d by st udents’ p rior kn owle dge   of the c on te nt b ei ng r e flect ed   [ 25,  37] .         4.   CONCL US I O N   The  res ults  in dicat e  that  the  portf olio  is  able  to  assess  the  le arn in g  of  m idwifer y  a nd   m edical  stud e nts  in  the   con te xt  of  co m m un it y - base d  m a te rn al   and  childre n ’s  he a lt h  care.  The  portf olio  is  al so  able  to   encou rag e   stu den ts   to  prepa re  a  c oncrete,   appr opriat e  w ork  plan   or  stud y  pla n  f or  t heir  i nter prof e ssion a l   Evaluation Warning : The document was created with Spire.PDF for Python.
In t J  E val & R es Educ .     IS S N:  22 52 - 8822       Ho w  does  port foli o  asse ss i nterprofe ssio na l   le ar ni ng o f  me dical  and ...   ( Bulan K akanita  Hermas ar i )   399   le arn in g.   How ever,  in  this  stud y,  the  us e  of  the  portf olio   was  un a ble  to  enc oura ge  the  stud e nts  to   locat e  authe ntic an d o bj ect iv e lea r nin g evi den ce .       ACKN OWLE DGE MENTS     The  auth or  would  li ke  to  thank   Y unia   Hast a m i  and   Sit i   M un a wa roh,   w ho  ha ve  been   ve ry  helpful  in   the  process  of  data  analy sis.  The  aut hor  al s o  tha nk s  t he  IPE  te a m   of   Fac ulty   of   Me dici ne  U niv e rsi ta s  Sebelas   Ma ret:   Ar i  N at al ia   Pr ob a nd ari;   Eti   Po nc ori ni  Pam un gka sari ;   Sr i  A ngga rini;  Am and ha   Boy  Tim or ;   a nd   Zulai ka N ur   A fifah as  well  as  stu den ts  w ho  hav e  p a rtic ipate d  act ively  a nd h el pe d  t he res earch  pro ce ss.       REFERE NCE S   [1]   S.  W a y ,   " Consi stent ,   qu al i t y   m idwife r y   ca r e:   H ow  m idwife r y   e duca t ion  and  th e  role   of  the   m i dwife   teac h er  ar e   important   cont ri buti ons t o   the l a nce t   seri es, "   Mid wif ery ,   2016 .   [2]   M.  J.  Renf rew  e t   al.,  " Midwifer y   and  qua li t y   care:  Findings  from   a   new  ev ide n ce - i nform ed  fra m ework   for  m at e rna l   and  newborn   car e, "   La nc e t ,   vo l.  384 ( 9948 ) ,   pp .   1 129 - 1145,   2014 .   [3]   Inte rna ti o na l  Co nfe der a ti on  of  Midwives,   "I nternat ion al   con fed era t ion  of  m idwi ves  e ss ent ial  co m pet enc i es  for  b a sic   m idwife r y   pra ct i ce , "   2010.   [4]   Inte rprofe ss ional   Educ ation  Coll abor ative  Exp er t  Panel ,   " Core  compete nc ie s  fo r  int erp rof essional   collabor at iv e  pra ctice :  R epor t   of  an expe r t  p an el , "   W ashingt on  DC,  2011.   [5]   R.   McNai r,   N.  Stone,   J.  Sim s,  and  C.   Curti s,  " Aus tra li an  ev idence   for  int erp ro f essiona l  educat i on  cont ribut ing  to   eff ective teamw ork  pre pa ration  and  in te rest   in   ru ral   pr actice, "   J. I nte rpr of.   Care ,   v ol.   19 ( 6 ) ,   pp .   57 9 - 594,   2005 .   [6]   C.   O’H al lora n ,   S.  Hea n,   D.  H u m phris,   and  J.  Mac le od - C la rk ,   " Deve lopi ng  co m m on  le arn ing:   T he  new  gen erati on   proje c t   unde rgra duat e   cur r ic ulum   m odel , "   J. I nt erprof.   Care ,   vol .   20 ( 1 ) ,   pp .   12 - 28 ,   2006.   [7]   E.   Bate,   J.  Homm es,   R.   Duvivie r,   and  D.  C.   M.  Tay lor,   " Proble m - base d  le arn in g  (PBL):  G et ti n g  the   m ost  out  of  y our   student s  -   t hei r  ro le s  and  r e spon sibil it i es:  A MEE  Guide   No .   84, "   Me d .   Tea ch . ,   vol. 36 ( 1 ) ,   pp.   1 - 12,   2014 .   [8]   P.  Solom on  et   al . ,   " Esta b li shing  f ac e  and  cont en t  val idit y   of  the   M cMa ster - Ott awa   te am  observe d  st ruc t ure d  cl inica l   enc ount er  ( TOSCE) , "   J. I nte rpr o f.   Care ,   vo l. 25 ( 4 ) ,   pp .   302 - 304 ,   2011.   [9]   S.  Dom ac ,   L .   A nder son,  M.  O’ Rei lly ,   and  R.   S m it h,   “ As sess in g  int erp rof essio nal   compe te nc e  using  a  prospec t ive   ref lecti v e  por tfolio.,”  2015 .   [10]   M.  Mitc hell,   " T he  vie ws   of  student s  and  teac h ers  on  the   use  of  portfol ios  as  a  le a rning  and  assess m ent   tool   i n   m idwife r y   edu catio n, "   Nurs e   Edu c .   Today ,   vo l. 14 ( 1 ) ,   pp .   38 - 43 ,   1 994.   [11]   A.  How art h,   " The   portfolio  a s  an  assessme nt  tool   in  m idwife r y   edu ca t ion ,"   Br.   J.   Midw if ery ,   vol.   7 ( 5 ) ,    pp.   327 - 329 ,   19 99.   [12]   J.  Pincombe,   L .   McKel la r ,   M.  W ei se,   E .   Grint er,   and  G.  Ber es ford,   " ePortfolio   in  m idwife r y   pr a ctice:  Th e  wa y  of  the   fu ture,"   Wom en  an d  Bi rth ,   vol .   23 ( 3 ) ,   pp .   94 - 1 02,   2010 .   [13]   M.  M.  Murph y ,   M.  Hughes,  and  C.   O.  Sulli van ,   " Im proving  student   le arn ing  on  a  m idwife r y   educ a ti on  progra m m e  b y   using a   ben ch m ark   cour se  port foli o  as  a  m e ans   of  ref lect ion  and   pee r  r evi ew , "   Nurs e  Educ .   Today ,   vol.  33 ( 8 ) ,   pp .   785 - 790,   2013 .   [14]   J.  Va n  Ta rtwij k  and  E.   W .   Driessen,   " Portfoli os  for  assessment  and  le arn ing :  AM EE   guide   no.   45 , "   Me d.   T each . ,   vol.   31 ( 45 ) ,   pp .   790 - 801,   2009 .   [15]   S.  Dom ac ,   E.   S.  Anderson,  and  R .   Sm it h,   " Le arn i ng  to  be  int erp ro fessional   throug h  the   use  of  ref lecti v e  portfol ios ? , "   Soc.   Wor k  Edu c . ,   vo l .   35 ( 5 ) ,   pp .   530 - 546,   2016 .   [16]   W .   Harl en ,   " Cri t eri a   for  evalua t i ng  s y st ems   for  st udent   assess m en t ,"   Stud .   Educ. E val . ,   vo l. 33 ( 1 ) ,   pp.   15 - 28 ,   2007 .   [17]   M.  N .   Chandra t il ak e,   M.  H.  Da vis,  and  G.  Pon namperum a,   " E val ua ti ng  and  d esigni ng  assess m ent s  for  m edi ca l   educ a ti on:   T h e  u ti lit y   form ula,"   I nte rnet   J .   M ed.  Educ . ,   vo l. 1 ( 1 ) ,   pp.   1 - 8 ,   2010 .   [18]   C.   Rober ts,  N.   Shadb olt ,   T.  Cl ark ,   and  P.   Sim pson,  " The   relia bil ity   and  v alidi t y   of  a  portfo lio  designe d   as  a   progra m m at ic   a ss ess m ent   of  p erf orm anc e   in  a n  int egr ated  c linical  pl ac eme nt , "   BMC  M ed.  Educ . ,   vol .   14 ( 1 ) ,    p p.   197 ,   2014 .   [19]   M.  Friedman  Be n  David,   M.   H.  Davis,   R.   M .   Harde n,   P.  W .   Ho w ie ,   J.  K er,   and   M.  J.  Pippard ,   " AM EE   m edi ca l   educ a ti on  gu ide  n o.   24:   Portfol io s a s a   m et hod  of   student   assess m e nt. , "   Me d .   Tea ch . ,   vol. 23 ( 6 ) ,   pp.   535 - 551,   2001 .   [20]   T.   Hald ane,  " Portfoli os’  as  a  m et hod  of  as sess m ent   in  m edi cal   educ a ti on. , "   Gas troent erol.   Hep atol .   from   bed  t o   benc h,   vol .   7 ( 2 ) ,   pp.   89 - 93,   2014 .   [21]   Y.  M.  Herr era   a nd  B.   F.  Br aumoeller,   " S y m posi um :  Discourse  a nd  cont en t  ana l ysis , "   Qual.   Me th ods ,   vol.  2 ( 1 ) ,   p p.   15 - 19,   2004 .   [22]   M.  Vaism ora di,   H.  Turune n ,   and   T.  Bondas,   " Co nte nt  anal y s is  an d  the m at i c  ana l ysis:  Im pli ca t ions  for  condu ct ing   a   qual itati v e  d esc r ipt ive stud y , "   Nu rs .   Heal. Sc i . ,   vo l.   15 ( 3 ) ,   pp .   398 - 405,   2013 .   [23]   R.   Marga l it ,   R .   Kea ti ng - le fl er,   D.  Coll i er,   G.  W osc y na ,   R.   A .   Shaikh,   and  G.  L .   Bec k,   " Advan cing  int erp rof essional  educ a ti on :   A  qu al itati v e anal y s is of   studen t and  f ac ul t y   re flecti on s , " vol .   23,   pp.   4 62 - 471,   2014 .   [24]   K.  L.   Gus ta fson a nd  W .   Be nnet t ,   "U nit ed  stat es  air forc e  rese ar ch  l abor at or y   prom oti ng  le arn er  ref l e ct ion:   I ss ues  and  diffi cu lt i es  emer ging  from   a   thr e e - y ea r   stud y ,"   20 02.   [25]   M.  Lowe ,   S.   Ra ppolt ,   S.  Jag la l ,   and  G.   Mac do na ld,   " Th e  ro le  of  r efl e ct ion   in   impl ementi ng  le a rnin g  from   cont inu in g  educ a ti on  int o   pr ac t ic e , "   J. Cont i n.   Edu c. He al th Prof . ,   vol .   27 ( 3 ) ,   pp.   143 - 148,   20 07.   [26]   L.   J.  Ch aff e y ,   E .   J.  J.   de  L ee uw,  and  G.  A.  Finni gan,   " Fac il i ta t in g  student s’  ref l e ct iv e  pra c tice   in  a  m edi cal  cour s e:  li te r at ur e  r evi ew , "   Edu c. He alt h   ( Abi ngdon) . ,   vo l.  25 ( 3 ) ,   pp .   198 - 2 03,   2012 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                          IS S N :   2252 - 8822   In t.   J .   Eval .   &  Re s .   E du c .  Vo l .  8 , No .  3 ,  Sept e m ber   2019 :  392   -   400   400   [27]   G.  M.  Lowe ,   P.   Prout,   and   K.  M urc ia,  " I  se e,  i  t hink  i  wonde r:  An  eva lu at ion   o f  journaling  as  a   cri t ical  r eflec t iv e   pra ctice   tool   fo r  ai ding  t ea ch e rs  in  cha l l engi n g  or  conf ronti n g  cont ext s,"   Au st.  J.   Tea ch.   E duc . ,   vo l.   38 ( 6 ) ,    pp.   1 - 16 ,   2013 .   [28]   Y.  Suho y o,   E.   a  van  Hel l,   T .   S.  Prihat ini ngsi h,   J.  B.   M.   Ku ks,  and  J.  Cohe n - Schota nus,  " E xplori ng  cultura l   diffe ren ce s  in  fee dba ck  proc ess es  and  per ce iv e d  instruc ti ve nes s   during  cl erk ships:  rep li c ating  a   Dutch  stud y   i n  Indone sia, "   Me d .   Teach . ,   vo l. 36 ( 3 ) ,   pp .   223 - 9 ,   20 14.   [29]   E.   Driessen ,   J.  Van  Ta r twij k,   C .   Van  Der  Vleut e n,   and  V.  W ass, " Portfoli os i n  m edi c al   edu cation: Why   do  they   m ee t   with  m ixe d  suc c ess ?   A s y st ematic  rev ie w ,"   Me d .   Educ . ,   vo l. 41 ( 12 ) ,   pp .   1224 - 123 3,   2007 .   [30]   C.   E.   Ree s  an d  C.   E.   Shear d,   " The   reliab i l ity   of  assess m ent   cri t eri a  for  under gra dua te   m edi ca l  studen t s’   comm unic at ion s kil ls por tfo l ios: the   Not ti ngham  expe ri ence, "   M e d.   Edu c . ,   vo l. 38 ,   pp .   138 - 144 ,   2 004.   [31]   H.  Dekke r  e t  a l.,   " Mentori ng  port foli o  use  in  und e rgra duate  and  po stgradua t e  m edi c al   edu ca t ion.,"   Me d.   Teac h . ,   vol .   31 ( 10 ) ,   pp .   903 - 9,   2009 .   [32]   E.   W .   Driessen ,   J.  Van  Ta rtwi j k,   K.  Overe em,  J.  D.  Verm unt,   and  C.   P.  M.  V an  Der  Vleuten,  "S tude nt  learni ng   c ondit i ons   for  su cc essful  r eflec t iv e  use  o f  portfo lios   in  under g rad u at e   m edi c al   educat ion , " pp. 1230 - 1235,   2005 .   [33]   M.  Ham m ic k,   D.  Free th ,   I.   K opp el ,   S.  R ee v es,   an d  H.  Barr ,   " A  be st  evi den ce   s y s tem at ic   rev ie w  of  int erp rof essional  educ a ti on, "   Me d .   Teach . ,   vo l. 29 ( 8 ) ,   pp .   735 - 51 ,   2 008.   [34]   L.   La ws on,   " CP D for  m ent ors:  c rea t ing  a   por tfo lio,"   Nurs .   Times ,   vol.   107 ( 21 ) ,   pp .   15 - 18,   2010.   [35]   C.   V e t  a l.,  " Dev el opm ent   and  v a li dation  of  th e  in te rprofe ss ional  c oll ab or at or  asses sm ent   rubric   (IC AR),"   J  Inte rpr o f   Care ,   vol .   25 ( 5 ) ,   pp.   3 39 - 44,   201 1.   [36]   M.  Chal li s,  " AM ME  m edi ca l  edu ca t ion  guide   no .   11  (re vised) :   Portofoli o - b ase d  learni ng  and  a ss es sm ent   in  m edi cal   educ a ti on, "   Me d .   Teach . ,   vo l. 21 ( 4 ) ,   pp .   370 - 386 ,   1999.   [37]   K.  L .   Gus ta fson  and  W .   Benn et   J r. ,   " Prom oti ng  l e arn er  r eflec t ion:   issues  a nd  diffic ult ie s  emergi ng  f rom   a  t hre e - y ear  stud y , "   2002.       Evaluation Warning : The document was created with Spire.PDF for Python.