Q Menu
< Treforest Conference Facilities

Canlyniadau

Research

Fel sefydliad rydym wedi ymrwymo i gynhyrchu ymchwil sy'n ein helpu ni i wella'r gwasanaeth a ddarparwn ac sy'n ddefnyddiol i'r gwneuthurwyr polisi ac ymarferwyr cymunedol ehangach. Yn yr adran hon fe welwch amrywiaeth o ymchwil a dadansoddiadau diweddar a ddatblygwyd gan ymchwilwyr CBAC.


Ail-ddylunio rôl barn yr arholwr o ran cynnal safonau ar gyfer arholiadau cymwysterau cyffredinol y DU

Joanna Maziarz, Alayla Castle-Herbert, Siân Denner, Liz Phillips, Richard Harry

Er mwyn sicrhau proses asesu deg ac i gynnal safonau cyson o flwyddyn i flwyddyn, mae sefydliadau dyfarnu yn y DU yn defnyddio cyfuniad o farn arbenigol arholwyr profiadol a dadansoddiad ystadegol i bennu ffiniau graddau ac i 'ddyfarnu' arholiadau allweddol. Mae cyrff dyfarnu'r DU, yn rhannol oherwydd newidiadau gofynion rheoleiddio, wedi gosod mwy o bwyslais ar y defnydd o wybodaeth ystadegol i gyrraedd penderfyniadau yn ymwneud â ffiniau graddau (Baird a Morrissey, 2005). Mae hyn, i raddau helaeth, wedi bod o ganlyniad i ymchwil estynedig yn dangos bod barn arholwyr yn annibynadwy (cf. Baird a Dhillon, 2005). Serch hynny, mae cynnwys arbenigwyr wrth osod safonau yn parhau i fod yn hollbwysig o ran sicrhau bod y cyhoedd yn parhau i ymddiried yn system arholi y DU (Jones, 2009).

Yn CBAC, un o brif fyrddau arholi'r DU, rydym yn cynnal ymchwil i ddylunio dulliau amgen, mwy dibynadwy o gofnodi barn arbenigol, ac i gadarnhau'r rôl y dylai tystiolaeth o'r fath ei chael yn y broses o gynnal safonau addysgu yn arholiadau allweddol y DU. I wneud hyn, rydym yn tynnu ar bersbectifau seicolegol am farn ac yn gwneud penderfyniadau sy'n cyfeirio at ystod eang o hewristeg a rhagfarnau sy'n cyfyngu ar allu arbenigwyr i lunio barn ddilys am safonau (cf. Hardman 2009, Kirkebøen 2009, Kerr a Tindale 2004). Rydym yn ymgymryd â dull 'ystyried dylunio' (cf. Brown, 2009) gan ddefnyddio'r syniadau hyn i ddatblygu dulliau prototeip ar gyfer profi ac adolygu.

Hyd yma, dangosodd ein hastudiaeth mai dim ond arholwyr sydd â phrofiad o farcio papur penodol sy'n gallu dod i farn hyderus a dibynadwy. Mae hyn yn golygu efallai na fydd gwybodaeth am bwnc gyffredinol yn ddigonol. Yn ychwanegol, dangoswyd bod dulliau sy'n canolbwyntio ar y sawl sy'n sefyll arholiadau yn fwy hygyrch i arbenigwyr gan eu bod wedi caniatáu iddyn nhw dynnu ar eu profiad yn rhwyddach. Roedd yn anodd, fodd bynnag, torri arferion arbenigwyr o gymhwyso eu harbenigedd mewn ffordd a oedd yn wahanol i'w defnydd bob dydd. Mae hyn yn tanlinellu'r angen i roi hyfforddiant ansawdd uchel i arholwyr ar ddulliau gosod safonau nad ydynt yn gyfarwydd iddyn nhw. At hynny, gall tynnu marciau o sgriptiau a adolygwyd wrth ddyfarnu leihau rhagfarnau a nodwyd, ond gall gynyddu lefel y baich gwybyddol sy'n gysylltiedig â'r dasg – yn y cyfnod prawf, roedd arbenigwyr yn aml yn troi at ail-farcio sgriptiau fel man cychwyn ar gyfer asesu eu teilyngdod ar gyfer gradd penodol. Gall barn gymharol o sgriptiau oresgyn y mater hwn; fodd bynnag, roedd arbenigwyr hefyd yn ei chael yn anodd cymharu sgriptiau yn gyfannol pan fo ymgeiswyr yn gryfach ar agweddau gwahanol ar yr asesiad.

Mae cam nesaf yr ymchwil yn anelu at dynnu at y syniadau uchod a phrototeipio dulliau gosod safonau eraill.

Newid gallu a chanlyniadau cymaradwy – arholiadau Ffrangeg, Sbaeneg ac Almaeneg yn y DU

Defnyddir system o "Ganlyniadau Cymaradwy" yng Nghymru, Lloegr a Gogledd Iwerddon i osod rhagfynegiadau ar gyfer nifer yr ymgeiswyr ddylai dderbyn graddau gwahanol yn ystod eu prif arholiadau yn 17 oed (UG) ac yn 18 oed (Safon Uwch). Caiff ymgeiswyr eu rhannu'n ddegraddau yn dibynnu ar gymedr canlyniadau eu harholiadau yn 16 oed (TGAU) a gosodir rhagfynegiadau ar gyfer canlyniadau fel y disgwylir i bob degradd berfformio i'r un safon hanesyddol. Mae'r niferoedd sy'n cofrestru ar gyfer arholiadau UG a Safon Uwch Ffrangeg, Sbaeneg ac Almaeneg wedi gostwng yn sylweddol a gall hyn effeithio ar gymaroldeb.

Yn ychwanegol i edrych ar gymedr TGAU yr ymgeiswyr sy'n astudio ieithoedd tramor ar lefel UG ac Uwch, edrychwyd hefyd ar sut y gwnaethon nhw berfformio yn y TGAU a oedd yn cyfateb â'r cymhwyster yr oeddent yn ei astudio. Cynhaliwyd dadansoddiad i weld sut newidiodd y berthynas hon rhwng 2010 a 2016.

Gwelsom fod ymgeiswyr mewn degraddau is yn fwy tebygol o fod wedi derbyn y graddau uchaf (A* neu A) yn 2016 nag yr oedden nhw'n 2010. Mae'r data hyn felly'n cwestiynu'r dybiaeth bod ymgeiswyr yn y degraddau hyn yn gymaradwy rhwng y ddau gyfnod.

A yw eitemau wedi'u cyfieithu'n perfformio yn yr un ffordd? Y profiad o asesu mewn gwlad ddwyieithog

Mae Cymru'n wlad ddwyieithog gydag ymgeiswyr yn sefyll arholiadau naill ai drwy gyfrwng y Gymraeg neu'r Saesneg. Ar gyfer y rhan fwyaf o bynciau, mae papur gwreiddiol yn cael ei gyfieithu'n broffesiynol fel bod dau bapur a gall ymgeiswyr ddewis pa un i sefyll. Mae cryn ymdrech i sicrhau bod y cyfieithiad yn llunio cwestiynau yn y ddau gyfrwng sydd yr un mor anodd. Fodd bynnag, tan yn ddiweddar iawn nid oes unrhyw waith wedi'i wneud i ddefnyddio'r data a gynhyrchwyd yn ystod y marcio i fesur gweithrediad eitemau gwahaniaethol yn empirig.

Mae'r sleidiau hyn, a gyflwynwyd yn wreiddiol yn Ewrop yn 2017, yn defnyddio dadansoddiad o weithrediad eitemau gwahaniaethol ar gyfer eitemau amlgywair i gymharu perfformiad ymgeiswyr ar wahanol eitemau a wnaeth sefyll y papurau mewn ieithoedd gwahanol. Mae'r dadansoddiad yn cael ei berfformio ar draws nifer o bynciau gwahanol.

Roedd rhywfaint o'r dadansoddiad yn seiliedig ar arholiadau haf 2017. Fodd bynnag, mae gwaith peilot yn dangos bod amrywiad rhwng ieithoedd, er ei fod yn arwyddocaol yn ystadegol, wedi tueddu i fod ymhell o dan 5% o'r marciau a oedd ar gael ar gyfer eitem ac mae'n awgrymu nad yw meintiau'r effeithiau hyn yn arwyddocaol yn addysgol. Mae'r canlyniadau yng nghyd-destun strategaeth DIF ehangach lle cyflwynir eitemau a nodir am adolygiad ansoddol.