Správa zo zahraničnej pracovnej cesty 

1. Účastník zahraničnej pracovnej cesty:	
Meno, priezvisko, titul: Andrej Mentel, Mgr. PhD.
Organizácia: Národný ústav certifikovaných meraní vzdelávania, Pluhová 8, Bratislava 
Pozícia: (uviesť pozíciu v projekte, aj číslo aktivity): Manažér aktivity 2.7
Znalosť jazykov: anglický B2, nemecký C1, bosniansky/chorvátsky/srbský B2

2. Zahraničná pracovná cesta (ZPC):
Štát, mesto: Nórske kráľovstvo, Oslo
Vykonaná v dňoch: 2. – 7. novembra 2010
Názov prijímajúcej organizácie: (v prípade konferencie nevypĺňať)
Účel cesty: Účasť na konferencii (The 11th AEA-Europe Conference: Managing Assessment Processes: Policies and Research)
Spôsob financovania: z rozpočtu NÚCEM a z prostriedkov štrukturálnych fondov EÚ spolufinancované fondom:  Európsky sociálny fond, Operačný program Vzdelávanie, Prioritná os: 1 Reforma systému vzdelávania a odbornej prípravy, Opatrenie: 1.1 Premena tradičnej školy na modernú, projekt: „Hodnotenie kvality vzdelávania na základných a stredných školách v SR v kontexte prebiehajúcej obsahovej reformy“,  ITMS kód Projektu: 26110130309.

3. Rámcový program pobytu:
2. 11. 2010 		Cesta Bratislava – Oslo
3. 11. 2010 		Workshop – Nastavovanie štandardov (pre CR testy)
4. – 6. 11. 2010 	Konferencia (presný program s abstraktmi je súčasťou dokumentácie)
7. 11. 2010 		Cesta Oslo – Bratislava

4. Stručný priebeh rokovaní:
A. Aktívna účasť
V rámci konferencie som predniesol príspevok o pravdepodobnom vplyve metareprezentačnej schopnosti na rodovú vyváženosť v didaktických testoch z vyučovacieho jazyka. Prezentoval som výsledky empirickej výskumnej štúdie, ktorá sa zakladala na troch zdrojoch:
a)	sekundárne analýzy už zrealizovaných testov (najmä certifikačných – maturitné testy a testovanie deviatakov, ale aj testov zo štúdie čitateľskej gramotnosti PIRLS 2001 a 2006).
b)	Etnografický výskum v školskej triede kombinovaný s využitím testov čitateľskej gramotnosti a metareprezentačnej schopnosti a s analýzou slohových prác
c)	Korelačný výskum – žiaci v jednej vekovej kohorte (10 rokov, resp. 4. ročník ZŠ) riešili testy čitateľskej gramotnosti a schopnosti metareprezentácie (odhadovania mentálnych stavov druhých osôb).
Výsledky: Ukázalo sa, že úlohy na čítanie s porozumením, v ktorých je potrebná interpretácia a hodnotenie textu, skutočne riešia úspešnejšie tí žiaci, ktorí majú vyššie skóre aj v teste na metareprezentačnú schopnosť. Zároveň sa však ukazuje, že tieto schopnosti silno súvisia s niektorými špeciálnymi aspektmi syntaxe (so schopnosťou aktívne využívať niektoré vetné štruktúry, napr. podraďovacie súvetia s vedľajšou vetou doplnkovou). Čo sa týka rodových rozdielov, tu sú výsledky menej jednoznačné – ukazuje sa, že v skúmaných úlohách síce ide o mierne zvýhodnenie dievčat pred chlapcami, oveľa významnejšie sú však individuálne rozdiely medzi žiakmi bez ohľadu na rodovú príslušnosť.

Tieto výsledky majú priamy vzťah k tvorbe banky položiek (aktivita 2.7), a to vo dvoch aspektoch:
a)	Môžeme očakávať, že položky, ktoré budú testovať príslušné aspekty syntaxe, budú dobrým prediktorom aj výkonu v čítaní s porozumením.
b)	Zmenou obsahu položiek pri porovnateľnej lingvistickej zložitosti podnetového textu možno meniť ich obťažnosť pre rôzne skupiny žiakov. Konkrétne: rodové rozdiely sa prejavujú pomerne slabo, kým rozdiely v praktickom zvládnutí niektorých špeciálnych častí gramatiky môže mať výrazne silnejší efekt.

B. Pasívna účasť
Okrem vystúpenia s vlastným príspevkom som sa zúčastnil ako poslucháč okrem iného aj nasledujúcich prezentácií, ktoré majú vzťah k aktivite 2.7:
a)	Workshop pred konferenciou zameraný na nastavovanie štandardov – pre každú úlohu, ktorú zaraďujeme do banky položiek, musí byť pre prípadné použitie v kriteriálnych testoch vypracovaný expertný odhad jej náročnosti vzhľadom na tzv. minimálneho kandidáta. Technicky jednoduchá procedúra je však kriticky náročná vtedy, keď ide o testy s veľkým dopadom na žiakovu študijnú budúcnosť (high stakes test). Závislá je od výsledku (v princípe) celospoločenskej diskusie o tom, čo vlastne (a v akej miere) musí nevyhnutne vedieť každý absolvent príslušného stupňa vzdelávania. Okrem týchto strategických problémov s tým však súvisia aj „technické“ – psychometrické témy, ako transformácia skóre, vzájomné porovnávanie testov (test equating), presnosť merania a rozhodovania apod. S aktivitou 2.7 táto problematika súvisí na úrovni aplikácie: Akým spôsobom využívať banku úloh? Aké sú možnosti a priori odhadov presnosti merania a rozhodovania pri danom výbere úloh?
b)	Prednášky týkajúce sa špeciálnych problémov pedagogického testovania a hodnotenia:
•	Angela Verschoor (CITO, NL): Aplikácia vyváženého neúplného dizajnu pri nastavovaní štandardov
•	Iasonas Lamprianou (Eur. University, Cyprus): Overovanie konzistencie hodnotenia správnosti otvorených položiek pri testovaní jazykov
•	Jo-Anne Baird et al. (Univ. of Bristol, UK): Posudzovanie vplyvu hodnotiteľa na skórovanie otvorených úloh
•	Prednášky týkajúce sa hodnotenia písomných prác (Alastair Pollitt, Hiske Feenstra)
•	Prednášky týkajúce sa testovania matematiky a prírodných vied (napr. hodnotenie kompetencií pri viackrokových slovných úlohách z matematiky – Guri A. Norvedt, Univ. Oslo, Nórsko)
•	Poster Mariny Kuznecovej (Rusko) o tvorbe jednotného testu čitateľskej gramotnosti pre širšie vekové rozpätie (celý starší školský vek)

5. Odporúčané závery:
•	Je potrebné, aby sa v budúcnosti zúčastnilo podobnej konferencie viacero pracovníkov (paralelné sekcie, odlišné tematické dôrazy)
•	Je potrebné v rámci inštitúcie venovať pozornosť výskumnej práci (overovanie rôznych formátov úloh, obsahovej a konštruktovej validity, efektu posudzovateľov, potenciálnych zdrojov chýb u žiakov apod.).
•	Je nevyhnutné vyškoliť tím nezávislých hodnotiteľov, ktorí budú skórovať testy kontrolovateľným spôsobom
•	Úplne kľúčové je rozvíjať spoluprácu s učiteľmi a rodičmi žiakov a vyvíjať kritériá hodnotenia, ktoré budú podložené celospoločenskou diskusiou. Jedine tak je možné zabezpečiť splnenie nevyhnutných podmienok hodnotenia (objektivity, spoľahlivosti a validity).

6. Prehľad prinesenej dokumentácie a miesto jej uloženia:
Dokumentácia z pracovnej cesty je uložená na Oddelení hodnotenia výsledkov meraní NÚCEM a tvoria ju nasledujúce materiály:

1.	Program a kniha abstraktov (2 ks)
2.	Zoznam účastníkov
3.	CD-ROM časopisu Research Matters – Research Notes od Cambridge Assessment
4.	Handout posteru Stuarta Shawa a Victorie Crisp z Cambridge Assessment (Identifikácia súboru metód validizácie tradičných skúšok: ťažká úloha vyžadujúca použitie viacerých metód)
5.	Prezentácia hodnotiaceho softvéru e-Marker® firmy DRSData Services Ltd.

7. Osobitne vyhotovený očakávaný prínos ZPC:
Prínosy pre aktivitu 2.7 a iné aktivity sa dajú rozdeliť na nasledujúce kategórie:

1.	Nové poznatky: 
a.	niektoré prednášky priniesli zaujímavé poznatky týkajúce sa metód hodnotenia a analýzy rôznych formátov úloh (napr. žiackych slohových prác apod.); okrem toho, mimoriadne podnetné boli príspevky týkajúce sa výskumu „efektu posudzovateľa“ (ako závisí hodnotenie správnosti/nesprávnosti riešenia otvorených otázok od osoby hodnotiteľa a ako – a či vôbec – sa dá toto hodnotenie metodologicky „vyčistiť“)
b.	seminár pred konferenciou bol celý venovaný problematike nastavovania štandardov (standard setting), čo je kľúčová procedúra v príprave a následnej analýze kriteriálnych testov
2.	Kontakty:
Zameral som sa predovšetkým na výskumných pracovníkov venujúcich sa pedagogickému hodnoteniu v podmienkach nejednotného kurikula (zaujímavým je príklad Škótska, kde neexistuje jednotné kurikulum).

8. Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií
Interný seminár pre pracovníkov ústavu

Svojím podpisom súhlasím so zverejnením správy na internete.

Správu vypracoval: Mgr. Andrej Mentel, PhD.

Dátum: 11. 11. 2010 

Správu schválil: PaedDr. Ivana Pichaničová, PhD.