Správa zo zahraničnej pracovnej cesty 

1. Účastník zahraničnej pracovnej cesty:	
Meno, priezvisko, titul: Janka Kurajová Stopková, PaedDr., PhD.
Organizácia: Národný ústav certifikovaných meraní vzdelávania, Žehrianska 9, Bratislava 5
Pozícia: Manažér projektovej aktivity 2.5
Znalosť jazykov: anglický

2. Zahraničná pracovná cesta (ZPC):
Štát, mesto: Nemecko, Berlín
Vykonaná v dňoch: 7.11. – 10. 11. 2012
Názov prijímajúcej organizácie: 
Účel cesty: účasť na  medzinárodnej konferencii 
13th Annual AEA-Europe Conference Assessment across the Lifespan
Spôsob financovania: z rozpočtu NÚCEM a z prostriedkov štrukturálnych fondov EÚ spolufinancované fondom:  Európsky sociálny fond, Operačný program Vzdelávanie, Prioritná os: 1 Reforma systému vzdelávania a odbornej prípravy, Opatrenie: 1.1 Premena tradičnej školy na modernú, projekt: „Hodnotenie kvality vzdelávania na základných a stredných školách v SR v kontexte prebiehajúcej obsahovej reformy“,  ITMS kód Projektu: 26110130309.

3. Rámcový program pobytu:
07.11.2012 
transfer  na miesto stretnutia Bratislava – Viedeň – Berlín
•	transport Bratislava – Viedeň (služobné vozidlo), odchod z Bratislavy 15:40, 
•	prechod cez hraničný prechod SR – Rakúska republika 16:30, 
•	odlet z Viedne 18:25, prílet do Berlína 19:40, 
•	doprava taxíkom do hotela, príchod do hotela 20:25

08.11.2012 – 1. deň konferencie

•	účasť na konferencii
08:45 – 11:00 	Blok spoločných prednášok
11:00 – 11:30	Prestávka
11:30 – 13:00	Blok prednášok sekcia
A (Critical issues in assessment)                                                                                     
13:00 – 14:00	Prestávka
14:00 – 15:30	Blok prednášok sekcia
E (Assessing mathematics) 
15:30 – 16:30	Prezentácia posterov 
Poster L - Specifics for Students with Special Educational Needs in International Educational Assessment in Slovakia Ivana Pichaničová, Janka Kurajová Stopková

16:30 – 18:00	Blok prednášok sekcia
G (Students attitude to tests and testing)

09.11.2012 – 2. deň konferencie
•	účasť na konferencii
08:45 – 10:15 	Blok spoločných prednášok
10:15 – 10:45	Prestávka
10:45 – 12:15	Blok prednášok sekcia 
                                                   K (Standard setting) - ja
12:15 – 13:15	Prestávka
13:15 – 14:45	Blok prednášok sekcia
O (Validity issues in e-assessment) 
14:45 – 15:15	Prestávka

15:15 – 16:30	Diskusné skupiny 

10.11.2012 
transfer  domov Berlín – Viedeň – Bratislava

•	odchod z hotela 8:10, 
•	príchod na letisko 8:45, odlet z Berlína 10:25, 
•	prílet do Viedne 11:30, 
•	transport Viedeň – Bratislava (služobné vozidlo),
•	prechod cez hraničný prechod Rakúska republika  – SR 12:55, 
•	príchod domov 13:30

4. Stručný priebeh rokovaní:

	Asociácia AEA-Europe združuje odborníkov z oblasti pedagogického výskumu, ktorí sa zaoberajú hodnotením a testovaním. Testovanie je  dôležitou metódou pre hodnotenie kompetencií žiakov (vedomostí, zručností a schopností), pretože poskytuje dôležitú spätnú väzbu žiakom a učiteľom pri výbere, hodnotení a ďalších rozhodnutiach. Hlavnou výzvou súčasných pedagogických meraní je zachytiť rozvoj týchto kompetencií v priebehu času. Meranie a  kompetencií a modelovanie ich rozvoja si vyžaduje multidisciplinárny prístup. Hodnotenie v oblasti vzdelávania je zamerané na meranie úrovne vedomostí (výkonu) a rozvoja kompetencií v kontexte školskej výučby. Cieľom tohtoročnej konferencie bolo prispieť k zlepšeniu chápania a rozšíreniu stanovísk, názorov na modelovanie rozvoja kompetencií od predprimárneho vzdelávania (predškolské vzdelávanie ISCED 0) do dospelosti (na fóre boli prezentované empirické zistenia, testovacie postupy a používané hodnotiace metódy).
Posúdením významnosti jednotlivých kompetencií v určitých vývojových fázach, spôsobmi hodnotenia, určením faktorov, ktoré môžu ovplyvniť ich vývoj sa zaoberajú odborníci z oblasti pedagogiky, psychológie, psychometrie a sociológie.
       Páni M. Prenzel (Technische Universität Munchen) a H. A. Pant (Institute for Educational Quality Improvement) v prednáške pod názvom National and international large scale assessment in Germany: Contributions to research and evidence-based policy informovali o zmenách, ktoré v Nemecku nastali  po zverejnení výsledkov PISA 2000, kedy Nemecko dosiahlo štatisticky významne horšie výsledky ako priemer krajín OECD v čitateľskej, matematickej aj prírodovednej gramotnosti („PISA – šok“).  Určení experti posúdili súlad národných  štandardov vo vzdelávaní (vzdelávacie ciele zadefinované na národnej úrovni) s kritériami zadefinovanými v oblasti hodnotenia gramotnosti v medzinárodných dokumentoch (international literacy benchmarks). S meraním PISA v roku 2003 zrealizovali tri merania PISA I (I – international sample, výberový súbor pre medzinárodné meranie), PISA E (E- extended sample, národné meranie rozšírený výberový súbor pre komparáciu 16 spolkových krajín), PISA-I-Plus Germany (v roku 2003 boli výberové súbory žiakov 9. ročníka doplnené o dve celé triedy na vybraných školách (nie 15-roční žiaci), a v roku 2004 ako žiaci 10. ročníka boli opakovane hodnotení tí istí žiaci).  Výskum zamerali na   analýzu rozdielov medzi typmi škôl. Prezentovaný bol aj subprojekt COACTIV (Cognitive Activation in the Classroom) – projekt zameraný na zisťovanie kompetencií, postojov a vyučovacích metód učiteľov matematiky, ktorí vyučovali žiakov zapojených do štúdie PISA-I-Plus. Priebeh vyučovacích hodín bol analyzovaný formou video štúdií a pomocou softvéru Videograph.
       Pán R. Desjardins (OECD, France) v prednáške pod názvom Ageing and skills: skill gain and skill loss over the lifespan and over time informoval o výsledkoch štúdie PIAAC (OECD Programme for the International Assessment of Adult Competencies) – meranie matematickej, čitateľskej a počítačovej gramotnosti - schopnosti riešiť problémy s použitím informačno-komunikačných technológií, IALS (International Adult Literacy Survey)1994-1998 a ALLS 2003-2007 (Adult Literacy and Lifeskills Survey). Výsledky poukázali na významnosť premennej vek.
	
Sekcia A
	Pán G. Orpwood (York University Canada) vo svojej prednáške Assessing skills for success in tertiary  education prezentovali výsledky projektu College Mathematics Project 2011, ktorý skúmal vzdelávacie výsledky študentov počas 1. semestra dosiahnuté v matematických kurzoch na vysokej škole (N = 35 000). Porovnával výsledky študentov, ktorí nastúpili na vysokú školu ihneď po ukončení strednej školy s výsledkami vekovo starších žiakov (vo veku 30 až 50 rokov). Výskum sa zameral na zisťovanie počtárskych zručností v oblasti numerácie (numeracy strategy). Výsledky boli prezentované podľa pohlavia, veku, školského vzdelávacieho programu, vyučovacieho jazyka, podľa pohlavia veku zároveň.
	Pán B. Veldkamp (Twente University) v prednáške pod názvom Ensuring the futures of computerized adaptive testing (CAT) prezentoval výsledky CAT z pohľadu zostavenia robustných verzií (s veľkým počtom testových položiek) a ich vplyv na validitu a rentabilitu (viability).
	Pán T. Oates (Cambridge Assessment UK) v prednáške „I disagrree with you at the level of principle...“ contrasts and contradictions between assessment in „academic“ and „vocational” qualification rozoberá rozdiely v prístupe k hodnoteniu na rôznych typoch škôl (akademické, všeobecné odborné, profesijné odborné vzdelanie). 
 
Sekcia E
	Tím expertov na čele s p. Ch. Duchhardtom (Leibniz Institute for Science and Mathematics Education) prezentovali v rámci prednášky Assessing mathematical competence in the NEPS (National Educational Panel Study) hodnotenie matematických kompetencií v rámci národného projektu NEPS, prezentované boli dosiahnuté výsledky žiakov v 5. Ročníku, špeciálne sa zamerali na psychometrické vlastnosti testu (použitie Raschovho modelu IRT a DIF analýzy) a validáciu výsledkov (porovnanie so školským interným hodnotením).
	Pán O. Koler v príspevku Challencing the validity  mathematics tests: Do they measure more the inteligence? analyzovali, či testové skóre žiakov 4. ročníka v matematike  súvisí s ich inteligenciou (g-faktor model). Rozoberané boli otázky psychologických inteligenčných testov, lingvistickej verbálnej inteligencie, logickej matematickej inteligencie, vizuálnej priestorovej inteligencie.
	Pán O. Bulud v príspevku Multilevel Analysis of the Relationship Between Types and Locational of Universities and Students’ Mathematics Performance in Turkey prezentovali premenné súvisiace so školou ako relevantné k hodnoteniu vzdelávacích výsledkov. Skúmané boli rozdiely medzi výkonmi v matematickom teste vysokého významu (higt stakes) s premennými veľkosť sídla a typ zriaďovateľa.
Sekcia G
Hanna Eklof (Umea University )  vo svojom príspevku Pupil perceptions of educational tests in school prezentuje vnímanie testov žiakmi.  Podľa autorky je veľa dôvodov ktoré vedú k tomu, že vnímanie testov žiakmi sa ich správanie počas testovania sa mení v priebehu procesu vzdelávania ako sa hodnotenie formou testov stáva častejším a viac dôležitejším. Zistenia ukazujú, že môže existovať vzťah medzi vekom študenta, rokom školskej dochádzky dôležitosťou testu a vnímaním testu. Takisto poukazuje na potrebu ďalšieho skúmania tejto problematiky. 

F. Schwabe a kol. v príspevku Construction of CAT of Reading Competence uvádza zistenia, ktoré ukazujú na veľké rozdiely v čitateľských kompetenciách u žiakov na začiatku povinnej školskej dochádzky. Porovnáva testy administrované papierovo a pomocou počítačov. Autorka poukazuje na nutnosť identifikovať žiakov s nízkou úrovňou čitateľských schopností s cieľom presnej diagnostiky a individuálnej podpory. CAT ponúka ako jednu z výhod bohatú sadu homogénnych položiek na identifikáciu nízkej úrovne čitateľských kompetencií. 

Sekcia K
B. Black (OCR, UK) v príspevku The use of statistical approaches in maintaining standards in UK national examination and the need for expert judgment vykreslením na niekoľkých príkladoch skúma výhody a nevýhody konkrétnych štatistických metód pri určovaní štandardov. Autor sa odvoláva na použitie metódy rozdielnych skupín (Contrasting groups) a metódou záložiek (Bookmarks methods). 

Pán P. Bessoneau v príspevku Comparison of different standard setting procedures with different source of information. Predstavil rozdiely medzi Angoffovov metódou, Hoftseho metódou pri definovaní hraničného cut skóre. Autor poukázal na rozdielne vnímanie tohto skóre expertmi a učiteľmi z praxe. 

Páni S. Tiffin-Richards a P.Kuhl v príspevku Setting standards on large scale language assessment: the specific challenges for test-centered and examinee-centered methodologies zdôraznili, že pri konštrukcií kriteriálnych testov sú nevyhnutnou podmienkou presne zadefinované vzdelávacie ciele. Metodológia nastavovania štandardov zahŕňa väčšinou panel expertov, ktorí diskutujú o minimálnych požiadavkách na dosiahnutie konkrétnych úrovní výkonnosti na základe vzájomného konsenzu a iteratívnych postupov, pričom výstupom je odporúčanie na interpretáciu testového skóre konkrétneho žiaka (študenta). 

Sekcia O
Pán F. Goldhammer a kol. v príspevku Assessing ICT skills by multiple choice versus simulation-based tasks autori prezentovali ukážky položiek s výberom odpovede v projekte NEPS a spôsob ich úpravy do formy položiek obsahujúcich simulácie. Autor zdôraznil nevyhnutnosť zadefinovania konštruktu informačno-komunikačno technologických zručností. Autor prezentoval dizajn počítačového prostredia a uvádzania odpovedí pomocou myši alebo klávesnice. Porovnávané boli psychometrické vlastnosti položiek založené na simuláciách so zodpovedajúcimi počítačom upravenými položkami s výberom odpovede. Odporúčania poukazujú na potrebu validizácie hodnotenia IKT zručností.

Pán J. M. Ihme a kol. v príspevku How valid are paper and pencil based tests to measure computer related competencies sa odvoláva na využitie dáta z NEPS na overenie konštruktovej validity testových procedúr merajúcich IKT gramotnosť, pričom porovnávali papierové testy s počítačovými. Papierovo administrované testy vysoko korelujú s kognitívnymi schopnosťami (uvažovanie, zdôvodňovanie) a počítačové testy vysoko korelujú s indikátormi charakterizujúcimi efektívne využívanie počítačov. 

Pani V. Greene, S. Huges zo spoločnosti Pearson at Excel v príspevku One screen Essays writing under examination conditions prezentovala komparáciu rozdielnych reakcií študentov na písanie eseje pomocou počítača (s použitím Microsoft Word alebo NotePad), respektíve rukou na papier. Zároveň sa sledovali kvalitatívne charakteristiky vnímania reakcií študentov pri písaní eseje.  

5. Odporúčané závery:

Harmonogram a koncepciu národných meraní (2014 – 2020) doplniť o naprojektovanie národných meraní kompetencií žiakov ZŠ realizovaných s medzinárodným meraním:
•	PISA 2015 (doménou medzinárodného merania bude prírodovedná gramotnosť        a národné meranie by sa mohlo zamerať na matematickú gramotnosť), 
•	PISA 2018 (doménou medzinárodného merania bude čitateľská gramotnosť              a národné meranie by sa mohlo zamerať takisto na čitateľskú gramotnosť),
•	TIMSS 2014, 2018 (meranie populácie 1, doplniť meraním populácie 2 – žiaci 8. ročníka ZŠ a porovnať trendy medzi rokmi 2003 a 2014 v kontexte obsahovej reformy.

Nadviazať spoluprácu s pracoviskami UCLES – Cambridge (cieľ realizácia školení v oblasti psychometrie a tvorby kriteriálnych testov) a Pearson a Edexcel, Veľká Británia v oblasti vývoja elektronického testovania. 

6. Prehľad prinesenej dokumentácie a miesto jej uloženia:
Informačné brožúry: 
Delivering assessment & influencing thinking, UCLES
Principles of Good Practice, Quality management and validation in language assessment, January 2011UCLES
Examination and Assessment Agencies, www.stephenaustin.co.uk
Cambridge English, The most valuable English qualifications in the world, Examinations, suppost and Preparation Materials, 2011 – 2012, UCLES
2012 Programme Courses, seminars, conferences, training events, Cambridge Assessment Network, UCLES

Výskumné publikácie:
Research Matters, Issue 14, June 2012
Research Matters, Special Issue 3, October 2012

Ukážky prezentovaných posterov: 
E. Knekta: How is your question interpreted? Department of Applied Educational Science, Umea University
R. Emmrich, Test administration effects in state-wide mandatory proficiency tests in Germany, ISQ, Berlin und Brandenburg e.V.
S. Shaw, H. Iman, International Learning & Assessment through the medium of English, Cambridge Assessment, UCLES
Uložené: NÚCEM, Janka Kurajová Stopková

7. Osobitne vyhotovený očakávaný prínos ZPC:
Najpodnetnejšie boli príspevky z oblasti elektronického testovania ( oblasť hodnotenia validity) a informácie o realizácii národných meraní v Nemecku (NEPS), konštrukcii štandardov a hodnotení matematických kompetencií (NEPS).  

8. Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií
Informovanie interných zamestnancov NÚCEM na internej porade o obsahu konferencie.
Zverejnenie prezentovaného posteru na intranete projektu.

Svojím podpisom súhlasím so zverejnením správy na internete.
Správu vypracoval: 	PaedDr. Janka Kurajová Stopková, PhD.

Dátum: 15. 11. 2012                                    Správu schválil: PaedDr. Ivana Pichaničová, PhD.