Správa zo zahraničnej pracovnej cesty

Meno a priezvisko účastníka	Marianna Mrva
	
Organizácia	NÚCEM, Žehrianska 9, Bratislava	
Pozícia v projekte	3.1.6 Štatistik, psychometrik, analytik	
Znalosť jazykov	Anglický, maďarský	
Aktivita*)	1.1	1.2.	Projektové riadenie	

Štát
	Španielsko	
Mesto
	San Sebastian	
Miesto konania 
	Miramar Palace, San Sebastian, Španielsko	
Účel cesty
	Účasť na workshopoch a konferencii	
Termín konania 
	1.7 – 5.7.2014	
Názov príjmajúcej organizácie
	International Test Commission	
Názov konferencie
	The 9th Conference of the International Test Commission – Global and local challanges for best practices in assessment	
Spôsob financovania*)	-	z rozpočtu NÚCEM	
	-	z prostriedkov štrukturálnych fondov EÚ spolufinancované fondom - Európsky sociálny fond, Operačný program Vzdelávanie - projekt  Zvyšovanie kvality vzdelávania základných a stredných školách s využitím elektronického testovania.	
ITMS projektu *)	26110130546 (K)	26140130030 (RKZ)	

Rámcový program 	1.7.2014 Cesta na miesto konferencie (Bratislava – Viedeň – Barcelona – San Sebastian)
2.7.2014 Predkonferenčné workshopy
3.7.2014 Konferencia
4.7.2014 Konferencia
5.7.2014 Cesta z konferencie (San Sebastian – Barcelona – Viedeň – Bratislava)

Podrobný program je uvedený v prílohe
	
Dátum

Stručný priebeh aktivity - Denný pogram

	1.7.2014
Cesta na miesto konferencie (Bratislava – San Sebastian)

2.7.2014
9:00 – 12:30 Predkonferenčné workshopy
Hambleton,R.: Item Response Theory – Concepts, Models, and Applications
12:00 – 13:30 Obed
13:30 – 17:00 Predkonferenčné workshopy
Brown, A.: Comparative Judgments as an Alternative to Rating Scales – Designing and Scoring Forced - Choice Questionnaires
19:00 – 20:30 Uvítacia ceremónia, prednáška
Schleicher, A.: Strong Performers and Successful Reformers in Education

Doobednajší workshop bol venovaný konceptom, modelom a aplikácií teórie odpovede na položku (IRT), v podaní profesora Ronalda Hamletona, experta na IRT, z University of Massachusetts. Počas 3,5 hodinového worshopu boli prezentované výhody IRT oproti klassickej testovej teórie, špecifické IRT modely pre binárne a polytomické dáta, grafické a štatistické prístupy k interpretácii „fitovania“ modelu, využívanie IRT pri adaptívnom testovaní a reportovanie výsledkov. Hoci sa metódy IRT sa využívajú na spracovanie výsledkov testovania v NÚCEM už dlhodobo, na workshope odznelo mnoho takých informácií, ktoré pomôžu lepšie zvládnuť niektoré štatistické problémy, spojené napríklad s politomicky skórovanými položkami alebo s adaptívnym testovaním.

Poobednajší workshop doktorky Anna Brown sa venoval problematike takzvaných otázok s nútenou voľbou odpovede. Jednou z výhod otázok s nútenou voľbou odpovede je to, že umožnia merať zložité javy aj v populácií nižšie vzelaných alebo mladých respondentov, akými sú napríklad žiaci základných a stredných škôl.  Na workshope bol kladený dôraz nie len na vysvetlenie metód sformulovania takýchto otázok, ale aj na ich štatistické vyhodnotenie pomocou Thurstonianského IRT modelovania. 

Po večernom otváracom ceremoniály konferencie nasledovala prednáška Andreasa Schleichera, hlavného koordinátora merania PISA, ktorý prezentoval výsledky a súvislosti tohto merania a ich vývoj v čase. Zdôrazňoval dôležitosť spoločenských, ekonomických a iných aspektov  pri hodnotení vzdelávacieho systému,  lebo iba pomocou týchto faktorov môžeme vytvoriť komlexný obraz o vzdelávacom systéme, o jeho stave a smerovaní. Svoje tvrdenia demonštroval na príklade rôznych krajín, ktoré sú zapojené do testovania PISA.

3.7.2014
8:00 – 9:30 Paralelné sekcie / Ranná posterová sekcia1
Meijer,R., Geisinger,K., Hambleton R., Hattie, J.: How do we prepare psychometric specialists?
9:45 – 10:45 Plenárna prednáška / Ranná posterová sekcia1
Twing, J.: Linking assessment internationally with little or no data, few things in common and less than motivated policy makers: An empirical investigation  
10:45 – 11:15 Ranná posterová sekcia1
11:15 – 12:45 Paralelné sekcie
Van Der Linder, W. J.: Bigger is Often Simpler: Using Shadow Elements in Test Construction
12:45 – 14:15 Obed
14:15 – 15:15 Plenárna prednáška
Hattier, J., Griffin, P.: The measurement of learning
15:15 – 17:30 Paralelné sekcie / Poobedňajšia posterová sekcia 2
Foster, D., Fremer J.: Investigations of possible cheating on high stakes tests
17:30 - 18:00 Poobedňajšia posterová sekcia 2

Prvý deň konferecnie ponúkal veľmi pestrý vedecký program, z ktorých sme sa snažili vybrať tie, ktoré najbližšie súviseli s našou prácou v NÚCEM. Vypočuli sme si prednášku Jona Twinga z Pearson Assessment Centre, ktorý hovoril o možnostiach riešenia problémov súvisiacich s prepojením dát napríklad v takých situáciach, keď nemáme k dispozícií dostatočne veľa dát, alebo dáta majú málo spoločných čŕt. Vysvetlil aj tie štatistické techniky, pomocou ktorých sa dajú prekonať takéto problémy. 
Plenárna prednáška Johna Hattieho a Patricka Griffina sa venovala testovaniu takých schopností, ako napríklad riešenie problémov v skupine, a to pomocou moderných informačných technológií. Boli vysvetlené aj rôzne výhody, ktoré elektronické testovanie ponúka pri meraní schopností a zručností rôzneho druhu.
Popoludní sme sa zúčastnili prednášky o podvádzaní, čo je problém úzko spojený s testovaniami. Boli vysvetlené rôzne možnosti zabránenia, respektíve zminimalizovania podvázdania, k čomu je však nevyhnutné držať krok a rýchlo reagovať na výdobytky modernej techniky.
Počas prestávok medzi prednáškami a po prednáškach sme mali možnosť pozrieť si postery posterovej sekcie, ktoré sa tiež venovali rôznym aspektom testovania vedomostí a podobným problematikám.

4.7.2014
8:00 – 9:30 Paralelné sekcie / Ranná posterová sekcia 3
Butler, H. (chair): The Assessment of Critical Thinking: Cross-cultural and validity issues
9:45 – 10:45 Plenárna prednáška
Muniz, J.: Measuring Psychological variables: Current Perspectives and Future Challenges
10:45 – 11:15 Ranná posterová sekcia 3
11:15 – 12:45 Paralelné sekcie
Zumbo, B. (chair): Interdisciplinary Perspectives on International and Cross-cultural Assessment
12:45 – 14:15 Obed
14:15 – 15:15 Paralelné sekcie
Cook, L.: Fairness, Validity, and Accessibility: Considerations for Test Design and Development
15:30 – 17:00 Paralelné sekcie
Hambleton,R. (chair): Contributions to Score Reporting Methods and Practices
17:00 – 18:00 ITC Stretnutie

Druhý deň konferencie sa začínal prednáškou o testovaní kritického myslenia, ako schopnosti, ktorú by mala moderná škola rozvíjať. Boli sme oboznámení výsledkami takýchto testovaní v rôznych kulturálnych kontextoch, ako aj rôznymi možnosťami testovania kritického myslenia študentov. 
Plenárna prednáška José Muniza bola zameraná na možnosti, ktoré moderné informačné technológie ponúkajú, ako napríklad rôzne druhy netradičných položiek. Hovoril aj o tých inováciách, ktoré môžeme očakávať v budúcnosti.
Ďalšia prednáška bola venovaná porovnateľnosti výsledkov testovania v situáciach, keď podmientky testovania nie sú štandardné, alebo existujú veľké sociokultúrne rozdiely medzi porovávanými skupinami. V takýchto situáciach je nevyhnutné dostatočne preskúmať validitu testov, čomu sa venovala ďalšia prednáška konferencie. Posledná prednáška dňa bola zameraná na reportovanie výsledkov testovania, s dôrazom na výhody aj nevýhody jednotlivých spôsobov. 

	
Odporúčané závery	Prostredníctvom konferencie sme sa mohli zoznámiť s aktivitami ITC (International Test Commision), medzi ktoré patrí napríklad vydávanie rôznych smerníc týkajúcich sa testovania, adaptácie testov a pod., ako aj vydávanie odborného časopisu International Journal of Testing. Odporúčame dôkladnešie preštudovať tieto materiály, ako aj nadviazať užší kontakt s touto organizáciou, ktorá vďaka dlhoročných skúseností s elektronickým testovaním by vedela ponúkať pomoc pri riešení rôznych problémov, ktorým bude musieť čeliť v rámci realizácie projektu pri príprave kvalitných testovacích nástrojov a vyhodnocovaní testov. Odporúčame tiež zúčastniť sa na rôznych podobných konferenciách aj v budúcnosti, ktoré umožnia výmenu skúseností s inými odborníkmi danej oblasti.
	
Prehľad prinesenej dokumentácie a miesto jej uloženia	Prezentácie z workshopov, zborník abstartov s CD, propagačné materialy – dostupné v kancelárií č. 315

Osobitne vyhotovený očakávaný prínos

	Na konferencii ITC sme sa mohli zúčastniť prednášok expertov a najväčších odborníkov psychometriky, ktorí sa zaoberajú danou problematikou na veľmi vysokej úrovni. Podľa slov R. Hambletona, v USA v prehľadnej dobe sa všetky testovania budú realizovať iba elektronicky, čo znamená, že ťažké začiatky majú už dávno za sebou, preto ich skúsenosti sú pre nás veľmi cenné. Mnohé prednášky worshopov a konferencie vychádzali teda práve z predpokladu, že testovanie je realizované elektronickou formou, a boli zamerané na také témy, ktoré sú na Slovensku tiež aktuálne, alebo na nás ešte len čakajú. Takou témou je napríklad adaptívne testovanie, zabezpečenie elektronického testovania, budovanie banky úloh, správna adaptácia testov (napríklad do rôznych jazykov), alternatívne položky v prostredí elektronického systému, modely a techniky vyhodnocovania takýchto položiek, zabraňovanie rôznym formám podvádzania, atď. Preto hodnotíme predkonferenčný worskop a konferenciu ako veľmi prínosnú. Naše získané vedomosti budú určite využité aj v praxi.
	
Spôsob zverejnenia výsledkov	Získané vedomosti, ako aj prinesené odborné materiály budeme zdieľať s kolegami na interných seminároch.

Správu vypracoval/a
	Mgr. Marianna Mrva	
Dátum
	10.7.2014	
Schválil
		
Podpisom súhlasím so zverejnením správy na internete 
		
*) nehodiace sa prečiarknúť

Správu z pracovnej cesty je potrebné vypracovať do 5 dní od jej ukončenia a v papierovej aj v elektronickej forme predložiť na schválenie  vedúcemu oddelenia/odboru.