Správa zo zahraničnej pracovnej cesty 

1. Účastník zahraničnej pracovnej cesty:	
Meno, priezvisko, titul: PhDr. Romana Kanovská
Pozícia: riaditeľka
Organizácia: Národný ústav certifikovaných meraní vzdelávania, Pluhová 8, Bratislava 
Znalosť jazykov: (anglický, francúzsky)

2. Zahraničná pracovná cesta (ZPC):
Štát, mesto: Izrael, Tel Aviv
Vykonaná v dňoch: 24.—26. októbra 2011
Názov prijímajúcej organizácie: OECD

Účel cesty: OECD PISA - 32. zasadnutie PISA Governing Board (PGB)
Spôsob financovania: z rozpočtu NÚCEM 

3. Rámcový program pobytu:

23.10.2011 – prílet do Tel Avivu; 24.-26.10. – pracovné stretnutia, rokovania; 26.10. – odlet do Bratislavy

4. Stručný priebeh rokovaní:

Téma 1: Úvod – otvorenie zasadnutia
32. pracovné zasadnutie PGB sa konalo v dňoch 24. – 26. októbra 2011 v Izraeli, Tel Aviv, hostiteľskou inštitúciou bolo Ministerstvo školstva štátu Izrael. 

Úvodné slovo, príhovor a privítanie účastníkov zasadnutia mal minister školstva Izraelu Gideon Sa´ar. Medzi iným zdôraznil, že štúdia PISA má obrovský transformačný vplyv na vzdelávaciu politiku a diskusiu v Izraeli a pod jej vplyvom Izrael uskutočňuje v postupných krokoch rozvoj evalvácie a budovanie zodpovedného vzdelávacieho systému.

Téma 2: Pokrok prác OECD vo vzťahu k PISA
Pán Schleicher informoval o pokroku činnosti OECD vo vzťahu k PISA a špeciálne k vývoju OECD Skills Strategy, výsledkom pilotu štúdie PIAAC (zapojených 26 krajín v 35 jazykoch) a OECD Review on evaluation and assessment frameworks for improving school outcomes.

Téma 3: Zhodnotenie pokroku vo vývoji a implementácii PISA 
P. Schleicher informoval o pokroku vo vývoji a implementácii PISA a vysvetlil, ako boli implementované rozhodnutia, ktoré urobilo PGB na poslednom zasadnutí. PGB uvítalo zrealizované kroky a najmä ocenilo úspešné spustenie série PISA in Focus a zobralo do úvahy, že Sekretariát plánuje zverejniť plán ďalšej edície pre rok 2012 v priebehu budúcich 4 týždňov.  Rovnako sa zlepšila komunikácia prostredníctvom webovej stránky PISA (FAQ) ako aj katalogizácia materiálov na portáli MyPISA.

P. Schleicher ďalej informoval o progrese vo vývoji PISA - základného testovacieho nástroja pre školy. V nadväznosti na stretnutie vo Viedni, kde sa rozhodlo o tvorbe dodatočného testu pre školy, bolo PGB informované o progrese vo vývoji tohto dodatočného/doplnkového PISA – základného hodnotiaceho materiálu, na základe ktorého bude možné porovnávať výkony jednotlivých škôl. Zároveň sa dohodlo, že národné autority rozhodnú o tom, v akom rozsahu a na čo bude zameraný testovací nástroj v ich krajinách. PGB chce udržať dohľad nad technickou kvalitou nástroja, ako aj technických štandardov pre ich vhodnú implementáciu v zúčastnených krajinách. 

Sekretariát sa už oboznámil s dvomi druhmi technických štandardov a procedúr: jeden bude podliehať prísnej aplikácii testovacích medzinárodných štandardov, pričom výsledky tohto testu by mali byť vyhodnotené a publikované na PISA-porovnávacej škále. Druhý materiál by mal byť hodnotiacim materiálom určeným viac pre formatívne účely, jeho výsledky nebudú hodnotené ani publikované ako je tomu štandardne v PISA meraní. Rozhodnutia súvisiace s oboma týmito materiálmi budú urobené na nasledujúcom mítingu PGB v roku 2012, keď budú dostupné výsledky pilotu v roku 2012 (máj 2012).

Téma 4: PISA analýzy a správy – progres vo vývoji tematických správ PISA 2006 - 2009
P. Zoido zastupujúci Sekretariát informoval o pokroku vo vývoji PISA tematických správ. PGB podporilo relevantnosť analýz zameraných na súkromné školy a ich úspešnosť, pričom vyslovilo požiadavku rozšíriť analýzy o poskytnutie väčšieho množstva kontextuálnych informácií súvisiacich s odlišnými spôsobmi financovania a spravovania súkromných škôl. Ocenené boli informácie o zapojení rodičov do vzdelávania a úspešnosti ich detí v školy (napr. vplyv rodinného zázemia na radosť z čítania, v porovnaní s neakademickým rodinným zázemím včleneným do socio-ekonomického statusu, školské zázemie a úspešnosť v čítaní a pod.). Zároveň PGB navrhlo Sekretariátu, aby boli kontextualizované zistenia, ktoré opisujú národné politiky a praktiky v súvislosti so zapojením a zaangažovanosťou rodičov do vzdelávania ich detí, ako aj v súvislosti so záujmom rodičov o školy a školský systém. Rovnako by bolo zaujímavé preskúmať rodové odlišnosti v zaangažovaní rodičov do záujmu o školu ich detí a pod. V každom prípade by sme mali byť veľmi opatrní s formulovaním interpretácií a záverov – aj vzhľadom na to, že informácie sa získavajú z dotazníkov, čo môžu byť do istej miery skreslené dáta. 

Téma 5: Strategický rozvoj PISA   
P. Davidson a p. Schleicher podali správu o pokroku vo vývoji prác a výstupov v PISA Strategickej rozvojovej skupine (SDG). Informácie sa dotýkali predovšetkým evalvačných kritérií pre 3. etapu výberového konania na dodávateľa PISA 2015 (vyhlásenie výberového konania bude 18. novembra 2011, podpis zmluvy s dodávateľom sa predpokladá začiatkom mája 2012). PGB odporúčalo Sekretariátu, aby si ponechalo dohľad a manažérsku pozíciu v PISA 2015 a tomu zodpovedajúce prostriedky a aby nebola PISA 2015 uskutočnená kompletne na vonkajšiu zákazku.  

PGB uvítalo objednávku Sekretariátu na vytvorenie metodiky na pomoc študentom so špeciálnymi výchovno-vzdelávacími potrebami. Avšak táto metodika bude musieť zodpovedať požiadavkám krajín, národným praktikám na tvorbu takýchto pomôcok a pod.

PISA 2012 počíta so zapojením študentov so špeciálnymi potrebami a pre Sekretariát to musí byť jedna z priorít – zapojiť a implementovať takýchto žiakov do testovania. Práve testovanie prostredníctvom počítačov môže poskytnúť príležitosti pre zapojenie a podporu žiakov, ktorí by boli ináč z neho vylúčení. 

Téma 6: Výhody a výzvy adaptívneho testovania PISA
 P. Way (Pearson) uviedol prezentáciu výziev a potenciálnych prínosov vo využití adaptívneho testovania v PISA, ktoré zahŕňali návrhy na možné zavedenie určitej adaptivity v štúdii PISA 2015.

Prezentovaný bol tzv. Multistage Adaptive BIB (Balanced Incomplete Block) Design, ktorý sa javí ako vyhovujúce a odporúčané počiatočné riešenie pre PISA 2015 (adaptívne nebudú testované jednotlivé úlohy, ale clustre úloh, resp. booklety). Je to riešenie, ktoré je flexibilné a relatívne mierne adaptívne. Na základe týchto výsledkov a analýz BIB testovania v roku 2015 bude postupne uskutočňované ďalšie zjemnenie technického dizajnu a nárast počtu položiek, ktoré budú vstupovať do masívnejšieho adaptívneho testovania v PISA 2018 a neskôr.

PGB privítalo návrhy pre zavedenie adaptívnych prvkov v PISA 2015, pričom boli vopred objasnené ťažkosti, ktoré budú tento proces sprevádzať – konceptuálne, metodologicky aj operacionalisticky. Nevyhnutné je zabezpečiť validitu a reliabilitu testovania clustrov a testovania ako takého. Súhlasne sa vyjadrilo k návrhu pokračovania výskumu a vývoja v tejto oblasti, kde prioritou bude adaptívne testovanie, medzi iným napr. formy a spôsoby zlepšovania merania, rozšírenie pokrytia testovaných lokalít, skrátenie individuálneho testovacieho času a pod. Navrhlo, že jestvujú dobré skúsenosti s adaptívnym testovaním cudzích jazykov (napr. Toefl test), elektronická PISA je však väčšou výzvou, keďže všetky úlohy sú viazané na konkrétny kontext. 

PGB ďalej požiadalo Sekretariát, aby pripravil dlhodobú vývojovú časovú líniu pre postupne zavádzanie adaptivity v PISA meraniach. Potrebné je nastaviť realistický pohľad aj na vývoj adaptivity bookletov/testov.

Téma 7: Link PISA na národné štandardy, kurikulum a hodnotenie  	
P. Philips (American Institutes for Research) informoval o dlhodobom výskume PISA so zámerom uskutočniť link PISA na národné štandardy, kurikulum a hodnotenie. Výskum sa zrealizoval v USA, konkrétne v štátoch Delaware, Hawai a Oregon. Proces bol uskutočňovaný v dvoch krokoch: Prvý – položky PISA boli včlenené do štátneho testovania a kalibrované na štátnej škále. Vnútri bookletov boli otázky usporiadané od najľahších po najťažšie. Medzinárodné položky kalibrované boli potom použité na prelinkovanie štátnej škály s PISA škálou. Linkovanie na PISA sa uskutočnilo v oblastiach matematika, veda (science), čítanie. Druhým krokom bolo použiť štatistické linkovanie ako časť štátnych štandardov so zámerom určiť ako náročné majú byť štátne štandardy, aby mohli konkurovať v medzinárodných porovnaniach. Linkované boli testovania v období 2006 – 2009. Zistila sa vysoká miera korelácie medzi výsledkami štátnych testov a PISA testov. Jedným z výstupov bolo poskytnutie spätnej väzby tvorcom kurikula a definovanie problémov v kurikule.  

PGB opakovane potvrdilo záujem a dôležitosť nastavenia efektívnych linkov medzi PISA, dobrou praxou škôl, národnými štandardmi a hodnoteniami. Bolo by veľmi užitočné poskytnúť spätnú väzbu zapojeným školám do testovania. PGB ďalej požiadalo Sekretariát, aby načrtlo skúsenosti krajín s integráciou a vzťahom PISA k národným štandardom. 

Téma 8: Progres vo vývoji štúdie PISA 2015
P. Davidson prezentoval náčrt plánovaných úloh pre PISA 2015, vrátane manažovania veľkého počtu dodávateľských subjektov, kľúčových dát v časovom horizonte a s dopadmi na národné a medzinárodné plánovanie PISA 2015.

PGB požiadalo Sekretariát, aby vypracoval materiál, v ktorom rozvrhne, ako interagujú odlišné prvky projektu vrátane kritických momentov, na základe ktorého PGB urobí kľúčové rozhodnutia v dizajne projektu a jeho implementácii. 

Téma 9: Vývoj rámca PISA 2015  
Pod vedením p. Jong, experti z okruhu kontraktorov pre Core 1, predstavili progres vo vývoji rámca pre PISA 2015 pre domény prírodovedná gramotnosť a kolaboratívne riešenie problémov (CPS) a zároveň aj predostreli celkový prístup a metodológiu výskumu.

PGB potvrdilo dôležitosť a význam efektívnych validovaných metód, ktoré zaisťujú, že PISA zahŕňa tie kompetencie, ktoré pripravujú študentov na efektívnu účasť v spoločnosti a na budúce vzdelávanie. Rovnako tieto kompetencie považujú zamestnávatelia za perspektívne z hľadiska požiadaviek trhu práce a za perspektívne ich považujú aj vyššie vzdelávacie inštitúcie z hľadiska kognitívnych požiadaviek pre nasledujúce štúdium. 

Predložená bola novo vymedzená a novým spôsobom reflektovaná oblasť – prírodovedná gramotnosť (science literacy), ide o ústup od testovania prírodovedy (science). PGB uvítalo predstavenie prírodovednej gramotnosti, požiadalo o rozšírenie konceptuálneho podloženia problematiky, nielen jej operacionalizované definovanie. Inovovaný prístup k hodnoteniu prírodovedného poznania bude zahŕňať nielen poznatky o prírodných vedách ale aj znalosti o tom, ako vieme, čo vieme, ako aj znalosti o zaangažovanosti do prírodovedného skúmania (v dotazníkoch sa budú skúmať postoje žiakov Bude však potrebné urobiť jasnejší link medzi predloženou definíciou prírodovednej gramotnosti a kategóriou poznatkov a kompetencií. 

V inovovanom chápaní prírodovednej gramotnosti sú považované oba atribúty – kognitívna aj non-kognitívna dimenzia – za rovnako dôležité, avšak z pohľadu merania musia byť ešte jasnejšie vymedzené a odlíšené, keďže postoje sa budú zisťovať prostredníctvom dotazníka.

PGB požaduje, aby na nasledujúcom stretnutí bolo preukázané, že študent, ktorý sa bude prostredníctvom počítača zaoberať riešením problémov (PS), bude naozaj uskutočňovať validné procesy kolaboratívneho PS tak, ako ich vykonávajú ľudia v reálnych životných interakciách.  Skúmané budú nielen kognitívne zručnosti, ale aj sociálne, kultúrne, interpersonálne zručnosti a postoje. Kolaboratívne PS testovanie by malo byť uskutočnené v rozsahu súčasných prieskumov, vrátane súčasného času žiaka na odpoveď. 

Téma 10: Plánovanie vývoja počítačovej platformy v PISA 2015
P. Kursch a p. Wagner (ETS) z Core 2 priniesli informáciu o progrese vo vývoji metód a infraštruktúry pre počítačové riešenie v PISA meraní.

PGB upozornilo, že riešenie PISA 2015 si vyžaduje opatrný prístup k dodanému systémovému riešeniu a treba brať do úvahy, že úplný on-line systém by nebol v súčasností manažovateľný v mnohých krajinách – jestvuje národná nekompatibilita sietí. Vývoj by mal byť systémovo budovaný na skúsenostiach z predchádzajúcich počítačovo uskutočňovaných meraní PISA (CBA, CBS) a PIAAC. Na základe navrhnutého časového plánu by mal byť v júni 2012 funkčný PISA 2015 portál. V čo najkratšom čase budú zverejnené a dostupné demo verzie testov pre školy, kde sa overia technická pripravenosť školských systémov.   

Téma 11:  Zriaďovacie náklady na počítačové riešenie PISA 2015
Na základe posledného rokovania PGB v Chile o výške nákladov a poplatkov za zavedenie počítačom uskutočňovaného testovania pripravil Sekretariát finančnú analýzu reálnych možností. P. Ripley (World Class Arena) prezentoval a predstavil 3 modely (scenáre)  nákladov a výhod ako aj naplánovanie ich vývoja.

Z pohľadu finančných nákladov predstavil 4 oblasti možných dopadov počítačového testovania: 1. Rýchlosť PISA procesov vrátanie posudzovania položiek, preklady, príprava národných verzií a analýz, 2. Správnosť, presnosť, vrátane správnosti dát a testovacích nástrojov, 3. Validita a relevantnosť PISA testov a domén, 4. Manžment komplexnosti a rizík.
Na realistické vyčíslenie nákladov, resp. čo najpresnejší odhad navrhol vytipovať 6 krajín (z toho 1 krajina nie OECD), kde sa na základe pilotu uskutoční finančná analýza. 

 PGB požiadalo Sekretariát, aby presnejšie vyčíslil pomer medzi národnými a medzinárodnými nákladmi vo vzťahu k počítačovému riešeniu pre jadro (core) a voliteľné časti. Zároveň musí byť presne rozlíšené medzi fixnými platbami a nákladmi, ktoré variujú podľa výberu vzorky žiakov (škôl). 

Téma 12: Progres v zavádzaní PISA 2012
Konzorcium podalo správu o operatívnych a analytických výstupoch  pilotného testovania PISA 2012. Zahŕňala informáciu o obsahu a dizajne hlavnej štúdie na základe štatistických charakteristík položiek pilotného testovania, výstupy zo stretnutia expertov a národných projektových koordinátorov (NPM).
V pilotnom testovaní boli včlenené inovatívne počítačom riadené prvky, na základe ktorých dôjde k vylepšeniam v hlavnom testovaní. Dôležité bude následne zhromaždiť skúsenosti a dáta všetkých krajín, ktoré sa zúčastnili pilotného testovania a adaptovať ich do prípravy hlavnej štúdie. PGB požiadalo Sekretariát, aby pripravilo analýzy a vyhodnotenie pilotného testovania PISA 2012.

Konzorcium ďalej predstavilo návrhy kontextu dotazníkov pre hlavnú štúdiu, pričom tieto boli prehodnotené po zapracovaní skúseností z pilotného testovania. Koncepčné zmeny a metodologické inovácie a progres sa budú vzťahovať na:
-  vytvorenie nadstavbového analytického rámca,
- jasnejšej rovnováhy medzi kontinuitou a inováciami, doménovo-špecifickými a doménovo-všeobecnými aspektmi, ako aj vstupov, procesov a výstupov,
- začlenenie nových prvkov do študentských dotazníkov, vrátane príležitosti učiť sa, postojov žiakov a ich vôle (zámerov) učiť sa matematiku, kariérne poradenstvo či jazykové vzdelávanie a pod,
- začlenenie nových prvkov do školských dotazníkov, vrátane vodcovstva v škole, bezpečnosti v škole, využitia internetu, dopad na ocenenie učiteľov a pod.,
- zvýšenie medzikultúrnej validity,
- zavedenie inovatívnych položkových formátov a vodiacich obrázkov (vigniet)

Téma 13: Dizajn a proces vývoja dotazníkov v PISA 2015
P. Klieme ako dodávateľ Core 6 prezentoval možnosti, akými sa bude uberať vývoj kontextu dotazníkov v roku 2015. Súčasťou bolo aj spracovanie rámca politiky otázok, resp. modulov, ktorým sa riadi vývoj dotazníkov a zahrnuté boli aj návrhy a pripomienky z NPM stretnutia a priority PGB. 

PGB podporilo dôležitosť nekognitívnych všeobecných vplyvov na vzdelávanie a školstvo. V prípade prírodovednej gramotnosti požiadalo Konzorcium, aby dotazníky adekvátne odrážali a zodpovedali situáciám v krajinách, kde sa veda (science) vyučuje v oddelených vyučovacích predmetoch (bilógia, chémia, fyzika). 

PGB požiadalo Konzorcium, aby maximalizovalo synergiu pri zbere a spracovaní dát, pričom by sa mala minimalizovať záťaž PISA. Ďalej požiadalo OECD, aby zjednotilo hodnotenie (vyhodnocovanie) medzinárodných dát z iných zdrojov ako je PISA, špeciálne čo sa týka učiteľov a vyučovania, ako sa vyjadrujú ku koncepčným záležitostiam zisťovaných v moduloch PISA a aby sa maximalizovala synergia a načrtli sa komplementarity. 

Súčasne bol predstavený materiál, ktorý obsahoval zoznam výskumov a vývojových aktivít zameraných na zvýšenie kvality, relevantnosti a analytickej hodnoty kontextu dotazníkov v PISA 2015 a ďalších cykloch.
 
Téma 14: Zhrnutie a ďalšie otázky
P. Breakspear (OECD) predstavil materiál zhrňujúci problematiku politického (normotvorného) vplyvu PISA na národné školské systémy a politiky. Materiál bol vypracovaný na základe rýchleho dotazníkového prieskumu účastníckych krajín. Materiál PGB ocenilo a privítalo ako relevantnú doplnkovú informáciu ako aj to, že bude pripravená na zverejnenie a publikovanie revidovaná verzia tohto materiálu.

P. Schleicher predstavil závery rokovania, poďakoval Ministerstvu školstva štátu Izrael za vynikajúcu organizáciu a pohostinnosť. Nasledujúce pracovné stretnutie PGB sa uskutoční 16. – 18. apríla v Talline, v Estónsku. 

5. Osobitne vyhotovený očakávaný prínos ZPC:
Pravidelnou účasťou NÚCEM na zasadnutiach PGB má Slovensko priamy prístup k informáciám a procesom, ktorými je riadený výskum štúdie OECD PISA na medzinárodnej úrovni. Dôležité sú aj priame kontakty so zástupcami účastníckych krajín v PISA ako aj výmena skúseností. Informácie z rokovaní PGB sú následne priamo sprostredkované organizačnému a realizačnému tímu riešiteľov štúdie PISA 2012 a 2015 na národnej úrovni (NPM koordinátori).  

6. Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií
Výsledky ZPC budú referované tímu NPM koordinátorov na internom pracovnom stretnutí.

Svojím podpisom súhlasím so zverejnením správy na internete.

Správu vypracoval: PhDr. Romana Kanovská

Správu schválil: Mgr. Jaroslav Ivančo, štátny tajomník

Dátum: 03. novembra 2011