Title: Príloha č
Author: vladimir.blaho
Last saved by: EK
Company: Infovek

Správa zo zahraničnej pracovnej cesty 

1. Účastníci ZPC:

Titul, meno a priezvisko:   	Mgr. Marta Černáková
Pracovisko:                         	OPESF, OPOPĽZ, SŠFEÚ, MŠVVaŠ SR, Stromová 1, 813 30 Bratislava
Pracovné zaradenie:         	hlavný štátny radca
Funkcia:			manažér monitorovania/hodnotenia OP
Znalosť jazykov:                	AJ

Titul, meno a priezvisko:   	Mgr. Jana Lapínová
Pracovisko:                         	OPESF, OPOPĽZ, SŠFEÚ, MŠVVaŠ SR, Stromová 1, 813 30 Bratislava
Pracovné zaradenie:         	hlavný štátny radca
Funkcia:			manažér programovanie/monitorovania/hodnotenia OP
Znalosť jazykov:                	AJ

2. Zahraničná pracovná cesta:

Štát:				Lotyšsko
Mesto:				Riga
Vykonaná v dňoch:		7.6.2017 – 9.6.2017
Prijímajúca organizácia:	European Commission, CRIE
Účel cesty:	účasť na seminári k problematike hodnotenia dopadov pomoci z EŠIF - COMMUNITY OF PRACTICE ON COUNTERFACTUAL IMPACT EVALUATION
Spôsob financovania:	Cestovné a pobytové náklady hradilo MŠVVaŠ SR 

3. Rámcový program pobytu:

7.6.2017

- odchod z Bratislavy, príchod do Rigy

8.6.2017 
- účasť na seminári k problematike hodnotenia dopadov pomoci z EŠIF - COMMUNITY OF PRACTICE ON COUNTERFACTUAL IMPACT EVALUATION

9.6.2017    
- účasť na seminári k problematike hodnotenia dopadov pomoci z EŠIF - COMMUNITY OF PRACTICE ON COUNTERFACTUAL IMPACT EVALUATION
- odchod z Rigy, príchod do Bratislavy 

4. Stručný priebeh rokovaní:

1. Deň konferencie  - 8. jún 2017

Otvorenie stretnutia
Zástupca evaluačnej divízie, oddelenia európskych fondov Ministerstva financií Lotyšska - Normunds Strautmanis privítal účastníkov konferencie a predstavil bližšie prítomným hosťujúcu krajinu Lotyšsko prostredníctvom videa pripravenom pri príležitosti Lotyšského predsedníctva v Rade EÚ https://www.youtube.com/watch?v=CtnIUr8Q4E4. 
Zástupkyňa DG EMPL – Maria José Cueto Faus uviedla, že konferencia reaguje na požiadavku členov spoločenstva „Community of Practice“ zdieľať dobré postupy a skúsenosti týkajúce sa kombinácie hodnotiacich metód - „Counterfactual impact evaluation“ (ďalej „CIE“) s takzvanými “Theory based impact evaluations” (ďalej aj „TBIE“) metódami. Kombinácia CIE s inými metódami posilňuje spoľahlivosť údajov a opodstatnenosť odporúčaní. Taktiež rozširuje naše chápanie procesov, prostredníctvom ktorých sa dosahujú výsledky programu.

Prezentácia: Paolo  Paruolo (Head  of  the  Competence  Centre  on  Microeconomic  Evaluation,  Joint  Research Centre)
Parubo a jeho tím z výskumného centra pracujú od roku 2013 na projektoch najvhodnejšej kombinácii evaluačných metód, ľudí a inštitúcií s cieľom skvalitnenia evaluačného dopadu. Problematiky z oblasti vedy, na ktorých sa podieľajú sú životné prostredie, výživa, úroda, hospodárstvo. Výsledky prinášajú inštitúciám. Pri evaluačnom procese za hlavné výzvy vyplývajúce zo skúseností jeho tímu považuje:
-	dáta (zložitosť procesu nájdenia kvalitných dát, určenie kvalitného zdroja a taktiež určenia charakteru najvhodnejších dát), 
-	metódy (výber najvhodnejšej metódy alebo metód, je najlepšie vybrať viacero, ak áno môžu byť navzájom v rozpore?) 
-	komplexita (do evaluačného procesu vstupujú viaceré subjekty - akademická obec, EÚ, členské štáty, zmluvná strana (dodávateľ) )
  Ponúkol riešenia týchto problematík:
-	dáta – ako užitočný zdroj uviedol administratívne dáta (registre, ktoré vytvára vláda a jej organizácie pre štatistické účely, už existujúce prieskumy a mapy, ktoré sa môžu doplniť dátami získanými pre daný konkrétny prípad
-	metódy – nie je potrebné si výhradne vybrať medzi CIE metódou alebo “Theory based” metódami, mali by sa navzájom dopĺňať, taktiež je dôležité plánovať, neustále prispôsobovať metódy danej situácii v rámci celého evaluačného procesu
-	komplexita – je vhodné upriamiť všetky subjekty jedným smerom  učenie sa o svete (task – learn about the world), zvoliť si jeden po prípade dva očakávané výsledky, hľadať synergie s ostatnými členmi komunity (v tomto prípade DG EMPL, CRIE, členské štáty, akademická obec) 
V rámci svojej prezentácie uviedol i 2 inšpiračné citácie:
-	Milton Friedman (1912 – 2006) „Jednou z najväčších chýb je posudzovať stratégie podľa ich zámeru a nie podľa ich ichsledku.“
-	George Bernard Shaw (1856 – 1950) „Jediný muž, ktorý sa správa rozumne je môj krajčír, vezme si moje miery vždy keď ho potrebujem, zatiaľ čo všetci ostatní pracujú so starými mierami a očakávajú, že sa im prispôsobím.“ 

Prezentácia: Lena Tsipouri (Profesorka na fakulte ekonomických vied, Univerzita v Aténach): Theory-based evaluations – formulácia a testovanie strategickej alebo programovej teórie 
Ideálne programová teória pozostáva z 2 komponentov:
–	teória zmeny (theory of change) – proces,  prostredníctvom ktorých sa dejú zmeny v prospech jednotlivcov, skupín alebo komunít 
–	teória konania (theory of action) – proces, ktorý určuje, ako sú dané intervencie zostavené, aby aktivovali teóriu zmeny
Theory-based evaluation (ďalej „TBE“) nám v tomto prípade dovoľuje systematicky rozlišovať medzi zlyhaním teórie (neprávne predpoklady v intervenčnej logike) a implementačným zlyhaním (nevhodná/nesprávna implementácia). Hlavnou úlohou TBE je objasnenie možných príčinných súvislostí. Problém môže nastať pri zostavovaní programovej teórie, ak táto teória sa seriózne nasleduje, avšak v realite nie je vôbec produktívna. Pri zostavovaní programovej teórie je nutné rozlišovať, čo je predpoklad a čo hypotéza. Kauzálne vzťahy, o ktorých sa preukázalo, že existujú v predchádzajúcich výskumoch sa používajú ako predpoklad pri návrhu a plánovaní stratégie. Avšak tento predpoklad nemusí byť platný na mieste a v čase vykonávania intervencie. V takomto prípade môže (ale aj nemusí) intervencia zlyhať. Ak intervencia zlyhá, predpoklad sa preukáže ako nesprávny a to vedie k chybnej hypotéze. Aj keď sa v niektorých prípadoch preukáže táto vzájomná súvislosť ako správna, predpoklad môže stále byť nesprávny. Predpoklady, ktoré vzišli z iných teórií, môžu byť použité k zostaveniu programovej teórie a následne sa overí, ktorý je pre danú intervenciu najhodnejší. 
K zostaveniu našej teórie potrebujeme jasné ciele (zamýšľané dopady by mali byť určené prostredníctvom stanovených programových cieľov; nemôžeme vyhodnotiť intervenciu a testovať, či vyprodukovala dopad, ktorý nebol cieľom intervencie) a intervenčnú logiku (teóriu zmeny). 
V reálnom svete stavebné prvky, z ktorých pozostáva naša teória nie sú tak jednoznačné ako by sme očakávali. Ciele môžu byť jasné alebo nie; priamo vyjadrené alebo skryté; jednoduché alebo komplexné; konkurenčné (napr. zvýšenie zamestnanosti a konkurencie, ochrana životného prostredia); komplementárne voči iným intervenciám (exportná subvencia a infraštruktúrny rozvoj; tréningový program a mzdová subvencia).
Formulácia evaluačných otázok je podmienená cieľmi a teoretickým modelom. Napríklad v prípade tréningového programu sa pýtame: Znížila intervencia krátkodobú/dlhodobú nezamestnanosť? Navýšila konkurencieschopnosť?. V súvislosti s výberom vhodnej metodológie neexistuje zázračné riešenie pre konkrétny typ hodnotenia. Využitie všetkých dostupných metodológií je príliš nákladné. Dobrý hodnotiteľ vystihne správny moment pre výber metódy a určí kto metódu vyberie (pred alebo po návrhu programovej teórie?, riadiaci orgán alebo samotný hodnotiteľ?). Rozlišujeme 2 typy metodológií:
i.	Kvantitatívne		
•	Ekonometrické modely
•	Makroekonomické modely
•	Pokusy náhodných kontrol; 
•	Kontrafaktické (kontrolná skupina sa porovná s rovnakou alebo historickou)
ii.	Kvalitatívne (sú potrebné pri testovaní hypotéz)
•	Interview 
•	Zber administratívnych dát
•	Dotazníky, prieskumy

Potom ako sú zozbierané výsledky je potrebné overiť, či sú kompatibilné s programovou teóriou využitím kvantitatívnych dopadových hodnotení, interakciou s účastníkmi hodnotenia a kľúčovými informátormi. V tejto fáze empiricky testujeme programovú teóriu s využitím primárnych alebo sekundárnych dát (triangulácia); usporadujeme iteračný proces neustáleho zdokonaľovania pomocou spätnej väzby stakeholderov a viacerých techník a zdrojov zhromažďovania údajov; využívame už publikované recenzie a štúdie syntézy, tie môžu zohrávať kľúčovú úlohu pri zaraďovaní existujúcich dôkazov na prehĺbenie účinnosti a platnosti TBE s cieľom prispieť k budúcemu budovaniu poznatkov a uspokojiť informačné potreby stakeholderov (meta-hodnotiaca vizualizácia, mapovací software môžu pomôcť pri tejto úlohe).
Prezentácia: Claudio Lucifora (Katolícka univerzita Sacro Cuore, Taliansko): "Ex-post counterfactual policy evaluation of European structural funds: where do we stand?"
V programovom období 2007 – 2013 sa uskutočnilo v členských štátoch celkovo 721 hodnotení programov spolufinancovaných z ESF.
•	Ide o viac hodnotení ako v predchádzajúcich obdobiach 
•	Počas tohto PO si členské štáty si osvojili rôzne prístupy v hodnotení 
•	Len 20% hodnotení sa zameralo na vyhodnotenie výsledkov programu a len u 5% hodnotení sa využila CIE
•	Vzišla teda potreba, aby hodnotenia posudzovali účinky/výsledky a efektivitu nákladov (nie len čerpanie zdrojov)
V programovom období 2014 – 2020 je orientácia na výsledky je v srdci novej kohéznej politiky. Preto je potrebné, aby
•	hodnotenie hralo dôležitú úlohu pri stratégiách (aspoň jedno hodnotenie za každú prioritu)
•	sa určili ciele a indikátory, ktoré by hodnotili každú strategickú intervenciu
•	sa zhotovil hodnotiaci plán pre každý program
•	sa vyhodnotila efektivity a reálne výsledky prostredníctvom aj CIE
•	sa identifikovalo ako boli výsledky dosiahnuté
Kvalita návrhu a implementácie programu sú nevyhnutné, ale nie postačujúce. Hodnotenie ESF strategických cieľov prostredníctvom CIE prístupu je obzvlášť výzvou, kvôli:
•	veľmi komplexnej štruktúre priorít, operačných programov
•	širokospektrálnej povahe cieľov kohéznej politiky
•	angažovanosť veľkého množstva stakeholderov
•	financovanie je rozdelené do mnohých aktivít a iniciatív

ESF «ex-post» hodnotenie
Hodnotenia sú často založené na procese-orientovanom meraní:
•	rozsahu aktivít a typu projektov 
•	procesov administratívneho financovania
•	výberu projektov, ktoré sa podporili
•	nákladov podľa prioritnej osi, krajiny či regiónu
•	dát a kľúčových ukazovateľov radšej ako výsledkov
•	súlad ukazovateľov s cieľmi
•	efektivity úloh s cieľom identifikovať možné zlepšenia
•	“gross efektu ” intervencií

Rozhodujúce v procese ESF «ex-post» hodnotenia je zodpovedanie si nasledujúcich otázok:
•	Čo je pridaná hodnota aktivít podporených z ESF
•	Uskutočnila sa reálna zmena alebo výstup by bol možný aj bez absencie podpory?
•	Udial sa neočakávaný účinok, ktorý ponížil očakávaný úžitok?
•	Pritiahla ESF podpora ďalšie zdroje?
•	Ako efektívne bolo vynaloženie nákladov s ohľadom na plánovaný dopad?
•	Ktorý program bol efektívnejší a ktoré sú hlavné faktory za úspešnými výstupmi?

2. Deň konferencie  - 9. jún 2017

Druhý deň pokračoval seminár ďalšími prezentáciami a výmenou praktických skúseností z realizovaných či pripravovaných hodnotení. 

Prezentácia: Sophie Guthmuller (CRIE): „Odpoveď na otázku čo a či funguje v rámci intervencie – identifikovanie a odhadovanie kauzálnych efektov prostredníctvom CIE“. 
V prezentácii bola upriamená pozornosť najmä na nasledovné odporúčania:
- pri CIE je najpodstatnejšie: kauzalita (pričom je potrebné nezamieňať si ju s koreláciou), kontrafaktuál, výberové „bias“, kontrolná skupina a dáta
- pri dátach je najpodstatnejšie: zdroje, zber, ochrana a ich vzájomné prepojenie
- každé hodnotenie CIE musí byť podporené „teóriou zmeny“
- vždy pred začatím CIE odporúča uskutočniť malú štúdiu realizovateľnosti (tzv. Feasibility study), ktorá nám dá odpovede na otázky či existuje reálna kontrolná skupina, či je kontrolná skupina dostatočne veľká a aj reprezentatívna
- rovnako je potrebné vykonať analýzu dostupnosti dát pred hodnotením (aj na podporené aj na kontrolné skupiny)
- je potrebné ešte pred hodnotením zodpovedať otázky, či bola vykonaná intervencia osobitá, oddelená, rozpoznateľná a relatívne homogénna?    
- hlavné zdroje dát sú 4: dáta zo sčítania ľudu, dáta z dotazníkov na vybranej vzorke, administratívne dáta a dáta z monitorovania
- čím lepšie budú pripravené kolekcie dát na hodnotenie, tým lepšie a aj lacnejšie CIE hodnotenie bude
- žiadne CIE hodnotenie nemôže dopadnúť úspešne bez toho, aby bolo naplánované vopred: príprava plánu hodnotenia / napísanie zadávacích podmienok / popis hodnotenia /  výber účastníkov / špecifické oblasti a ciele / dostupnosť údajov / metodický prístup / externí experti 
- CRIE sa snaží byť čo najviac nápomocné, na ich stránke  https://crie.jrc.ec.europa.eu sú k dispozícii kontrolné listy na správne vypracované Zadávacie podmienky, online videá a nástroje na správny výber veľkosti vzorky.

Prezentácia: Eleny Meroni (CRIE): „Metódy hodnotenia dopadu“, kde predstavila CIE metódy v praxi. 
V prezentácii boli prostredníctvom praktických príkladov z vykonaných hodnotení, resp. štúdií vybraných členských štátov zdôraznené kľúčové elementy v rámci hodnotenia dopadov. 
Dve najhlavnejšie zložky, ktoré potrebujeme na to, aby sme vybrali správnu hodnotiacu metódu a našli najvhodnejšiu kontrolnú skupinu sú: znalosti o výberovom procese výber a dáta. Včasné plánovanie CIE predtým, než sa uskutoční intervencia povedie k správnemu vyhodnoteniu intervencie po skončení jej implementácie. Každý kto je pri tvorení politík alebo navrhovaní operačných programov by mal už vtedy zohľadňovať ich budúce CIE hodnotenie.   

Prezentácia: Jan Baran (z Poľského Ministerstva pre ekonomický rozvoj): Vykonané hodnotenie Iniciatívy pre mladých (Youth Employment Initiative) v Poľsku. 
Implementácia YEI v Poľsku bola doteraz za 550 miliónov EUR pre cca 400 000 mladých ľudí v 10 oprávnených regiónov. Do konca roka 2023 plánujú ešte na YEI minúť 1,7 milióna EUR. V doterajšej implementácii YEI bola podporovaná veková skupina 15 – 29 rokov, pričom mladých vo veku 25 – 29 rokov bolo 40 % a tých vo veku 18  - 24 rokov bolo 60 %. Mladých neet- ov vo veku menej ako 18 rokov bolo menej ako 1%. V rámci hodnotenia vykonali dokopy 9 000 interview a využívali aj potrebné dáta zo Sociálnej poisťovne. Hodnotitelia získali dáta zo systému CeSAR, v ktorom sú registrovaní všetky nezamestnané osoby v Poľsku, pričom cca 10 miliónov z nich je vo veku 18 – 29 rokov.  
V rámci hodnotenia zistili, že najväčší počet neet-ov sa po intervencii vrátilo do vzdelávania alebo sa zamestnala, 25 % neet-ov aj po intervencii ostalo „neet“ a len minimálne % z nich si po intervencii založilo živnosť na podnikanie (čo bol jeden z cieľov). 
Hodnotenie tiež preukázalo dva negatívne dopady a to tie, že napriek tomu, že sa po intervencii zamestnali, ich plat bol na hranici minimálnej mzdy, ako aj to, že dievčatá mali ešte o 30 % nižšiu mzdu ako chlapci.  

Debata v rámci okrúhleho stola, ktorú viedla Giulia Santangelo (CRIE): Iniciatíva CRIE s názvom Data Fitness Initiative vo vzťahu k CIE (Contrafactual Impact Evaluation).
Spomínaná iniciatíva CRIE bola spustená v roku 2016 a zameriava sa na podporu využívania CIE pri hodnotení vykonaných intervencii financovaných z ESF. CRIE sa snaží pomáhať členským štátom s výberom vhodnej intervencie z ESF na vykonávanie CIE hodnotenie a ponúka spoluprácu riadiacim orgánom v súvislosti s hodnoteniami predpokladanými v ich plánoch hodnotenia. Účastníkmi Data fitness Iniciative za rok 2016 boli Taliansko a Lotyšsko.  
Iniciatíva Data Fitness pre rok 2017 sa zameria na pomoc ďalším dvom vybraným Riadiacim orgánom so spracovaním údajov v rámci CIE a na pomoc piatim ďalším potenciálnym žiadateľom so získaním "pripravených dát" pre ich budúce hodnotenia CIE. ESF Riadiace orgány stále ešte môžu poskytnúť CRIE údaje, ktoré sú potrebné na realizáciu dobre navrhnutého CIE hodnotenia z osobitnej intervencie financovanej  z ESF. Vybrané Riadiace orgány ESF budú mať v priebehu roka pomoc zo strany CRIE v procese zberu údajov a  dátových prepojení, tak aby boli pripravené na hodnotenie CIE v roku 2018. 
Slovenská republika nepatrí medzi krajiny, ktoré boli/sú zapojené do tejto iniciatívy. 

Prvou prezentujúcou a diskutujúcou na tému týkajúcu sa Data fintness Initiative v roku 2016 bola Alona Tutova z Ministerstva hospodárstva z Lotyšska, ktorá predstavila hodnotenie poskytnutých školení (na Úrade práce) mladým ľuďom v rámci YEI. 
Intervencia bola zameraná na cieľovú skupinu mladých ľudí vo veku 15 – 29 rokov, ktorí sú nezamestnaní a ani neštudujú (viac ako 100 000 mladých účastníkov bolo zapojených v priebehu rokov 2014 - 2016). 
Dáta z hodnotenia preukázali, o. i.  že:   
- 62 % nezamestnaných malo stredoškolské vzdelanie 
- 28 % malo odborné vzdelanie
- 10 % malo vysokoškolské vzdelanie
- 70 % malo minimálne alebo žiadne pracovné skúsenosti
- 13 % si hľadalo prácu viac ako 1 rok.

Druhým prezentujúcim a diskutujúcim na tému týkajúcu sa Data fintness Initiative bol Nicolae Toderasz z Ministerstva regionálneho rozvoja z Rumunska, ktorý predstavil pripravované CIE hodnotenie v Rumunsku v roku 2017.
ESF intervencia prebieha v rámci aktuálneho PO 2014 – 2020 a bola zameraná na poskytnutie školení pre Neet – ov za účelom ich lepšej zamestnateľnosti a uplatnenia sa na pracovnom trhu. Celkovou cieľovou skupinou bolo 221 269 nezamestnanaých Neet – ov a 200 000 neaktívnych neet- ov. Projekt začne v septembri 2017 a bude trvať do decembra 2023 a má celkový rozpočet 353 miliónov EUR. Hodnotitelia budú využívať prevažne dáta, ktoré sú k dispozícii z registrov nezamestnaných z Úradov práce, z integrovaného registra Ministerstva školstva, zo Štatistického úradu z monitorovacích dát Riadiaceho orgánu. 

Ďalším prezentujúcim a diskutujúcim na tému týkajúcu sa Data fintness Initiative bol Szabó János Zoltán z Maďarska.  
Predstavil pripravované CIE hodnotenie YEI v Maďarsku v roku 2017. ESF intervencia prebehla v rámci aktuálneho PO 2014 – 2020 a bola zameraná na zníženie predčasného ukončenia školskej dochádzky a bola v celkovom objeme 32 miliónov EUR a so sledovaním 21 merateľných ukazovateľov. Podporenú skupinu tvorilo celkovo 300 škôl, 1 500 pedagogických zamestnancov a 30 000 žiakov základných škôl. Na CIE hodnotenie zvolili nasledovný kľúč veľkosti kontrolnej skupiny: 100 + 100 + 100 = 300.  

V závere dna prebiehala diskusia o prebiehajúcich hodnoteniach a očakávaniach od najbližšej CoP-CIE. S odborníkmi CIE bol vytvorený priestor diskutovať najmä o otázkach súvisiacich s: uzatváraním hodnotení dopadov, prípravou hodnotiacich otázok,  zabezpečením dostupnosti údajov, ako aj navrhovaním a výberom vhodnej metódy, resp. ich kombinácií. 

5. Odporúčané závery:

Využiť získané informácie pri príprave dokumentov súvisiacich s plánovanými hodnoteniami a nastavovaním systému hodnotení pre operačný program Ľudské zdroje.  

6.   Prehľad prinesenej dokumentácie a miesto jej uloženia

Dokumentácia prinesená zo ZPC je k dispozícii u účastníčok ZPC Mgr. Marty Černákovej a Mgr. Jany Lapínovej. Správa zo ZPC je zverejnená na webovom sídle MŠVVaŠ SR a v rámci Oddelenia pre OP ĽZ a OPV je správa zverejnená v rámci zdieľaného adresára oddelenia. 

7.   Osobitne vyhodnotený očakávaný prínos ZPC

Prínosom je výmena skúsenosti s kolegami z EK a iných členských krajín EÚ, ktoré je vhodné využiť pri procese hodnotenia Prioritnej osi 1 Vzdelávanie v rámci OP ĽZ. 
Informácie a poznatky získané na tomto podujatí budú využité pri realizovaní hodnotení pokroku v rámci Prioritnej osi 1 Vzdelávanie operačného programu Ľudské zdroje. 

8.    Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií

Správa bola predložená generálnemu riaditeľovi Sekcie štrukturálnych fondov EÚ. Bude zverejnená na internetovej stránke MŠVVŠ SR. 

Súhlasíme so zverejnením správy na internete.

Správu vypracovali: 
  
Mgr. Marta Černáková                                                   ..................................................

Mgr. Jana Lapínová                                                       ..................................................

Dátum: 23.6.2017      

So správou súhlasí: 

Mgr. Veronika Paľková
vedúca Oddelenia pre OP ĽZ a OPV                             ..................................................

Mgr. Stanislav Gernic
riaditeľ Odboru riadenia pre programy ESF                    ..................................................

Správu schválil: 

Ing. Juraj Gmiterko
generálny riaditeľ Sekcie štrukturálnych fondov EÚ    ...................................................

Trieda dôvernosti: Verejné