Title: Príloha č
Author: vladimir.blaho
Last saved by: Černáková Marta
Company: Infovek

Správa zo zahraničnej pracovnej cesty 

1. Účastník ZPC:

Titul, meno a priezvisko:   	Mgr. Marta Černáková
Pracovisko:                         	OOPVZ , SŠFEÚ, MŠVVaŠ SR, Stromová 1, 813 30 Bratislava
Pracovné zaradenie:         	hlavný štátny radca
Funkcia:			manažér monitorovania
Znalosť jazykov:                	AJ

2. Zahraničná pracovná cesta:

Štát:                                     	Belgicko
Mesto:                                 	Brusel
Vykonaná v dňoch:             	11.11. – 13.11.2015
Prijímajúca organizácia:    	EK
Účel cesty:                   	Účasť na CONFERENCE ON THE RESULTS OF THE PILOT ESF COUNTERFACTUAL IMPACT EVALUATIONS a koordinačnom stretnutí zástupcov EK so  zástupcami členských štátov EÚ činných v oblasti hodnotenia – ESF Evaluation Partnership Meeting 
Spôsob financovania:      Cestovné a ubytovanie (1/2) hradila EK, vreckové, stravné a ubytovanie (2/2) hradilo MŠVVaŠ SR

3. Rámcový program pobytu:

11.11.2015

- odchod z Bratislavy, príchod do Bruselu 

12.11.2015 

- účasť na CONFERENCE ON THE RESULTS OF THE PILOT ESF COUNTERFACTUAL IMPACT EVALUATIONS

13.11.2015    

- účasť na  pracovnom zasadnutí Pracovnej skupiny pre hodnotenie ESF
- odchod z Bruselu, príchod do Bratislavy 

4. Stručný priebeh rokovaní:

12.11.2015

Konferenciu otvoril a všetkých účastníkov privítal p. Santiago Lorenca Garcia, riaditeľ odboru hodnotenia dopadov DG EMPLOYMENT. Všetci účastníci konferencie mali možnosť si v úvode pozrieť videá o kontrafatuálnej metóde hodnotenia dopadov (CIE), ktoré pripravilo Joint Research Centre z EK.
Ďalší speaker bol p. Zoltán Kazatsay, generálny riaditeľ  v rámci DG EMPLOYMENT, ktorý zvýraznil správne vyhodnotenie dopadu efektívnosti a efektivity v rámci využívania prostriedkov EŠIF, špeciálne ESF. Pripomenul výraznú zmenu v rámci programového obdobia 2014 – 2020, ktorou je silnejšia výsledková orientácia a dôraz na hodnotenie, pričom ostáva na jednotlivých členských štátoch aby si zvoli tú najvhodnejšie CIE metódu.

Konferencia bola rozdelená do dvoch častí a v rámci nich boli predstavené všetky pilotné hodnotenia CIE, ktoré hradila EK (DG Employment) v rámci výzvy pre Riadiace orgány ESF na predkladanie projektov. Celkovo bolo vypracovaných 8 CIE hodnotení z nasledovných krajín: Španielsko, Taliansko, Portugalsko, Litva a Slovensko. Cieľom týchto pilotných hodnotení bolo hlavne získať skúsenosti s CIE. Jednotliví zástupcovia sa zhodli, že aj keď realizácia týchto hodnotení nebola jednoduchá úloha, bola veľmi osožná a účelná. Riadiace orgány zistili, že spolupráca medzi všetkými zúčastnenými stranami na CIE je nevyhnutná, že je potrebné naplánovať CIE dostatočne vopred, ideálne už počas designovania programu, myslieť vopred na zber dát, mikroúdaje, ochranu osobných údajov, kontrolné skupiny a pod. Rovnako je dôležité zakomponovať výsledky a odporúčania týchto hodnotení do najbližších intervencií alebo legislatívy.
  
Tematická časť 1 konferencie s názvom Aktívne politiky trhu práce zahrňovala celkovo 4 prezentácie:
1. p. Dovile Zvalionyte prezentovala hodnotenie s názvom Kontrafaktuálne hodnotenie dopadov opatrení aktívnej politiky trhu práce financovaných z ESF v Litve.  
Úlohou hodnotenia bolo zistiť dopady opatrení aktívnej politiky trhu práce financovaných z ESF v Litve. Cieľovou skupinou hodnotenia boli nezamestnaní a nezamestnaní so znevýhodnením. CIE metóda, ktorá bola zvolená bola PSM – Propensity score matching a DID – Difference in difference. Najväčšou prekážkou bol výber vzorky podporených účastníkov. Výsledok hodnotenia preukázal pozitívny dopad na zamestnanateľnosť cieľovej skupiny aj na zvýšenie ich zárobku v priemere o 1 600 Litas ročne. 

2. p. Costanza Pagnini prezentovala hodnotenie s názvom Vyhodnotenie dopadu na zamestnanosť na základe iniciatív zamestnávania v Taliansku. 
Úlohou hodnotenia bolo zistiť dopad iniciatív zamestnávania ľudí so znevýhodnením v Kalábrii a transformácia zmlúv na dobu určitú na zmluvy na dobu neurčitú v regiónoch Umbria a Marche v Taliansku. Cieľovou skupinou hodnotenia boli firmy, ktoré boli oprávnené pre vyššie uvedené iniciatívy. CIE metóda, ktorá bola zvolená bola: PSM - Propensity score matching. Najväčšou prekážkou boli problémy s výberom kontrolnej skupiny. Výsledkom hodnotenia bol negatívny dopad na zamestnávanie ľudí so znevýhodnením a pozitívny v transformácii zmlúv na dobu určitú na zmluvy na dobu neurčitú ( cca 25% zmlúv bolo efektívnejších). 

3. p. Carlos Miguel Sanchez a p. Angel Jimenes Rojas zo Španielska prezentovali hodnotenie s názvom Hodnotenie ESF tréningových intervencí na zamestnanosť v Castile La Mancha.
Úlohou hodnotenia bolo zistiť, aký majú dopad ESF kurzy na zamestnanosť v Castile La Mancha. Cieľovou skupinou hodnotenia boli mladí nezamestnaní vo veku do 24 rokov.  CIE metóda, ktorá bola zvolená bola: PSM – Propensity score matching a DID – Difference in difference. Najväčšou prekážkou boli nejasná cieľov skupina a limitovaná vzorka kontrolnej skupiny. Výsledkom hodnotenia bolo, že cieľová skupina mala po absolvovaní kurzov približne 10% väčšiu šancu sa zamestnať. 

4. p. Pedro Martins prezentoval hodnotenie s názvom CIE rozsiahleho aktivačného programu v Portugalsku. 
Úlohou hodnotenia bolo zistiť dopad rôznych intervencií aktívnej politiky trhu práce na zamestnanteľnosť a príjem nezamestnaných osôb. Cieľovou skupinou hodnotenia boli nezamestnaní do veku 45 rokov poberajúci sociálny príspevok v nezamestnanosti. CIE metóda, ktorá bola zvolená bola: RDD – Regression discontinuity design. Najväčšou prekážkou boli chýbajúce dáta týkajúce sa dlhodobo – nezamestnaných osôb do veku 45 rokov. Výsledkom hodnotenia bolo, že cieľová skupina mala približne dva krát vyššiu pravdepodobnosť zamestnať sa v porovnaní s kontrolnou skupinou. 

V závere prvého bloku bolo zhodnotenie hodnotení zo strany EK, konkrétne p. Sylke Schnepf z centra CRIE, ktorá vyzdvihla slabé aj silné stránky každého hodnotenia. 

Tematická časť 2 konferencie s názvom Odborná príprava zahrňovala rovnako celkovo 4 prezentácie:
1. p. Paolo Severati  prezentoval hodnotenie s názvom Je poskytovanie kurzov odbornej prípravy efektívne pre nezamestnaných mladých ľudí s vysokoškolským diplomom v Taliansku?
Úlohou hodnotenia bolo zistiť, či poskytovanie kurzov odbornej prípravy po strednej škole je efektívne pre nezamestnaných mladých ľudí s vysokoškolským diplomom v 4 rôznych regiónoch v Talianku (Piemtone, Tretno, Veneto a Lazio). Cieľovou skupinou hodnotenia boli mladí ľudia vo veku 20 – 29 rokov, nezamestnaní s vysokoškolským diplomom. CIE metóda, ktorá bola zvolená bola: PSM – Propensity score matching. Najväčšou prekážkou boli nekvalitné dáta a málo reprezentatívna kontrolná skupiny. Výsledkom hodnotenia bolo, že rok po absolvovaní kurzu sa zamestnanosť týchto mladých ľudí zvýšila o 11%. 

2. p. Andres Vork prezentoval hodnotenie s názvom Kontrafaktuálne hodnotenie dopadov odborných tréningových aktivít v Estónsku.
Úlohou hodnotenia bolo zistiť, ako funguje program s názvom Tréningy a rozvoj v rámci celoživotného vzdelávania zamerané na nájdenie si práce. Cieľovou skupinou hodnotenia boli, dospelí zamestnaní mimo povinného vzdelávania v rámci celej krajiny. CIE metóda, ktorá bola zvolená bola: PSM – Propensity score matching a DID – Difference in difference.
Najväčšou prekážkou boli ťažko prístupné údaje o kontrolnej skupine získavané napr. prostredníctvom PIAAC. Výsledkom hodnotenia bol signifikantný pozitívny dopad aj na zamestnanosť aj na zvýšenie mzdy (o cca 6%). 
3. p. Albert Németh prezentoval hodnotenie s názvom Pilotné kontrafaktuálne hodnotenie dopadu sa SZČO a absolventskú prax. 
Úlohou hodnotenia bolo zistiť, aký je dopad absolventskej praxe a intervencií na podporu SZČO. Cieľovou skupinou hodnotenia boli mladí nezamestnaní vo veku do 26 rokov registrovaní na Úrade práce minimálne 3 mesiace.  CIE metóda, ktorá bola zvolená bola: Exact matching a PSM - Propensity score matching. Najväčšou prekážkou boli dostupnosť a zber dát, chýbajúca skúsenosť s CIE metódami a nie plne vyhovujúca metóda PSM.   Výsledkom hodnotenia bolo, že obe ESF intervencie podporili vstup na trh práce mladých nezamestnaných, či už získaním absolventskej praxe alebo začatím podnikania ako SZČO. 

4. p. Teresa Fernandes a p. Monika Dias prezentovali hodnotenie s názvom ESF podporujúce mladých v Portugalsku – poskytovanie praxe a odborného vzdelávania. 
Úlohou hodnotenia bolo zistiť aký je dopad kurzov pre mladých nezamestnaných na ich vstup na trh práce. Cieľovou skupinou hodnotenia boli osoby, ktoré boli zamestnané pred tým ako sa stali nezamestnanými od roku 2007 do roku 2013. CIE metóda, ktorá bola zvolená bola matching a regression analysis. Najväčšou prekážkou bol výber kontrolnej skupiny. Výsledkom hodnotenia bolo, že po absolvovaní kurzov sa pravdepodobnosť zamestnanť sa zvýšila o 10 – 20 % do obdobia 2 roky od intervencie. 

V závere druhého bloku bolo zhodnotenie hodnotení zo strany EK, konkrétne p. Giulie Santangelo z centra CRIE, ktorá vyzdvihla slabé aj silné stránky každého hodnotenia. 

V závere konferencie prebehla panelová diskusia všetkých prezentujúcich s účastníkmi konferencie, kde bola možnosť opýtať sa prezentujúcich na konkrétne otázky týkajúce sa hodnotení. Rovnako všetci prezentujúci predstavili najbližšie kroky týkajúce sa implementovania výsledkov CIE a odporúčaní či už do legislatívy alebo do pripravovaných ESF intervencií.  

13.11.2015

Pracovné stretnutie otvoril Santiago Lorenca Garcia, riaditeľ odboru hodnotenia dopadov  DG EMPLOYMENT. 

Prvým krokom bolo schválenie programu zasadnutia pracovnej skupiny a schválenie zápisnice z minulého zasadnutia pracovnej skupiny, ktoré sa konalo dňa 10. júna 2015 v Bruseli. 

Prvou prezentáciou bola informácia o upravenom Evaluation guidelines EK, ktorú predstavila p. Jeannette Monier z odboru hodnotenia dopadov  DG EMPLOYMENT.

Upravené znenie bolo publikované dňa 19.5.2015 a zavádza 3 hlavné zmeny:
1. Evalation road map:
EK musí pri každých TOR k hodnoteniu EK vypracovať Evalation road map, centrálne publikovanú, pričom sa bude v rámci lehoty 4 týždne očakávať spätná väzba od partnerov  a finálna verzia TOR môže byť považovaná až po tejto lehote 4 týždňov a prípadných vyjadreniach partnerov. 

2. Konzultácie s partnermi:
Jednou z úprav je napr. povinnosť pre EK zabezpečiť po publikovaní záverov hodnotení na webovom sídle EK 12 týždňovú lehotu na poskytovanie konzultácií, resp. pripomienkovanie dokumentu zo strany ČŠ tak, aby bol zabezpečený nezávislý pohľad. Rovnako musí EK po uplynutí 12 týždňov vypracovať správu s pripomienkami, otázkami, tzv. synopsis. EK rovnako vypracuje tzv. Staff working document, kde zosumarizuje záverečné výsledky a zistenia hodnotení. 

3. Povinné hodnotiace kritériá:
Boli zavedené povinné kritéria pri hodnotení, konkrétne: efektivita, účelnosť, relevancia, koherencia, pridané hodnota EÚ, pričom všetky kritéria musia byť vyhodnotené. Uviedla, že všetky nové zavedené nástroje majú za cieľ viesť k lepšej transparentnosti v rámci hodnotení ESF. 

Celý dokument je k dispozícii na http://ec.europa.eu/smart-regulation/guidelines/index en.htm.

Druhou prezentáciou bola informáciu od externého hodnotiteľa o ESF 2007 – 2013 Ex- post tematickom hodnotení. 
Zástupkyňa externého hodnotiteľa uviedla, že hodnotenie s názvom Prístup a udržateľná integrácia zamestnania sa začalo v septembri 2014 a nachádza sa v súčasnosti v jeho záverečnej fáze. Bolo predstavené celé hodnotenie (bolo vybraných 12 ESF operačných programov z 12 ČŠ  - Slovensko bolo medzi vybranými – OP ZaSI), zvolená metodológia, aké kritéria boli hodnotené, aké sú predbežné závery a „lessons learned“. Jedným z predbežných záverov je aj to, že hodnotitelia zistili, že ani Výročné správy o vykonávaní OP neposkytujú dostatok informácií a údajov o celom OP a, že je veľmi náročné postaviť hodnotenie iba na monitorovaných údajoch. Celkovo bolo zanalyzovaných 28 z 83 operačných programov a 89 z 304 ESF intervencií. Hodnotitelia spočítali, že zo všetkých 27 ČŠ (s výnimkou Chorvátska) bolo celkov podporených 24 830 273 účastníkov, najviac ich bolo vo Francúzsku, Taliansku, Poľsku, Slovensku, Nemecku a Írsku.  

Treťou prezentáciou bolo predstavenie systému zberu ESF dát v Holandsku založenom na administratívnych registroch, ktorú prezentovala p. Nienke da Silva.
P. Silva predstavila ESF MIS (managment monitoring system) fungujúci v Holandsku, ktoré administruje 1 operačný program z ESF so 4 prioritnými osami za 507 mil. EUR. Systém funguje   na základe prepojenia jedného hlavného systému na Štatistickom úrade v Holandsku s ostatnými systémami v rámci každého regiónu. Systém zabezpečuje spoľahlivosť monitorovaných dát pričom udržuje latku administratívnej záťaže veľmi nízko. 

Štvrtou prezentáciou bola informácia o súčasnom stave v rámci vyhodnocovania a reportovania Iniciatívy zamestnávania mladých (YEI), ktorú prezentoval p. Costas Voyiatzis z Impact Assessment and Evaluation Unit DG Employment. 
Prvé štruktúrované dáta k YEI boli zo strany všetkých 28 ČŠ dodané EK v stanovenom termíne do konca apríla 2015. Celkovo bolo zhodnotené, že všetky ČŠ zaslali správu v termíne, správy boli relatívne konzistentné, niektoré neúplne, resp. nesprávne. Niektoré správy boli čiastočné, iné presahovali reportovaný cut – off date, t.j. 31.12.2014. EK zdôraznila, že poskytovanie dát k YEI je kľúčové a je potrebné aby sa všetky ČŠ postavili k tomu veľmi zodpovedne a precízne.  

Piatou prezentáciou bolo vyhodnotenie odpovedí ČŠ k dobrovoľnému dotazníku týkajúceho sa reprezentačnej vzorky, ktorú prezentoval p. Andy Fuller z ESF Data support Centre.
Všetky ČŠ boli formou anonymného dotazníka požiadané, aby odpovedali na otázky týkajúce sa reprezentatívnej vzorky. Zástupca EK zhodnotil zaslané vyplnené dotazníky vo všeobecnosti, uviedol, že boli zaslané aj neúplne, chýbajúce a nedostatočné informácie, resp. príliš všeobecné informácie. Všetky ČŠ sa v dotazníkoch vyjadrili, že bude pre nich problém vykazovať napr. dáta k bezdomovcom alebo dáta k osobám z vidieckych oblastí. Rovnako vytkol ČŠ, že poskytli veľmi limitované dáta k finančným zdrojom a plánovaným rozpočtom alebo informáciu k tomu, ktorý orgán bude celkovo zodpovedný za dáta. Rovnako vyzval zástupcov ČŠ aby ešte prípadne poslali znova dotazník s doplnenými informáciami. Rovnako uviedol, že ESF Data Support Centre na EK bude končiť v decembri 2015, potom už nebude poskytovať žiadnu asistenciu, metodickú pomoc a rady k správnemu monitorovaniu ESF. 

Šiestou prezentáciou bola informácia o prvých výsledkoch auditu EK z roku 2015, ktorý sa venuje YEI – konkrétne ukazovateľom, manažmentu dát a kontrolným IT systémom, zberu, agregácii dát a uchovávaniu dokumentov, ktorú prezentoval audítor p. Mark Schelfhout. Na audit bolo vybraných celkovo 10 krajín, Slovensko nebolo vybraté. Audítori sa zameriavali nepresnosť procesov, spoľahlivosť procesov, precíznosť pri dátach, komplexnosť systému, aktuálnosť dát, integritu dát a dôvernosť dát. Predbežné výsledky budú prezentované dňa 3.12.2015 na technickej skupine v Luxemburgu. 

Poslednou prezentáciou bola informácia o hrnutí regionálnych seminárov týkajúcich sa CIE, ktorú prezentovala p. Giulia Santangelo z CRIE. 
Celkovo sa uskutočnili 4 regionálne semináre, ktoré obsahovali ako teoretickú časť k CIE, tak aj praktickú možnosť navrhnúť TOR k CIE hodnoteniu. V dňoch 13. - 14. apríla 2015 sa na seminári v Bruseli zúčastnilo celkovo 13 osôb, v dňoch 22. - 24. septembra 2015 sa na seminári v Budapešti zúčastnilo celkovo 78 osôb, v dňoch 13. - 15. októbra 2015 sa na seminári v Taline zúčastnilo celkovo 14 osôb a v dňoch 28. - 30. októbra 2015 sa na seminári v Dubline zúčastnilo celkovo 58 osôb. 
5. Odporúčané závery:

V súčasnosti  sa fórum aktívne venuje dokumentom, úlohám, otázkam a novým prístupom v oblasti nastavenia systému monitorovania, merateľných ukazovateľov a hodnotenia pomoci zo štrukturálnych fondov v programovom období 2014-2020. Tieto sú následne preklopené na národnú úroveň členských štátov a získané poznatky tak budú priamo využité pri tvorbe strategických dokumentov súvisiacich s implementáciou EŠIF 2014-2020.

Z:   SŠFEÚ                                                                                           T: priebežne  

6.   Prehľad prinesenej dokumentácie a miesto jej uloženia

Dokumentácia prinesená zo ZPC je k dispozícii u účastníka ZPC Mgr. Marty Černákovej. Správa zo ZPC je zverejnená na webovom sídle MŠVVaŠ SR a v rámci odboru pre operačný program Vzdelávanie je správa zverejnená v rámci zdieľaného adresára odboru. 

7.   Osobitne vyhodnotený očakávaný prínos ZPC

Naďalej sa aktívne zúčastňovať zasadnutí pracovnej skupiny EK ESF Evaluation Partnership.                                             Z hľadiska programového obdobia 2014-2020 je prínosom výmena skúsenosti s kolegami z EK a iných členských krajín EÚ, ktoré je vhodné zapracovať do procesov hodnotenia OP ĽZ. Informácie získané na tomto podujatí budú využité jednak pri  monitorovaní a vyhodnocovaní merateľných ukazovateľov, ako aj pri realizovaní hodnotení v rámci operačného programu Ľudské zdroje za oblasť vzdelávania.  

8.    Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií

Výsledky ZPC budú prezentované na najbližšej porade Odboru riadenia programov ESF.

9.    Percentuálny pomer

OP ĽZ     100 %

Súhlasím so zverejnením správy na internete.

Správu vypracoval: 

Mgr. Marta Černáková

Dátum: 23.11.2015

So správou súhlasí: 

Mgr. Veronika Paľková, R ORP ESF

Správu schválil: 

Ing. Peter Viglaš, GR SŠFEÚ

Trieda dôvernosti: Verejné