Správa zo zahraničnej pracovnej cesty 

1. Účastník ZPC:

Titul, meno a priezvisko:   	Mgr. Marta Černáková
Pracovisko:                         	OPESF, OPOPĽZ, SŠFEÚ, MŠVVaŠ SR, Stromová 1, 813 30 Bratislava
Pracovné zaradenie:         	hlavný štátny radca
Funkcia:			manažér monitorovania/hodnotenia OP
Znalosť jazykov:                	AJ

2. Zahraničná pracovná cesta:

Štát:				Maďarsko
Mesto:				Budapešť
Vykonaná v dňoch:		29.11.2016 – 2.12.2016
Prijímajúca organizácia:	Prime minister´s office, MaĎaRsko
Účel cesty:	účasť na INTERNATIONAL EVALUATION WORKSHOP (30.11.2016)  a na konferencii s názvom 6TH INTERNATIONAL EVALUATION & MONITORING CONFERENCE 2016 (1. – 2.12.2016)
Spôsob financovania:	Cestovné a pobytové náklady hradilo MŠVVaŠ SR 

3. Rámcový program pobytu:

29.11.2016

- odchod z Bratislavy, príchod do Budapešti

30.11.2016 

- účasť na INTERNATIONAL EVALUATION WORKSHOP

1.- 2. 12.2016    

- účasť na konferencii s názvom 6TH INTERNATIONAL EVALUATION & MONITORING CONFERENCE 2016 
- odchod z Budapešti, príchod do Bratislavy 

4. Stručný priebeh rokovaní:

30.11.2016

Celodenný seminár k hodnoteniu viedol belgický profesor Benedict Wauters, ktorý  sa snažil všetkým zúčastneným priblížiť pravý význam slova "dopad" vrátane príkladov toho, ktoré výskumné metódy sú v súčasnosti k dispozícii na jeho správne skúmanie a zároveň sú aj vhodné na zistenie vplyvu intervencií vykonávaných v rámci EŠIF.

Na seminári nám bolo predstavených veľa rôznych príkladov, prístupov a prípadových štúdií, ktoré nám môžu pomôcť pri odpovediach na rôzne druhy otázok týkajúce sa hodnotenia dopadov. Seminár si nekládol za primárny cieľ poskytnúť podrobné informácie o metodických pokynoch a nariadeniach zo strany EK, zameriaval sa hlavne na poskytovanie efektívnych znalostí o kľúčových rozdieloch medzi jednotlivými metódami hodnotení dopadov prostredníctvom príkladov z rôznych uskutočnených hodnotení dopadov. 

V teoretickej časti seminára sa p. Wauters zaoberal vysvetlením intervenčnej logiky. Rovnako nám na rôznych príkladoch približoval aj teóriu kauzality v reálnom kontexte, teóriu zmeny, teóriu mechanizmu, teóriu dedukcie a indukcie a rôzne ďalšie sociologické teórie na teoretickej úrovni. Zdôraznil, že je nevyhnutné správne poznať jednak kontext hodnotenia, ale aj jednotlivé hodnotiace metódy, ktoré musia byť aplikované zo strany hodnotiteľa vhodne za účelom dosiahnutia realistických a dôveryhodných výstupov z vykonaných hodnotení dopadov.

Medzi najzaujímavejšie hodnotenia dopadu, ktoré sme na seminári interaktívne rozoberali, patrili nasledovné hodnotenia:

•	hodnotenie dopadu zamestnanosti v Belgicku z roku 2012, ktoré malo za cieľ preukázať vplyv ESF intervencie na cieľovú skupinu;
•	hodnotenie dopadu  z Kanady z roku 1993, ktoré sa týkalo vyhodnotenia programov školení na rozvoj kognitívnych zručností väzňov za účelom zníženia recidív a opätovných návratov do väzenia;
•	hodnotenie dopadu z Anglicka zamerané na dopad zavedených intervencií na polícii, ktoré mali viesť k zníženiu strachu občanov z kriminality dvoch anglických miest (Londýn a Birmingham), kde sa podarilo poukázať na to, že dopady dvoch úplne rovnakých intervencií mali veľmi rozdielny dopad a líšili sa v oboch mestách signifikantne;  
•	hodnotenie dopadov vo Flámsku týkajúce sa podpory zamestnancov vo forme konzultačných hodín vedených vyškolenými facilitátormi zameraných na osobnostný rozvoj, zlepšenie kariéry, zvýšenie seba – poznania;
•	hodnotenie z Izraela, ktoré sledovalo dopad po zavedení pokút zo strany materských škôlok - ak rodičia vyberú svoje dieťa po stanovenom čase, pričom hodnotenie dopadov preukázalo, že sa stal pravý opak, t.j. že rodičia začali po zavedení pokút vyberať svoje deti oveľa neskôr, pričom to brali ako platenú službu zo strany škôlky, t.j. že deti môžu ostať dlhšie než bolo pôvodne stanovené. 

Na nasledovnom webovom linku EK môžeme nájsť víťazov najlepších hodnotení dopadov ocenenými DG REGIO: 
http://ec.europa.eu/regional_policy/en/policy/evaluations/conferences/evaluating-effects/

1.- 2. 12.2016 

Oba dni prebiehal už 6. ročník medzinárodnej konferencie k monitorovaniu a hodnoteniu, organizovaný v Budapešti. V príspevkoch jednotlivých účastníkov sa prelínali oba fondy (ESF a ERDF), pre účely tejto správy sa budem zameriavať primárne na tie dôležité informácie, ktoré odzneli v súvislosti s ESF.

V úvode prvého dňa privítal všetkých zúčastnených p. Gábor Dányi, ktorý zdôraznil význam potreby hodnotenia v súčasnosti. Predstavil hlavný program prvého dňa konferencie, t.j. rôzne stratégie hodnotenia členských štátov, EÚ a prístupy k hodnoteniu v rámci vybraných medzinárodných inštitúcií.

Prvý príspevok uviedla p. Mariana Hristcheva, riaditeľka Hodnotiacej jednotky z DG REGIO. Tá zdôraznila čoraz väčší tlak poskytovať hodnotenia ako dôkazy implementovaných politík v rámci ERDF a kohéznej politiky. Zdôraznila „lessons learned“ z programového obdobia 2007 – 2013 týkajúce sa monitorovania a hodnotenia, napr. spomenula viac ako 800 vykonaných hodnotení ERDF, pričom len minimum z nich bolo zameraných na efekt alebo na dopad. Členské štáty sa zaoberali prevažne len implementáciu, procesmi a manažmentom. Toto je zároveň aj jedno z najhlavnejších zistení ex – post hodnotenia. 

V programovom období 2014 – 2020 musíme klásť väčší význam na výsledky a zavedenie hodnotenia dopadu pre každý jeden špecifický cieľ v rámci EŠIF. DG REGIO očakáva v roku 2024 viac ako 1 500 hodnotení dopadu zo všetkých členských krajín. V závere zvýraznila rovnako potrebu predkladania kvalitných ostatných správ vyplývajúcich z nariadení EK, napr. Správy o pokroku, Strategickej správy a pod.

Ďalší príspevok uviedol  p. Santiago Loranza Garcia, riaditeľ Hodnotiacej jednotky z DG EMPLOYMENT. V úvode poznamenal, že DG EMPLOYMENT začne s ex – post hodnotením 2014 – 2020 v roku 2022, pričom úvodné prípravné fázy sa začnú už v roku 2018 a predpokladá jej ukončenie v roku 2024.

Zdôraznil, že pri ESF sa kladie dôraz najmä na:
•	hodnotenie každého programu;
•	požiadavky na hodnotenie;
•	príprava na ex - post hodnotenie;
•	budovanie administratívnych kapacít v oblasti hodnotenia. 

K najväčším pozitívam, ktoré vyzdvihol patria napr.: plány hodnotení, povinné hodnotenia (Youth Employment Initiative), kvalitný systém na zber dát, detailné príručky k monitorovaniu a hodnoteniu, ESF podporné centrum a pod. 

Tretím prezentujúcim bol p. Kevin Williams, ktorý prezentoval pohľad OECD na hodnotenie a celý systém hodnotenie v rámci OECD. 

OECD má integrovaný manažment cyklus, ktorý má tri úrovne:
•	programové implementačné správy;
•	strednodobé výstupy smerovania;
•	hĺbkové hodnotenia jednotlivých výborov (zastrešuje výbor pre hodnotenie).

Každý výbor využíva výsledky jednotlivých hodnotení na zlepšenie efektivity programov jednotlivých výborov, alebo napr. k re - alokáciám finančných prostriedkov medzi programami. OECD verí, že najefektívnejší systém hodnotenia kvality je hlavne interné hodnotenie v rámci inštitúcie. Napriek tomu, niekedy využívajú rôzne expertné tímy externou formou na jednotlivé čiastkové úlohy v rámci hodnotenia.

Pán Jan Willem van der Kaaji predstavil systém hodnotenia v rámci Európskej investičnej banky. V úvode predstavil EIB so sídlom v Luxemburgu, ktorá je finančným partnerom pre EÚ inštitúcie od roku 1958. EIB má v súčasnosti 17 zamestnancov, ktorí sa venujú hodnoteniu operácií a reportovaniu. Títo hodnotitelia sa snažia nezávisle a systematicky hodnotiť s hlavným účelom poučiť sa z minulosti a pomôcť budúcnosti. Výstupy z hodnotenia sa v EIB berú ako „zlatá baňa“ užitočných informácií  a obrovskú základňu výstupov, ktorá by mali automaticky viesť k zlepšeniu. V závere zdôraznil, že prax v EIB ukazuje, že výsledky hodnotení sa dostávajú stále viac do pozornosti verejnosti, stakeholderov, tvorcov politík a pod.

Ďalšou prezentujúcou bola p. Isabel Naylon, zástupkyňa rakúskej spoločnosti Metis GmbH, ktorá vykonávala pre EK ex – post hodnotenie ESF v rámci 2007 – 2013. 
Previedla zúčastnených celým procesom tohto hodnotenia, počnú rokom 2012, kedy bola vypracovaná preparatory study, cez analýzy 28 členských štátov (analýzy dát reportované cez SFC) v delení na tri hlavné tematické ciele hodnotenia:
•	ľudský kapitál (46 % ESF);
•	prístup k zamestnaniu (34 % ESF);
•	sociálna inklúzia (14 % ESF).
Celkovo bolo v rámci 2007 – 2013 preinvestovaných 76,7 miliardy EUR, spolu bolo podporených 98,7 milióna účastníkov (z toho 51,4 % boli ženy), 30 miliónov nezamestnaných s 30 miliónov mladých ľudí (ktorí tvorili cca 30 % zo všetkých podporených účastníkov). 
Z najlepších ukazovateľov vybrala nasledovné:
•	8,7 milióna získaných kvalifikácií;
•	9,4 milióna zabezpečených zamestnaní;
•	276 000 podporených subjektov;
•	109 000 vytvorených produktov. 

Najlepšie a zároveň aj najľahšie spracovateľné dáta boli údaje o účastníkoch na projektoch vyplývajúce z prílohy XXIII. Najväčším problémom boli napr. ťažko evidovateľní Rómovia a migranti, rovnako aj nemožnosť vypočítať detailne rozpočet (náklady na jednotlivého účastníka) pretože v ESF sa 1 účastník nerovná 1 zúčastnenie sa na aktivite, ale jeden účastník sa mohol zúčastniť na niekoľkých aktivitách. Rovnako zdôraznila, že v 2007 – 2013 sme mali v rámci ESF viac ako 2 300 merateľných ukazovateľov výsledku, pričom hodnotitelia vedeli reálne využiť len približne 1 000 z nich, buď kvôli nulovým vykazovaným hodnotám alebo kvôli problémom s ich reportovaním. 

Nasledovala p. Dovile Jonaviciene z Litvy, ktorá odprezentovala vykonané pilotné hodnotenie dopadov, ktoré vyhlásila EK a ktoré bolo zároveň vyhodnotené za najlepšie spomedzi všetkých  8 hodnotení. 
Jednalo sa o hodnotenie s názvom Kontrafaktuálne hodnotenie dopadov opatrení aktívnej politiky trhu práce financovaných z ESF v Litve.  Úlohou hodnotenia bolo zistiť dopady opatrení aktívnej politiky trhu práce financovaných z ESF v Litve. Cieľovou skupinou hodnotenia boli nezamestnaní a nezamestnaní so znevýhodnením. CIE metóda, ktorá bola zvolená bola PSM – Propensity score matching a DID – Difference in difference. Najväčšou prekážkou bol výber vzorky podporených účastníkov. Výsledok hodnotenia preukázal pozitívny dopad na zamestnanateľnosť cieľovej skupiny aj na zvýšenie ich zárobku v priemere o 1 600 Litas ročne. 

Zaujímavou prezentáciou bol príspevok p. Zoltána Polyánszkeho z Maďarského ekonomického výskumného inštitútu, ktorý sa venoval hodnoteniu k zvyšovaniu zamestnanosti v Maďarsku, kde boli hodnotené 2 priority ESF (priorita č. 1 Politika trhu práce a priorita č. 5 Sociálna inklúzia). Hodnotenie ukázalo veľké rozdiely medzi oboma hodnotenými prioritami, napr. že priorita č. 1 má centralizovanú implementáciu, pričom priorita č. 5 má fragmentovanú, prioritu č. 1 mohli hodnotiť kvantitatívne, prioritu č. 5 len kvalitatívne, a pod. Toto hodnotenie dopadu  ukázalo, že podpora ESF v rámci priority č. 5 má význam len vtedy, ak je vykonávaná komplexne, t.j. školenia, mentoring, pomoc pri hľadaní práce, bývania pomoc pri prístupe k verejným službám a pod.

V úvode druhého dňa privítal všetkých zúčastnených p. Gábor Dányi, ktorý predstavil nové IT riešenia v monitorovaní 2014-2020 v Maďarsku. Podrobne predstavil maďarský IT systém, ktorý napomáha pri monitorovaní a hodnotení EŠIF v PO 2014 – 2020. 
Systém má názov FAIR a zbierajú sa v ňom jednak dáta z projektov všetkých fondov  a všetkých programov financovaných z EŠIF, a aj verejné administratívne dáta. Dáta sú zbierané z najnižšej, t.j. projektovej úrovne (ŽoNFP, ŽOP, monitorovacie správy ...). Niektoré členské krajiny sa rozhodli používať ten istý IT systém, ktorý bol využívaný aj v rámci 2007 – 2013 (napr. aj Slovensko), iné krajiny vytvorili úplne nový, vylepšený systém (Maďarsko). Napr. v Maďarsku sa už ŽoNFP predkladá celá len prostredníctvom FAIR elektronicky a stačí poslať Poskytovateľovi len 1 A4 originál podpísaný žiadateľom. K dnešnému dňu vydali cez FAIR cca 800 000 id kódov pre potencionálnych prijímateľov. Aj prostredníctvom FAIR chcú v Maďarsku zabezpečiť 100% absorpciu EŠIF. V PO 2007 – 2013 mali veľa problémov s plnením pravidla N+3, teraz je v systéme FAIR už naprogramovaná kontrola v súvislosti s plnením pravidla N+3, čo bude napomáhať kontrahovaniu a aj čerpaniu. Systém automaticky prepočítava všetky dáta, poukazuje na riziko dekomitmentu, ráta objemy mimoriadne ukončených projektov aj v číselnej aj v grafickej podobe a pod.      

Ďalším prezentujúcim bol p. David Alba z DG REGIO, ktorý všetkým zúčastneným predstavil veľký zber dát, ktorý realizuje EK s názvom open data. Všetky dáta sú v dispozícii na rôznych úrovniach, napr. na úrovni krajiny, fondu, témy alebo spoločného merateľného ukazovateľa. Všetky open data sa dajú exportovať podľa potreby, sú pravidelne aktualizované na základe pokroku, ktorý členské krajiny vykazujú prostredníctvom systému SFC. 

Všetky bližšie informácie sú k dispozícii na http://cehosiondata.ec.europa.eu.

Ďalej pokračoval p. Santiago Loranza Garcia, riaditeľ Hodnotiacej jednotky z DG EMPLOYMENT, ktorý predstavil nastavený systém monitorovania výsledkov ESF a YEI v rámci 2014 – 2020, pričom najhlavnejším zameraním je výsledkovo – orientovaná politika v každom operačnom programe ESF. V rámci ESF máme set merateľných ukazovateľov výstupu, ktoré nám preukážu progres v implementácii programov a  merateľné ukazovatele výsledku, ktoré nám zachytia efekt a zmenu na základe vykonaných ESF intervencií.   Okrem toho máme aj set mikro – údajov, ktoré predstavujú relatívne nový nástroj v rámci 2014 – 2020 (pár členských štátov využívalo Kartu účastníka už aj v PO 2007 – 2013). Všetky dáta, ktoré získame prostredníctvom Karty účastníka budú absolútne nevyhnutné pre všetky kontrafaktuálne hodnotenia dopadov. 

Zaujímavý príspevok mal v závere druhého dňa p. Preben Gregersen z Dánskeho riadiaceho orgánu, ktorý predstavil dánsky systém monitorovania. V Dánsku majú v rámci PO 2014 – 2020 len  dva operačné programy, jeden pre ESF a jeden pre ERDF, pričom každý z nich má len 4 priority. Podľa p. Gregersena je najdôležitejšie pri každom jednom programe, ako aj pri projekte zameriavať sa na intervenčnú logiku, správne monitorovanie merateľných ukazovateľov, vykonávanie hodnotení dopadov, zber štatistických dát, externé hodnotenia jednotlivých projektov a tematické hodnotenia celého programu.

5. Odporúčané závery:

Nadobudnuté informácie a poznatky týkajúce sa hodnotenia v programovom období 2014 – 2020, ako aj výmena skúseností so systémom hodnotenia v operačných programoch iných členských štátov EÚ, budú využité pri realizovaní hodnotení v rámci Prioritnej osi 1 Vzdelávanie operačného programu Ľudské zdroje. 

6.   Prehľad prinesenej dokumentácie a miesto jej uloženia

Dokumentácia prinesená zo ZPC je k dispozícii u účastníka ZPC Mgr. Marty Černákovej. Správa zo ZPC je zverejnená na webovom sídle MŠVVaŠ SR a v rámci Oddelenia pre OP ĽZ a OPV je správa zverejnená v rámci zdieľaného adresára oddelenia. 
7.   Osobitne vyhodnotený očakávaný prínos ZPC

Hlavným prínosom ZPC bola možnosť nadobudnúť informácie týkajúce sa hodnotenia v programovom období 2014 – 2020 a vymeniť si skúseností so systémom hodnotenia v operačných programoch iných členských štátov EÚ, keďže systém hodnotenia operačných programov prechádza výraznými zmenami oproti programovému obdobiu 2007 - 2013. 
Z hľadiska programového obdobia 2014-2020 je prínosom výmena skúsenosti s kolegami z EK a iných členských krajín EÚ, ktoré je vhodné zapracovať do procesov hodnotenia Prioritnej osi 1 Vzdelávanie v rámci OP ĽZ. 

8.    Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií

Výsledky ZPC budú prezentované na najbližšej porade Oddelenia pre OP ĽZ a OPV.

Súhlasím so zverejnením správy na internete.

Správu vypracoval: 
  
Mgr. Marta Černáková                                                   ..................................................

Dátum: 12.12.2016      

So správou súhlasí: 

Mgr. Veronika Paľková
vedúca Oddelenia pre OP ĽZ a OPV                             ..................................................

Mgr. Stanislav Gernic
riaditeľ Odboru riadenia pre programy ESF                    ..................................................

Správu schválil: 

Ing. Juraj Gmiterko
generálny riaditeľ Sekcie štrukturálnych fondov EÚ    ...................................................