Správa zo zahraničnej pracovnej cesty 

1. Účastník ZPC:

Titul, meno a priezvisko:   	Mgr. Slavka Lukáčová
Pracovisko:                         	OOPVZ ORP SŠFEÚ, MŠVVaŠ SR, Stromová 1, 813 30 Bratislava
Pracovné zaradenie:         	hlavný štátny radca
Funkcia:			manažér programovania
Znalosť jazykov:                	AJ, FJ

2. Zahraničná pracovná cesta:

Štát:                                     	Belgicko
Mesto:                                 	Brusel 
Vykonaná v dňoch:             	13.06. – 15.06.2012
Prijímajúca organizácia:    	Európska komisia
Účel cesty:                   	Účasť na seminári Hodnotenie pomocou metódy kontrafaktuálu a účasť na zasadnuí ESF Evaluation Partnership – pracovnej skupiny pre hodnotenie
Spôsob financovania:          	Cestovné a pobytové hradila EK. Vreckové a stravné hradilo MŠVVaŠ SR. 

3. Rámcový program pobytu:

13.06.2011	15:00		Odchod z Bratislavy
	19:20		Príchod do Bruselu

14.06.2011	09:00 – 17:00	Účasť na seminári

15.06.2011	09:00 – 14:00	Účasť na zasadnutí pracovnej skupiny
	17:25		Odchod z Bruselu
	20:30		Príchod do Bratislavy

4. Stručný priebeh rokovaní, resp. študijného pobytu:

Seminár – hodnotenie dopadu pomocou metódy kontrafaktuálu, 14.6 2012 Crowne Plaza, Brusel

Seminár otvorila Antonella Schulte-Braucks, vedúca oddelenia hodnotenia DG EMPL. Objasnila priebeh vzdelávacieho semináru, v doobedňajšej časti bude predstavená teória, v poobedňajšom bloku budú praktické workshopy. Príručka, na ktorej tvorbe sa podieľala aj Európska komisia bola účastníkom zaslaná vopred.
Následne sa slova ujal Michael Wiseman, z Inštitútu verejnej správy Georga Washingtona. Uviedol, že v programovom období 2014-2020 sa bude sústreďovať pozornosť na monitorovanie výsledkov, pričom dôveryhodný dôkaz o „čistých“ efektoch poskytuje práve metóda kontrafaktuálu. Pokračoval Steven Morris, z NatCen Social Research. Evaluačná metóda kontrafaktuálu umožňuje izolovať dopady konkrétnej intervencie od iných vplyvov a ako taká poskytuje možnosť „vyčíslenia“ čistého efektu. Metóda kontrafaktuálu pracuje s tzv. kontrolnou skupinou, čiže sa porovnávajú 2 cieľové skupiny, ktoré by si mali byť čo najviac podobné, pričom jedna profituje z príspevku (napr. ESF) a druhá žiadnu podporu nedostáva. Pri metóde kontrafaktuálu sa vlastne odrátava efekt „mŕtvej váhy“ t.j. aktivity, ktoré by sa vykonali aj bez podpory ŠF. Kontrolná cieľová skupina pritom môže byť v postavení, že nedostáva žiadnu podporu, alebo dostáva určitú alternatívnu podporu.  

V rámci samotnej metódy existuje 5 rôznych prístupov:
a)	Náhodné priradenie – experimentálna metóda
b)	Párovanie - kvázi-experimentálna metóda
c)	Difference-in-difference – kvázi-experimentálna metóda
d)	Regression discontinuing - kvázi-experimentálna metóda
e)	Instrumental variables - kvázi-experimentálna metóda
Metóda náhodného priradenia sa pokladá za „zlatý štandard“ kontrafaktuálu. Z oprávnenej cieľovej skupiny sa najprv získajú základné údaje a následne sa náhodne účastníci rozdelia na tých, ktorí podporu dostanú a tých ktorí ju nedostanú (kontrolná skupina). Rozdiel vo výsledkoch medzi 2 skupinami potom tvorí objektívny odhad čistého efektu. 
Kvázi-experimentálne metódy vytvárajú kontrolné skupiny nenáhodným spôsobom. 
Párovanie (priraďovanie)- vytvára kontrolnú skupinu, ktorá je vo svojich znakoch čo najpodobnejšia porovnávanej skupine. 
Difference-in-difference – pri tomto spôsobe hodnotenia sa merajú  výsledky pred začiatkom intervencie a po nej (u oboch skupín).
Posledné dve kvázi-experimentálne metódy sú menej využívané a viac komplexné a z tohto dôvodu im nebol venovaný priestor v rámci tohto semináru.
Evaluačná metóda kontrafaktuálu ale nezodpovedá na ostatné otázky, ktoré sa v rámci hodnotenia skúmajú, čiže vyčísli „čistý efekt“ ale nezodpovie otázku prečo tomu tak je. Pri tvorbe hodnotenia by sa preto mali kombinovať ku kontrafaktuálu aj iné hodnotiace metódy. 

Ďalej nasledovala prezentácia Herty Toedtling-Schoenhofer s praktickými krokmi potrebnými pre plánovanie hodnotenia pomocou kontrafaktuálu:
Kontrafaktuál si vyžaduje dôsledné plánovanie. Už pri tvorbe evaluačného plánu sa treba zamyslieť, ktorú intervenciu možno vyhodnotiť aj pomocou kontrafaktuálu. Môže ísť o strategickú otázku – najmä nové členské štáty podporujú trh práce z veľkej miery z fondov ESF – možnosť vyhodnotiť túto úlohu ESF cez kontrafaktuál. Ďalej je potrebné sa zamyslieť, či existuje dostatok dát pre vykonanie kontrafaktuálu (dáta možno získať cez sociálne poistenie alebo prieskumami). Takisto musí existovať dostatočne veľká cieľová skupina a dostupná taká istá (porovnateľná) kontrolná skupina. Zapojenie ľudských zdrojov – ide o kolaboráciu riadiaceho orgánu/sprostredkovateľského orgánu, externých firiem (vykonávatelia hodnotenia) a poskytovateľov štatistických údajov – je potrebné sa dohodnúť s nimi na poskytnutí údajov už v rannom štádiu. Z časového hľadiska sa treba rozhodnúť kedy pristúpime k hodnoteniu – to súvisí s otázkou čo chceme hodnotiť – kedy sa človek uplatnil na trhu práce? Kedy sa mu zvýšila mzda (vďaka tréningu) kedy začal podnik vykazovať vyššiu produktivitu? 

V rámci diskusie sa diskutovalo  aj o výške nákladov na takéto hodnotenie, keďže neexistuje odhad. Skúsenosti ČŠ ukazujú, že náklady sa môžu pohybovať od 7,000 po 7 miliónov (prípad Veľkej Británie). Českí zástupcovia uviedli, že u nich 3-ročná pilotná štúdia stála 60,000 € pričom ale údaje zo Štatistického úradu mali zadarmo (náklady zvyšuje ak sa rozhodneme získavať dáta prácou v teréne, napr. rozhovormi).
V poobedňajšom bloku prebiehali workshopy, v rámci ktorých účastníci dostali prípadovú štúdiu a mali sa zamyslieť, že uvedené dáta poskytujú možnosť vykonať evaluáciu kontrafaktuálnou metódou, príp. ktorá z kontrafaktuálnych metód by bola najvhodnejšia na použitie. Následne sa znovu účastníci stretli, aby si vymenili poznatky z jednotlivých skupín.

Zasadnutie ESF evaluation partnership group, 15.6 2012 , Albert Borschette centre, 

Zasadnutie otvorila Antonella Schulte-Braucks, ktorá v prvom bode nechala schváliť program zasadnutia a zápisnicu zo zasadnutia, ktoré sa konalo 15.-16.3 2012 v Bruseli.
Nasledovala prezentácia Ecorys k podpore celoživotného vzdelávania cez ESF. Štúdia sa zamerala na dosah a dopad ESF pri podpore CŽV. Cieľové skupiny, na ktoré sa zamerali boli mladí ľudia do 24 rokov, seniori nad 55 rokov a ľudia s nízkou úrovňou kompetencií. Údaje boli z programového obdobia 2000-2006 a 2007-2013, pričom štúdia zahŕňala aj prípadové štúdie z 8 členských štátov (Rakúsko, Taliansko, Litva, Poľsko, Holandsko, Španielsko, Švédsko, Veľká Británia), bol zohľadnený aj faktor ekonomickej krízy. Čo sa týka CŽV v EÚ, ESF je hlavný prispievateľ k celoživotnému vzdelávaniu – až 42% z alokácie na 2007-2013 ide na aktivity súvisiace s CŽV. Účasť na CŽV ale variuje od 1,2% V Bulharsku po 32,8% v Dánsku. V západoeurópskych krajinách je koncept celoživotného vzdelávania tradíciou a prioritou ale pozitívnou zmenou od roku 2007 je, že všetky ČŠ majú stratégie CŽV, pričom hlavnú úlohu zohral práve ESF. Čo sa týka cieľovej skupiny mladých ľudí, sú prioritou vo všetkých ČŠ, ale najviac v tých, ktoré majú najvyššiu mieru nezamestnanosti mladých ľudí (Španielsko). Mladí, ktorí predčasne opúšťajú školu sú prioritou vo Švédsku. Čím viac sa investuje do podpory v mladom veku, tým pozitívnejší je dopad neskôr. Všeobecne pozitívny dopad pri práci s mladými ľuďmi majú najmä neformálny prístup a sociálne aktivity. Zamestnanosť často nie je hlavným výstupom, najdôležitejšie je zapojenie mladých ľudí do aktivít (engagement). Ako príklady úspešných projektov boli uvedené rakúsky „Spacelab“, ktorý sa sústreďuje na podporu vysokoškolského vzdelávania, IVEX v Španielsku, ktorý sa zaoberá stážami a „Mladí s postihnutím“ v Holandsku.
Cieľová skupina s nízkou kvalifikáciou sa pohybuje od 10% do 80% z účastníkov ESF. Nemusia byť vždy explicitnou cieľovou skupinou ESF. Pri tejto cieľovej skupine bola zdôraznená „kumulovaná“ podpora v zmysle poskytovania poradenstva, mentorstva, zvyšovania kompetencií a sebadôvery. Ako úspešné boli vyzdvihnuté projekty „Kríza“ v Taliansku a „Ženská univerzita“ v Rakúsku, ktorá poskytuje balík podpory pre ženy vrátane starostlivosti o deti a kariérneho poradenstva.
Seniori sú všeobecne menej podporovanou cieľovou skupinou a v niektorých ČŠ nie sú vôbec podporovaní. Sú skupinou, ktorú je najťažšie dostať do aktivít (často sa vzdelávania nezúčastňovali roky). Demografické a penzijné zmeny ale stavajú seniorov do pozície dôležitej cieľovej skupiny pre budúci trh práce. Mnohí síce majú veľa zručností, ale nevyhovujúcich. Ako príklady úspešných projektov boli uvedené „Zrelý podnikateľ“ v Poľsku, ktorý podporuje starších ľudí v rozbiehaní podnikania a projekt „Ubytovanie“ v Litve, ktorý podporuje energetickú efektívnosť v bývaní (je zameraný na vzdelávanie ľudí v tomto smere).

Celkovo možno zhodnotiť, že faktormi úspechu pri CŽV sú:
-	Menšie schémy zamerané na vybrané cieľové skupiny
-	Treba sa zameriavať aj na zvyšovanie sebavedomia účastníkov
-	Prínosné je kumulovanie rôznych typov pomoci na jednom mieste
-	Praktická podpora pre tých, ktorí chodia na pohovory, pomoc s CV a pod.
-	Personalizovaný prístup a podpora 
Ďalším  bodom programu bola prezentácia Pawla Penszka z Poľska, ktorý hovoril o výsledkoch hodnotenia ESF, v ktorom bola použitá práve metóda kontrafaktuálu. Išlo o hodnotenie v trvaní 3 rokov. Hodnotený bol poľský operačný program Ľudský kapitál s alokáciou 11 mld. EUR. Má 10 prioritných osí, 94 opatrení alebo pod-opatrení a implementuje sa 31 000 projektov. Pod 1 riadiacim orgánom funguje 19 sprostredkovateľských orgánov a 22 sprostredkovateľských orgánov druhého stupňa. Predmetom hodnotenia boli 3 z 10 prioritných osí (PO 6,7,8, ktoré sa zameriavajú na zvyšovanie zručností, cieľovou skupinou sú väčšinou nezamestnaní). Hodnotenie prebiehalo od roku 2009 do 2012. Prebehli 2 prieskumy – tí, ktorí sa zúčastnili intervencie a skončili v roku 2009 a tí, ktorí skončili v roku 2011. Rozhovory s nimi prebehli po 6, 12 a 18 mesiacov od ukončenia ich účasti v programe. Predmetom skúmania teda bolo získanie zamestnania a kvalita získanej práce a aj zvýšenie mzdy/povýšenie (v dôsledku ESF tréningu). Po 18 mesiacoch 46% účastníkov vykázalo zvýšenie platu, ale len 12% bolo priamo v dôsledku účasti na projekte. 17% vykázalo povýšenie, ale len v 4 % to bolo vďaka účasti na projekte. Celkovo možno zhodnotiť, že účasť na projekte zvyšuje zručnosti zamestnanca, ale zriedka vedie k zvýšeniu platu. Po 18 mesiacoch sa 14% účastníkov opätovne zúčastnilo vzdelávania. Z výsledkov štúdie možno zhodnotiť, že čím vyššie dosiahnuté vzdelanie, tým väčšia pravdepodobnosť, že sa účastník bude chcieť opätovne vzdelávať. Čo sa týka hodnotenia pomocou kontrafaktuálu, cieľovou skupinou, ktorá profitovala z pomoci ESF boli nezamestnaní, ktorí sa zúčastnili projektu, kontrolnou skupinou boli nezamestnaní, ktorí sa nezúčastnili takéhoto vzdelávania. Údaje o prvej skupine boli získané telefonickými rozhovormi, údaje o druhej skupine pochádzali z registra o nezamestnaných, pričom firma, ktorá vykonávala hodnotenie sa snažila čo najviac prispôsobiť dotazník pre telefonické prieskumy dotazníku z registra nezamestnanosti. Cieľom bolo zmerať pravdepodobnosť návratu do registra nezamestnaných. Meranie čistého efektu ukázalo, že poskytnutie podpory z ESF znížilo riziko registrovanej nezamestnanosti o 8%.

Následne zástupcovia EK hovorili o komentároch a otázkach členských štátov k návrhu nariadenia v časti Monitorovanie a hodnotenie. Diskusia sa týkala najmä stanovovania míľnikov. Viacerých členským štátom nie je jasné ako v tomto smere postupovať a žiadali EK o usmernenie. EK odporúča, aby  členský štát pri stanovovaní míľ nika vychádzal zo svojich predošlých skúseností s implementáciou, pozrieť sa v ktorom roku bolo koľko ľudí preškolených, koľko finančných prostriedkov minutých a od toho odvodiť hodnoty míľnikov. 
Na záver Kamil Valica z oddelenia hodnotenia prešiel dokument Monitoring a hodnotenie, ktorý bol v updatovanej verzii zaslaný zástupcom členských štátov a zhodnotil hlavné zmeny, ktoré nastali v dokumente.  V dokumente je teraz viac rozpracovaná nezávislosť hodnotiteľov, podľa EK „best practice“ v tomto smere je, keď hodnotenie vykonáva externý hodnotiteľ alebo organizácia, ktorá nie je zapojená do programovania. Za „good practice“ považuje hodnotenie vykonané síce v rámci organizácie, ale iným oddelením (nezávislým od programovania). K načasovaniu ex-ante hodnoteniu uviedol, že obstarávanie by malo byť spustené v polovici roku 2012 (niektoré členské štáty chápali ustanovenie v tom zmysle, že v polovici roku 2012 už majú byť hodnotitelia nakontrahovaní). Z úloh ex-ante hodnotenia bolo vypustené preskúmanie plánu hodnotenia, nakoľko väčšina ČŠ v čase ex-ante hodnotenia nebude mať pripravené plány hodnotenia na ďalšie obdobie (je to príliš skoro). V dokumente bola pridaná klarifikácia ESF a EFRR indikátorov – EFRR indikátory merajú zmenu, ESF indikátory počítajú ľudí a entity. Takisto bol z dokumentu vypustený spoločný akčný plán (JAP). 

5. Odporúčané závery:

Naďalej sa aktívne zúčastňovať zasadnutí ESF Evaluation partnership a takisto využívať ponuku EK pri organizovaní školiacich seminárov.

Z:   SŠFEÚ                                                                                           T: priebežne  
                                 
6.   Prehľad prinesenej dokumentácie a miesto jej uloženia

Dokumentácia prinesená zo ZPC je k dispozícii u účastníka ZPC Mgr. Slavky Lukáčovej. 

7.   Osobitne vyhodnotený očakávaný prínos ZPC

Osobitným prínosom ZPC je možnosť výmeny a získania skúseností ostatných členských krajín v súvislosti s hodnotením pomoci zo štrukturálnych fondov EÚ. Školiaci seminár poskytol zorientovanie v problematike novej hodnotiacej metódy, ktorú EK odporúča využívať v novom programovom období.

8.    Spôsob zverejnenia výsledkov ZPC, prenos získaných informácií

Výsledky ZPC budú prezentované na najbližšej porade oddelenia pre OPV.

Súhlasím so zverejnením správy na internete.

Správu vypracoval: 

Mgr. Slavka Lukáčová 

Dátum: 29.06.2012

So správou súhlasí: 

Mgr. Veronika Paľková, VO OPVZ 

RNDr. Dušan Hudec, R ORP

Správu schválil: 

Mgr. Roderik Klinda, GR SŠFEÚ