Załącznik 2. Procedury dokonywania ewaluacji i monitoringu

Monitoring realizowany będzie na bieżąco, w toku wdrażania LSR, przez pracowników biura LGD – stanowić zatem będzie ocenę wewnętrzną LGD. Prowadzenie monitoringu ma na celu zbieranie danych dotyczących funkcjonowania LGD i realizacji LSR, oraz ich analizę, która pozwoli na szybkie reagowanie w przypadku zidentyfikowania trudności lub nieprawidłowości. Dane pozyskane w ramach monitoringu wykorzystywane będą także w ramach działań ewaluacyjnych, opisanych poniżej.

Elementy i zagadnienia podlegające monitorowaniu:

Elementy podlegające monitorowaniu	Oceniane aspekty	Źródła danych
Realizacja planu działania	zgodność realizacji działań i naborów z harmonogram przestrzeganie przyjętych procedur	Dane zebrane z prowadzonych konkursów Protokoły z posiedzeń Rady
Realizacja LSR	stopień osiągnięcia założonych wartości wskaźników (rezultatów i produktów) realizacja działań skierowanych do grup defarowyzowanych	Dane zebrane z prowadzonych konkursów Sprawozdania beneficjentów Monitorowanie operacyjne Spotkania warsztatowe
Budżet LGD	stopień wykorzystania funduszy wysokość zakontraktowanych środków	Dane zebrane z prowadzonych konkursów Sprawozdania beneficjentów
Funkcjonowanie biura LGD i animacja	realizacja planu komunikacji, liczba porad i charakter doradztwa świadczonego w biurze LGD, ocena świadczonego doradztwa	badania ankietowe interesariuszy (mieszkańców, wnioskodawców i przedstawicieli sektorów) rejestr konsultacji i doradztwa
Funkcjonowanie organów LGD	częstotliwość i regularność spotkań organów LGD, frekwencja na spotkaniach organów LGD	Protokoły z posiedzeń
Promocja LGD	liczba i charakter działań promocyjnych podjętych przez LGD, liczba i charakter uczestnictwa w działaniach zewnętrznych wobec LGD (w tym wydarzeniach lokalnych i ponadlokalnych Realizacja wskaźników planu komunikacyjnego Jakościowe rezultaty realizacji planu komunikacyjnego Zakres rozpoznawalności LGD wśród mieszkańców obszaru	Statystyki stron internetowych i kanałów w mediach społecznościowych Badania ankietowe mieszkańców obszaru Monitoring operacyjny Spotkania warsztatowe

Charakterystyka źródeł danych/ sposobów pomiaru oraz oceny danych:

Dane własne LGD – dane gromadzone w ramach obowiązkowej sprawozdawczości realizowanej przez Stowarzyszenie, w tym dane pozyskane od beneficjentów dotyczące realizowanych operacji, rejestr danych.
Badania własne - Badania ankietowe mieszkańców obszaru LGD (badania ankietowe na reprezentatywnej próbie mieszkańców), Badania ankietowe beneficjentów - ankiety wypełniane przez osoby korzystające z doradztwa w biurze LGD.
Warsztaty w ramach monitoringu – warsztaty w ramach organizowanych przez LGD spotkań (forum) dla przedsiębiorców i organizacji, na których przedstawiane będą dane zebrane w ramach monitoringu prowadzonego w danym roku kalendarzowym. Zostaną one również poddane ocenie mieszkańców przy zastosowaniu metod warsztatowych.
Monitorowanie operacyjne – bezpośrednie rozmowy z beneficjentami w czasie doradztwa i spotkań informacyjnych. Opracowany zostanie wzór formularza, w którym na bieżąco będą zapisywane pozyskiwane informacje. Będzie on stosowany także podczas wizji lokalnych na miejscu realizacji operacji.

Osoby odpowiedzialne za gromadzenie, udostępnianie i ocenę danych:

Dane będą gromadzone przez pracownika LGD, który zostanie wyznaczony przez Zarząd Stowarzyszenia. Zarząd będzie sprawował pieczę nad całym procesem monitoringu.
Dane zebrane w ramach monitoringu podlegać będą ocenie Zespołu do spraw ewaluacji, w skład którego wchodzić będą członkowie Zarządu LGD, oraz przedstawiciele społeczności lokalnej z różnych sektorów. Będzie to kolejny istotny element włączania społeczności lokalnej w działanie LGD. Na podstawie danych pracownik przygotowywać będzie coroczny raport z monitoringu, który będzie przedstawiany Zespołowi ds. ewaluacji.

Sposób udostępnienia danych przedstawicielom społeczności lokalnej:

Strona internetowa LGD
Profil na portalu społecznościowym Facebook
Spotkania warsztatowe (podczas Forum)
Komunikacja bezpośrednia (w czasie doradztwa w biurze, wizji lokalnych, imprez lokalnych).

Procedura ewaluacji zakłada realizację kilku działań w różnych momentach wdrażania LSR: ewaluację ex-ante, on-going, mid-term oraz ex-post, w trakcie których oceniane będzie funkcjonowanie LGD i realizacja LSR z uwzględnieniem różnych kryteriów ewaluacyjnych. Przyjęte kryteria ewaluacyjne rozumiane są w sposób następujący:

Trafność: stopień, w jakim przyjęte cele, przedsięwzięcia i sposób funkcjonowania LGD odpowiadają zidentyfikowanym problemom w obszarze objętym realizacją LSR i realnym potrzebom odbiorców działań
Spójność: stopień spójności LSR z innymi dokumentami programowymi i strategiami obejmującymi obszar realizacji LSR
Efektywność: stosunek poniesionych nakładów (zasobów finansowych, ludzkich, czasu) do uzyskanych wyników i rezultatów
Skuteczność: stopień osiągnięcia zdefiniowanych celów i przedsięwzięć
Użyteczność: stopień zaspokojenia potrzeb odbiorców działań w wyniku osiągnięcia rezultatów operacji
Trwałość: ocena możliwości i stopnia utrzymania się efektów i wpływu działań po zakończeniu ich realizacji
Komplementarność: ocena powiązania i uzupełniania się działań realizowanych w toku wdrażania LSR z innymi programami realizowanymi na terenie obszaru objętego LSR (komplementarność zewnętrzna), jak również ocena uzupełniania się działań realizowanych w toku wdrażania LSR pomiędzy sobą (komplementarność wewnętrzna)

Poniższa tabela przedstawia powiązanie kryteriów ewaluacyjnych z poszczególnymi typami ewaluacji, przypisanymi do nich pytaniami i technikami badawczymi, oraz wykonującymi je podmiotami:

Ewaluacja i podmiot wykonujący	Kryteria ewaluacyjne i główne pytania badawcze	Techniki badawcze
Ewaluacja ex-ante Zespół ds. ewaluacji (ocena własna)	Trafność Jakie idee przyświecały wyborowi celów? Czy przyjęte założenia były poparte rzetelną diagnozą? W jakim stopniu uwzględniono głos społeczności lokalnej przy wyborze celów? Ocena powiązania celów LSR z celami szczegółowymi PROW. Ocena przyjętych rozwiązań w zakresie funkcjonowania LGD, w tym świadczonego doradztwa i aktywizacji społeczności, pod względem: • jego zgodności z zasadami realizacji RLKS • oczekiwań mieszkańców obszaru LGD. Spójność Ocena spójności LSR i planowanych działań z innymi strategiami i programami obejmującymi obszar realizacji LSR	Analiza danych zastanych Wywiady ekspercie
Ewaluacja on-going Zespół ds. ewaluacji (ocena własna)	Trafność Czy w społeczności nie zaszły jakieś istotne zmiany, które mają wpływ na obniżenie poziomu trafności LSR? Efektywność Czy osiągnięte efekty rzeczywiście były wynikiem realizacji przedsięwzięć w ramach wdrażania LSR? Określenie stopnia prawdopodobieństwa, że obserwowane rezultaty mogłyby pojawić się pomimo braku interwencji. Skuteczność Jaki jest poziom realizacji wskaźników produktu i rezultatu? Ocena stopnia realizacji harmonogramu i budżetu wdrażania LSR. Użyteczność W jakim stopniu potrzeby beneficjentów zostały zaspokojone dzięki realizacji operacji? Jakie są nieplanowane efekty wdrażania LSR?	Analiza danych zastanych (w szczególności raportu z monitoringu) Badania ankietowe wnioskodawców Badania ankietowe mieszkańców obszaru LGD
Ewaluacja mid-term zewnętrzni, niezależni eksperci	Trafność, spójność, efektywność, skuteczność, użyteczność (pytania badawcze dla kryteriów – jak w on-going)	Analiza danych zastanych (w szczególności raportów z ewaluacji on-going) Badania ankietowe wnioskodawców Badania ankietowe mieszkańców obszaru LGD Wywiady grupowe z interesariuszami (mieszkańcami, przedstawicielami sektorów, grupy defaworyzowanej) Warsztaty partycypacyjne dla mieszkańców gmin LGD
Ewaluacja ex-post zewnętrzni, niezależni eksperci	Efektywność, skuteczność, użyteczność, trwałość (pytania badawcze dla kryteriów – jak w on-going i mid-term), ponadto komplementarność Czy działania realizowane w toku wdrażania LSR uzupełniały się z innymi programami obejmującymi obszar LGD? W jakim stopniu działania realizowane w toku wdrażania LSR uzupełniały się wzajemnie?	Analiza danych zastanych (w szczególności raportów z ewaluacji on-going i mid-term) Badania ankietowe wnioskodawców Badania ankietowe mieszkańców obszaru LGD Wywiady grupowe z interesariuszami (mieszkańcami, przedstawicielami sektorów, grupy defaworyzowanej) Warsztaty partycypacyjne dla mieszkańców gmin LGD

Charakterystyka zastosowanych technik badawczych:

Analiza danych zastanych – analiza dokumentacji wytworzonej przez biuro i organy LGD. Analiza ogólnodostępnych danych statystycznych (np. Bank Danych Lokalnych). Analiza dostępnych publikacji i raportów z badań dotyczących obszaru LGD. Zgromadzone dane będą w szczególności wykorzystane do określenia trafności prowadzonej interwencji. Wyniki analizy danych zastanych będą stanowić punkt wyjścia do zbierania danych przy pomocy pozostałych technik badawczych. Analiza dokumentacji w największym stopniu zostanie jednak wykorzystana w badaniu trafności i spójności procesu wdrażania LSR.
Wywiady eksperckie – wywiady (indywidualne i grupowe) z przedstawicielami biura LGD oraz organów LGD. Wywiady z lokalnymi liderami i przedstawicielami wszystkich sektorów. Zostaną one przeprowadzone w czasie ewaluacji mid term i ex post. Wywiady eksperckie będą odgrywać znaczącą rolę dla badania komplementarności procesu wdrażania LSR, jak również określenie jego trafności i skuteczności.
Badanie ankietowe mieszkańców obszaru LGD – badanie ilościowe przeprowadzone na reprezentatywnej (losowo dobranej) próbie 383 osób. Ankiety przeprowadzone zostaną przez pracowników LGD, z wykorzystaniem techniki PAPI. Losowość zostanie zapewniona poprzez zastosowanie metody random walking – ankiety będą przeprowadzone w wylosowanych lokalizacjach. Badanie zostanie przeprowadzone 3-krotnie: w ramach ewaluacji ex-ante, mid-term i ex-post. Przeprowadzenie badań ankietowych pozwoli na uspołecznienie procesu ewaluacji i włączenie mieszkańców w proces oceny funkcjonowania LGD. Wyniki ankiet będą istotne przede wszystkim dla oceny trafności, skuteczności oraz użyteczności procesu wdrażania LSR.
Ankieta internetowa wśród beneficjentów – badanie ilościowe przeprowadzone za pomocą formularza internetowego (CAWI). Do jego udostepnienia wykorzystana zostanie baza kontaktów zgromadzonych przez LGD w ramach wdrażania planu komunikacji. Ankieta będzie wypełniana przez wszystkich wnioskodawców, niezależnie od tego czy uzyskali oni wsparcie, o które się ubiegali. Dzięki temu możliwe będzie oszacowanie efektu netto interwencji (na podstawie analizy sytuacji kontrfaktycznych). Innymi słowy, możliwa będzie analiza efektywności interwencji podjętych w ramach wdrażania LSR. Badanie to pozwoli na uzupełnienie danych gromadzonych przy pomocy ankiet wypełnianych przez osoby korzystające z doradztwa w biurze LGD.
Warsztaty ewaluacyjne – Celem warsztatu będzie włączenie mieszkańców w proces ewaluacji LSR. Ich zaangażowanie pozwoli ocenić skutki społeczne zarówno działalności LGD, jak i operacji wspartych w ramach jego wdrażania. Przy pomocy tej metody zebrane zostaną dane istotne dla oceny użyteczności interwencji prowadzonych przez Lokalną Grupę Działania.

	Wykonawca	Źródła danych i techniki ich pozyskania	Termin realizacji	Efekt realizacji
Ex-ante	Zarząd i pracownicy LGD	Lokalna Strategia Rozwoju (analiza szczegółowych rozwiązań przyjętych w dokumencie strategicznym) Dokumentacja wytworzona w czasie konsultacji na etapie powstawania LSR Ogólnodostępne dane statystyczne Raporty, publikacje, dokumenty strategiczne dotyczące obszaru objętego LSR	Ostatni kwartał 2016	Kompleksowa ocena procesu powstawania Lokalnej Strategii Rozwoju oraz zapisów dokumentu strategicznego. Oszacowanie wszystkich możliwych efektów wdrażania LSR
On-going	Zespół ds. ewaluacji (składający się z Zarządu LGD i przedstawicieli społeczności lokalnej)	Dane pozyskane w drodze prowadzonego monitoringu Warsztaty ewaluacyjne z udziałem społeczności lokalnej, realizowane podczas Forum dla przedsiębiorców i Forum inicjatyw lokalnych Wywiady eksperckie Badanie ankietowe na reprezentatywnej próbie mieszkańców obszaru LGD Badanie ankietowe wnioskodawców	I kwartał roku następującego po roku ocenianym (ewaluacją objęty cały rok kalendarzowy)	Ocena danych zebranych podczas monitoringu Bieżąca (coroczna) ocena procesu wdrażania LSR Identyfikacja ewentualnych istotnych zmian w społeczności lokalnej rodzących potrzebę zmian zapisów LSR.
Mid-term	Niezależni eksperci	Analiza danych zastanych (źródła danych analogiczne do tych zastosowanych w czasie ewaluacji ex-ante) Wywiady eksperckie Badanie ankietowe na reprezentatywnej próbie mieszkańców obszaru LGD Badanie ankietowe wnioskodawców Warsztaty ewaluacyjne	I kwartał 2019 roku	Włączenie mieszkańców w proces ewaluacji LSR. Kompleksowa ocena dokumentu strategicznego. Opisanie i ocena zmian w społeczności lokalnej osiągniętych dzięki wdrażaniu LSR. Identyfikacja ewentualnych istotnych zmian w społeczności lokalnej rodzących potrzebę zmian zapisów LSR. Sformułowanie rekomendacji dotyczących funkcjonowania LGD oraz dalszych działań związanych z wdrażaniem LSR. Sformułowanie rekomendacji odnośnie ewentualnych zmian zapisów LSR, regulaminów lub procedur stosowanych w LGD.
Ex-post	Niezależni eksperci	Analiza danych zastanych (źródła danych analogiczne do tych zastosowanych w czasie ewaluacji ex-ante) Wywiady eksperckie Badanie ankietowe na reprezentatywnej próbie mieszkańców obszaru LGD Badanie ankietowe wnioskodawców Warsztaty ewaluacyjne	Ostatni kwartał 2022	Włączenie mieszkańców w proces ewaluacji LSR. Kompleksowa ocena dokumentu strategicznego. Ocena wszystkich aspektów funkcjonowania LGD oraz działań podjętych w ramach aktywizacji. Opisanie i ocena zmian w społeczności lokalnej osiągniętych dzięki wdrażaniu LSR. Sformułowanie rekomendacji dotyczących przyszłego sposobu funkcjonowania LGD

Wersja XML