Pole tekstowe:

2(2)2014

Tomasz Kupiec

Ewaluacja jako narzędzie zarządzania w sektorze publicznym

Streszczenie

Ewaluacja towarzyszy interwencjom publicznym od prawie 100 lat. Przynajmniej od momentu rozpowszechnienia modelu NPM (new public management) nie powinno ulegać wątpliwości, że ewahiację należy traktować jako narzędzie zarządzania i jej rola oraz efektywność powinny być analizowane w tym kontekście. Tymczasem relacja procesów ewaluacji i zarządzania nie wydaje się być szeroko omawiana w literaturze. Niniejszy artykuł jest próbą wypełnienia tej luki. Prezentuje wybór literatury poświęconej zarządzaniu (głównie strategicznemu) i ewaluacji, odnoszącej się do miejsca ewaluacji w cyklu zarządzania interwencją publiczną. Następnie proponuje model ewaluacji jako procesu towarzyszącego zarządzaniu interwencją publiczną, który może stanowić podstawę przyszłych analiz wykorzystania ewaluacji.

Słowa kluczowe: ewaluacja, wykorzystanie ewaluacji, zarządzanie strategiczne

Evaluation as a management tool in public sector

Abstract

Evaluation has accompanied public interventions for almost 100 years. At least since the prevalence of the NPM model evaluation should be regarded as a management tool and its role and effectiveness ought to be analyzed in this context. Meanwhile, the relationship of evaluation and management processes does not seem to be widely discussed in the literature. This article is an attempt to fill this gap. It presents a selection of the literature on management (mainly strategic) and evaluation relating to the place of evaluation in the management cycle of public intervention. Then it proposes a model of evaluation as the process accompanying the management of public intervention, which may be the basis for future analyzes of the use of evaluation.

Key words: evaluation, evaluation use, strategic management

Ogólne definicje ewaluacji wskazują, iż jest to zestaw działań stosowanych do ustalenia jakości, określenia wartości, znaczenia danego obiektu, programu^{^[1]}. Powszechnie spotykane w literaturze są jednak również bardziej złożone wyjaśnienia tego terminu, oddające w większym stopniu charakterystyczne cechy odrębnej dyscypliny i profesji, jaką obecnie jest ewaluacja. Przykładowo, w pierwszym w Polsce podręczniku akademickim ewaluacji interwencji publicznych współfinansowanych ze środków UE^{^[2]}, na podstawie szerokiego przeglądu źródeł, zaproponowano definicję ewaluacji, łączącą podstawowe, najczęściej występujące w literaturze przedmiotu elementy. Zgodnie z nią „ewaluacja to systematyczne badanie, prowadzone z użyciem zróżnicowanych metod, złożone ze zbierania danych, analizy, oceny oraz informowania o wynikach. Jego celem jest oszacowanie (w odniesieniu do jasno sformułowanych kryteriów) jakości i wartości procesu oraz efektów wdrażania interwencji publicznych”. Charakterystyczne dla tej i większości innych popularnych definicji jest to, że przedstawiają ewaluację w kontekście sektora publicznego i realizowanej przez niego polityki publicznej, bowiem to właśnie działania sektora publicznego stanowią sprzyjające otoczenie, w którym rozwijają się praktyki ewaluacji.

Niektórzy teoretycy ewaluacji, szczególnie wywodzący się z pola edukacji, doszukują się jej początków już na przełomie XIX i XX w.^{^[3]}. Wśród pozostałych autorów związanych z ewaluacją programów społecznych popularny jest pogląd, iż ewaluacja pojawiła się w polityce publicznej w latach 30. XX w.^{^[4]}. W tym czasie, konkretnie w latach 1932-1940, Ralph Tyler przeprowadził tzw. ośmioletnie studia - badanie efektywności różnych form szkolnictwa. Jest ono przez niektórych uważane za początek nowoczesnej ewaluacji programów^{^[5]}. Dalszy rozwój ewaluacji jako niezależnej dyscypliny naukowej i profesji nastąpił w latach 60.^{^[6]}, a impulsem do tego był wprowadzony przez amerykańską administrację pakiet programów społecznych w ramach inicjatyw War on Poverty i Great Society.

Ewolucja ewaluacji była blisko związana z przemianami w otaczającym ją sektorze publicznym, a jej rola była inna w każdym z paradygmatów instytucjonalnych, dotyczących administrowania i zarządzania sprawami publicznymi. W ramach tradycyjnej, weberowskiej administracji publicznej powszechnie wykorzystywane były procedury planowania i analizowania rezultatów ex-ante^{^[7]}. W badaniach efektów dominowały wtedy metody eksperymentalne, które niewiele mówiły o przyczynach obserwowanych rezultatów i tym samym miały niewielki wkład w usprawnienie programów. W konsekwencji reform przełomu lat 70. i 80., których efektem było ukształtowanie nowego modelu zarządzania sektorem publicznym - nowego zarządzania publicznego (NPM - new public management)^{^[8]}, nastąpiła reorientacja ewaluacji. Wykraczając poza pole zainteresowań badaczy społecznych, stała się ona narzędziem wykorzystywanym i kształtowanym przez odbiorców wyników - polityków, decydentów, zarządzających i wdrażających programy^{^[9]}. Ewaluacja z aktywności czysto naukowej stała się również działaniem politycznym i zarządczym. W szerszym zakresie zaczęto wykorzystywać metody jakościowe w duchu konstruktywizmu. Zainteresowanie przesunęło się z analizy rezultatów ex-ante, na ich pomiar ex-post^{^[10]}. Nastąpiła również (jako konsekwencja silniejszego powiązania ewaluacji z bieżącymi działaniami organizacji) internalizacja procesów ewaluacyjnych przez organizacje publiczne. Spopularyzowane zostały ewaluacje wewnętrzne, prowadzone przez kadrę danej organizacji^{^[11]}. Oznaczało to pojawienie się nowej funkcji ewaluacji - wspieranie procesów uczenia się. Także paradygmat nowego współrządzenia publicznego (NPG - new public governance)^{^[12]} odcisnął swoje piętno na praktyce ewaluacji. Wśród proponowanych podejść pojawiły się ewaluacje: partycypacyjna^{^[13]}, uprawniająca interesariuszy^{^[14]}, dialogiczna^{^[15]} czy deliberatywna^{^[16]}. Uwzględnienie rzeczywistości wielopoziomowych układów sieciowych i mnogości partnerów zaangażowanych w realizację i współdecydowanie o interwencji skutkowało natomiast realizacją ewaluacji wielopoziomowych^{^[17]} i wspólnych^{^[18]}.

Przynajmniej od momentu rozpowszechnienia reform NPM oczywistym wydaj e się postrzeganie ewaluacji jako narzędzia zarządzania w sektorze publicznym. Rozumienie roli i funkcji ewaluacji, zdefiniowanie i pomiar efektywności jej wykorzystania powinny być rozpatrywane w kontekście relacji ewaluacji i zarządzania, z uwzględnieniem miejsca ewaluacji w cyklu zarządzania interwencją/programem publicznym. Tymczasem, mimo bogatej literatury zarządzania, w tym zarządzania strategicznego, i równie licznych źródeł traktujących o ewaluacji, w tym o sposobach i czynnikach jej wykorzystania, rzadko spotkać można pozycje, które obejmują oba te zagadnienia oraz ich wzajemne powiązania. Dodatkowo, najczęściej nie są to pogłębione analizy. Ewaluacja pojawia się w literaturze zarządzania niejako „na marginesie”, jako jeden z elementów cyklu zarządzania, bez odniesienia do teorii ewaluacji. Podobnie w literaturze poświęconej ewaluacji, choć umiejscawia się ją czasem w cyklu zarządzania czy polityki publicznej, to nie wiąże się to zwykle z pogłębioną analizą procesu zarządzania.

Niniejszy artykuł jest próbą wypełnienia zarysowanej powyżej luki. W jego ramach omówiono wybór literatury poświęconej zarządzaniu (głównie strategicznemu) i ewaluacji, odnoszącej się do relacji obu tych procesów. Następnie zaproponowano model ewaluacji jako procesu towarzyszącego zarządzaniu interwencją publiczną, który wyjaśnia, jak należy rozumieć realizację i wykorzystanie ewaluacji w kontekście zarządzania. Założenia modelu mogą stanowić podstawę przyszłych analiz wykorzystania ewaluacji i debaty na temat jej efektywności w ramach polityki spójności oraz zasadności stosowania ewaluacji w ramach pozostałych sektorów polityki publicznej w Polsce.

Relacja ewaluacji i zarządzania z perspektywy zarządzania

Zasadność wykorzystania ewaluacji jako narzędzia zarządzania wydaje się podpowiadać intuicja. Skoro zarządzanie strategiczne miało być odpowiedzią na rosnącą niepewność w procesie podejmowania decyzji, to ewaluacja, jako źródło informacji wspierających decyzje, może być sposobem na ograniczanie stopnia owej niepewności. Elementy definicji zarządzania strategicznego, przedstawiającej je jako „proces informacyjno-decyzyjny (wspomagany funkcjami planowania organizacji, motywacji i kontroli), którego celem jest rozstrzyganie o kluczowych problemach organizacji, o jej przetrwaniu i rozwoju, ze szczególnym uwzględnieniem oddziaływań otoczenia i węzłowych czynników własnego potencjału organizacyjnego”^{^[19]} korespondują z elementami definicji ewaluacji wskazującymi, iż powinna ona „wspierać podejmowanie decyzji odnośnie obecnych i przyszłych działań publicznych, poprzez dostarczanie wiedzy, danych, niezbędnych do ich podjęcia”^{^[20]}.

W ten sam sposób rozumieć można wspieranie ewaluacją zarządzania operacyjnego, które jest procesem transformacji zasobów w produkty i usługi^{^[21]}. Co ważniejsze jednak w omawianym kontekście, zarządzanie operacyjne to „działanie natychmiastowe/bieżące, składające się z dużej liczby podejmowanych na bieżąco decyzji w każdym dniu i tygodniu roboczym”^{^[22]} - decyzji, które mogą teoretycznie być zasilane ewaluacją. Warto również zauważyć, że strumień tych decyzji (w ramach zarządzania operacyjnego) ma przyczyniać się do realizacji celów strategicznych^{^[23]}. Możemy zatem traktować zarządzanie operacyjne jako proces w pewnym sensie zagnieżdżony w ramach procesu zarządzania strategicznego, stanowiący jego element^{^[24]}. Założenie to pozwoli interpretować przytaczane niżej źródła, pokazujące miejsce ewaluacji w procesie zarządzania strategicznego, jako odnoszące się również (choć nie bezpośrednio i nie we wszystkich wypadkach) do zarządzania operacyjnego.

W literaturze poświęconej zarządzaniu strategicznemu ewaluacja często wskazywana jest jako jeden z elementów, etapów czy faz tego procesu. Najczęściej jest ostatnim etapem, zamykającym cykl zarządzania:

» Thompson i Strickland^{^[25]} opisują zarządzanie strategiczne jako sekwencję: 1) definiowania przedmiotu działalności i misji, 2) przełożenia misji na długo i krótkoterminowe cele, 3) opracowania strategii, 4) wdrożenia strategii, 5) ewaluacji i dostosowania w zakresie wdrażania.

• Steiss^{^[26]} wyróżnił etapy: 1) planowania strategicznego, 2) zarządzania zasobami, 3) kontroli i ewaluacji.

• David^{^[27]} wylicza: 1) formułowanie strategii, 2) wdrażanie strategii, 3) ewaluacje strategii.

W niektórych modelach ewaluacja pojawia się jednak również w innych fazach cyklu:

• Schendel i Hofer^{^[28]} wymienili: 1) formułowanie celów, 2) analizę otoczenia, 3) formułowanie strategii, 4) ocenę strategii, 5) kontrolę strategiczną.

• Bończak-Kucharczyk i współpracownicy^{^[29]} w procesie budowania i realizacji strategii wyróżnili: 1) analizę, 2) cele, 3) warianty, 4) ocenę i wybór, 5) plany i programy, 6) realizację, 7) ocenę.

• W modelu planowania strategicznego Steinera^{^[30]} etap ewaluacji strategii następuje po 1) ustaleniu celów i 2) analizie otoczenia oraz wnętrza organizacji, a przed 3) operacjonalizacją strategii.

W pierwszej grupie wymienionych przykładów mamy więc do czynienia z ewa- luacją ex-post efektów. W drugiej grupie ewaluację ex-post uzupełnia ewaluacja ex-ante założeń strategii^{^[31]}. Z tą drugą sytuacją koresponduje pogląd R. Rumelta^{^[32]}, który twierdzi, że ewaluacja strategii stanowi ważny element ukierunkowywania organizacji, a strategia nie może być formułowana ani dostosowywana bez ewaluacji.

Relacja ewaluacji i zarządzania z perspektywy ewaluacji

Autorzy omawiający miejsce ewaluacji w procesie zarządzania w sektorze publicznym z perspektywy ewaluacji wskazują, że jej wykorzystanie może i powinno być jeszcze szersze. Rola ewaluacji ukazywana jest przez nich często co prawda nie w kontekście zarządzania strategicznego, ale cyklu polityki publicznej. Wydaje się jednak, że na potrzeby niniejszego artykułu pojęcia te są sobie wystarczająco bliskie. W praktyce sektora publicznego pojęcia strategii i zarządzania towarzyszą bowiem (przynajmniej od czasu reform NPM) pojęciu polityki publicznej. Jak zauważają Płoskonka, Szlachta, Zaleski^{^[33]}, pojęcia „polityka publiczna” i „strategia publiczna” mogą być trudne w rozróżnieniu. Zdaniem autorów, „polityka publiczna artykułuje intencję dokonania zmian oraz określa polityki, które powinny być wspólnie wdrażane w celu osiągnięcia zakładanych zmian, natomiast strategia określa cele, wybiera najbardziej odpowiednie narzędzia do ich osiągnięcia i uszczegóławia ich praktyczne stosowanie. (...) Osiągnięcie zaplanowanych celów ogólnych tak rozumianej strategii wymaga rozwinięcia wielu polityk publicznych". Także Kozak^{^[34]} wskazuje, iż podstawą polityki powinny być dokumenty strategiczne, a jej efektywność warunkuje system zarządzania. Relacja między „polityką” i „strategią” jest więc, jak zauważają Płoskonka, Szlachta, Zaleski^{^[35]}, bardzo ścisła i interakcyjna.

Polityka publiczna rozumiana np. jako decyzja rządu o podjęciu pewnego wachlarza działań^{^[36]} czy to, co funkcjonariusze publiczni postanawiają robić bądź czego nie robić w odpowiedzi na istniejące problemy publiczne^{^[37]}, nie jest oczywiście tożsama pojęciu zarządzania publicznego, które może być rozumiane np. jako sposób zarządzania organizacjami publicznymi, wartości, kultura, techniki administracyjne^{^[38]}, koordynowanie działań podmiotów należących do różnych sektorów^{^[39]}. W niniejszym artykule przez zarządzanie rozumie się jednak przede wszystkim zarządzanie strategiczne zorientowane na interwencje publiczne, czyli takie, w toku którego następuje określenie problemu/celu, przygotowanie interwencji/programu, jego wdrożenie i ocena. Przy takim zawężeniu wydaje się, że zarządzanie interwencją publiczną jest bliskie kreowaniu i wdrażaniu polityki publicznej, a ewaluacja może wspierać oba te procesy w podobny sposób.

Rysunek 1. Ewaluacja w cyklu polityki publicznej

Źródło: J. Górniak, Ewaluacja w cyklu polityk publicznych, w: Ewaluacja funduszy strukturalnych-perspektywa regionalna, red. S. Mazur, UE Katowice, MSAP, Kraków 2007, s. 12.

W przedstawionym powyżej cyklu polityki publicznej ewaluacja pojawia się trzykrotnie:

• ewaluacja ex-ante - na etapie oceny zasadności założeń przyjętych rozwiązań,

• ewaluacja mid-term i on-going - prowadzona w trakcie realizacji przedsięwzięć i służąca ich korektom, jeżeli są one konieczne,

• ewaluacja expost - mająca na celu ocenę efektów przedsięwzięć, polityki, po ich zakończeniu.

' refleksja nad stanem ' rzeczy, sytuacją spoteczno-

< -ekonomiczną _>

refleksja nad osiągniętymi efektami interwencji

strategiczne wybory co do kierunku

i kształtu interwencji


wdrażanie	bieżąca
interwencji	refleksja
\>	<___________ 7

refleksja nad zasadnością planowanej interwencji

ostateczna decyzja o wdrażaniu danego rozwiązania

Rysunek 2. Logika cyklu interwencji publicznych

Źródło: K. Olejniczak, Mechanizm i narzędzia racjonalizacji prorozwojowych działań publicznych, w: Europejskie wyzwania dla Polski i jej regionów, red. A. Tucholska, Ministerstwo Rozwoju Regionalnego, Warszawa 2010, s. 304.

Choć autor nie akcentuje tego faktu, to wykorzystanie informacji, których dostarczyć może ewaluacja konieczne jest także na etapach identyfikacji problemów oraz analizy polityki. Wynika to częściowo ze schematu cyklu interwencji publicznych zaproponowanego przez Olejniczaka^{^[40]}, w którym refleksje nad zasadnością planowanej interwencji, bieżącą refleksję i refleksję nad osiągniętymi efektami interwencji (odpowiadające trzem typom ewaluacji z modelu Górniaka^{^[41]}) uzupełnia refleksja nad stanem rzeczy, sytuacją społeczno-ekonomiczną^{^[42]}.

Swój model wykorzystania ewaluacji w cyklu życia programu, interwencji publicznej zaproponowała M. Scheirer^{^[43]} i choć przedmiotem jej zainteresowania były typy badań i metody adekwatne dla poszczególnych etapów rozwoju programu, to przy okazji wskazała ona, że na wszystkich etapach cyklu życia programu ewaluacja jest przydatna.

Nachmias i Felbinger^{^[44]}, obrazując możliwości wykorzystania ewaluacji w szerszej perspektywie cyklu politycznego również pokazali, iż użycie ewaluacji może mieć miejsce na różnych etapach: wdrażania polityki, alokowania środków, analizowania i wyboru opcji czy też podejmowania dyskusji o potrzebie interwencji. Co ciekawe, wykorzystywana na danym etapie cyklu wiedza nie musi powstać również na tym etapie.

określenie

zatożeń

zapewnienie środków

zatwierdzenie polityki

Rysunek 3. Subcykle wykorzystania ewaluacji w cyklu interwencji publicznej

Źródło: R.D. Bingham, C.L. Felbinger, Evaluation in practice: a methodological approach, Seven Bridges Press, New York 2002, s. 9.

Model, w którym wszystkie etapy procesu zarządzania strategicznego są wspierane ewaluacją zaprezentowali Haber i Szałaj^{^[45]}, wskazując dodatkowo typy i przedmiot

ewaluacji na poszczególnych etapach zarządzania. Ewaluacja w tym modelu nie jest rozumiana wąsko jako sposób oceny efektów badanego programu, ale jest narzędziem, które może okazać się przydatne w tworzeniu, ocenie sposobu wdrażania i modyfikacji strategii. Ewaluacja w takim ujęciu dostarczać ma odpowiedzi wychodzących poza poprawność i trafność założeń czy też stopień realizacji celów, a służących wsparciu określania optymalnego sposobu realizacji zadań.

ewaluacja ex-ante

ewaluacja on-going ewaluacja tematyczna ewaluacja mld-term

ewaluacja on-going ewaluacja mid-term ewaluacja ex-post

ewaluacja skoncentrowana na (przyszłych)

efektach

ewaluacja

skoncentrowana

na procesach ewaluacja

skoncentrowana

na efektach

Rysunek 4. Ewaluacja w procesie zarządzania strategicznego

Źródło: Ewaluacja w strategicznym zarządzaniu publicznym, red. A. Haber, M. Szałaj, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2010, s. 68.

Zarządzanie jako ciągła adaptacja, ewaluacja jako narzędzie nauki

Jak pokazano w poprzednich podrozdziałach, rozbieżność poglądów między przedstawicielami dziedziny zarządzania strategicznego i specjalistami w zakresie ewaluacji dotyczy przede wszystkim wykorzystania i użyteczności ewaluacji w trakcie wdrażania programu, interwencji, realizacji strategii. Ta różnica spojrzeń, a dokładnie ograniczone postrzeganie roli ewaluacji przez teoretyków zarządzania, jest zrozumiała na gruncie tradycyjnej planistycznej szkoły zarządzania strategicznego, która opierała działanie na długofalowym planie, kształtującym przyszłość organizacji w uporządkowany, racjonalny sposób^{^[46]}. Dużo szersze pole do wykorzystania ewaluacji - bliższe spojrzeniu teoretykom ewaluacji - wydaje się otwierać szkoła ewolucyjna. Zgodnie z jej założeniami dobrzy menedżerowie muszą stale zdobywać informacje o tym, co się w organizacji dzieje. To samo dotyczy otoczenia, które zmienia się zbyt szybko, by raz ustalone długofalowe cele pozostały aktualne, zatem strategia musi być do zmian w otoczeniu dostosowywana. Procedura planowania jest więc wykorzystywana do tworzenia ogólnych założeń działań, a docierające na bieżąco informacje korygują operacyjne działanie. Mintzberg i współpracownicy^{^[47]} zamiast o podejściu ewolucyjnym mówili o podejściu uczącym się (learningschool). Założenia pozostają jednak w zasadzie te same - świat jest zbyt złożony, żeby możliwe było jednorazowe sformułowanie strategii z jasną wizją i celami. Strategie muszą powstawać krok po kroku, poprzez kolejne adaptacje i uczenie się. Narzędziem tej nauki, szczególnie w sektorze publicznym, może być ewaluacja^{^[48]}.

Rozumienie zarządzania strategicznego jako procesu ciągłej adaptacji^{^[49]} pozwala spojrzeć na podmioty zarządzające jako na organizacje uczące się. Organizacja taka ma zdolność pozyskiwania wiedzy i modyfikowania swoich działań na podstawie wniosków wyciąganych z tej wiedzy^{^[50]}, ma trwałą zdolność do adaptacji i zmiany^{^[51]}. W procesie uczenia się organizacja aktywnie używa danych, min. na temat postępów w osiąganiu celów^{^[52]}, opiera się na informacjach z badań zewnętrznych^{^[53]}, zespoły w jej ramach dzielą się wnioskami z badań ewaluacyjnych^{^[54]}.

Ewaluacja w procesie zarządzania strategicznego może być więc źródłem informacji zwrotnej o jakości realizowanych działań i ich efektach na każdym etapie funkcjonowania organizacji, zaś w odniesieniu do programu/interwencji publicznej na każdym etapie cyklu planowania i realizacji owej interwencji. Informacje te są podstawą refleksji prowadzącej do zmian/adaptacji. Zmiany te mogą dotyczyć bieżącego działania, np. procedur wdrażania programu operacyjnego, bądź zmian założeń, sposobu definiowania problemów i ich przyczyn, przyjętych celów^{^[55]}. Proces adaptacji ma charakter ciągły, zatem ewaluacja również powinna być postrzegana jako proces ciągły, towarzyszący zarządzaniu strategicznemu organizacją czy interwencją publiczną.

Adaptacje kwestii operacyjnych

Adaptacje kwestii strategicznych

---------------- , Funkcja «----------------

________ refleksyjna _________

Impulsy ~ ~ Impulsy

zwrotne (np. zwrotne (np.

ewaluacja) ewaluacja)

Wizja, cele, zadania

Funkcja strategiczna

Funkcja wdrożeniowa

Rysunek 5. System zarządzania strategicznego interwencją publiczną

Źródło: opracowanie własne na podstawie K. Olejniczak, Mechanisms Shaping an Evaluation System - A Case Study of Poland 1999-2010, “Europe-Asia Studies” 2013, no. 8(65).

Takie postrzeganie ewaluacji wydaje się bliskie postrzeganiu wynikającemu z modelu systemu zarządzania strategicznego interwencją publiczną K. Olejniczaka^{^[56]}, wykorzystanemu następnie w badaniu systemu realizacji polityki spójności w Polsce^{^[57]}. Refleksja (której elementem jest ewaluacja) stanowi w nim autonomiczną funkcję realizowaną w sposób ciągły poprzez analizę impulsów płynących z obszarów strategicznego i wdrożeniowego oraz generowanie propozycji adaptacji (rysunek 5).

Model Olejniczaka jest więc charakterystyczny również pod tym względem, że wskazuje bezpośrednio na związek ewaluacji z zarządzaniem operacyjnym. Co prawda, pamiętając, iż zarządzanie operacyjne służy wdrożeniu strategii sformułowanej w ramach zarządzania strategicznego, możemy doszukać się wsparcia realizacji operacji ewaluacją w większości przedstawionych powyżej modeli. Odzwierciedla to „ewa- luacja w toku”^{^[58]}, „bieżąca refleksja”^{^[59]} czy „ewaluacja procesów”^{^[60]}. Model Olejniczaka wprost wskazuje jednak, że funkcja strategiczna i funkcja wdrożeniowa realizowane są równolegle, a ewaluacja wspiera je obie w tym samym czasie.

Konkluzje - ewaluacja jako proces towarzyszący zarządzaniu interwencją

Przytoczone w treści artykułu definicje zarządzania (strategicznego i operacyjnego) i ewaluacji oraz zaprezentowane modele zarządzania strategicznego i cyklu polityki publicznej potwierdzają, że ewaluacja może być traktowana jako narzędzie zarządzania.

Posiłkując się spojrzeniem na zarządzanie strategiczne jako proces ciągłej adaptacji, proponuję, by również ewaluację rozumieć jako proces ciągły, toczący się równolegle do planowania i wdrażania interwencji (do zarządzania strategicznego i operacyjnego), dostarczający informacji w zakresie jakości procesu realizacji interwencji i jej efektów^{^[61]} oraz wspierający decyzje odnośnie do ewentualnych modyfikacji (rysunek 6). Wsparcie to, propozycje modyfikacji, dotyczyć mogą zarówno kwestii strategicznych (założeń interwencji, zidentyfikowanych problemów celów programu, kierunków wsparcia, priorytetów, alokacji finansowych^{^[62]}), jak i operacyjnych (usprawnianie procesu wdrażania, np. rozwiązywania bieżących problemów związanych z wydatkowaniem środków, realizacją operacji).

Rozumienie ewaluacji jako procesu, który trwać może kilka lat (przynajmniej tak długo, jak planowana i wdrażana jest dana interwencja/program) wydaje się bliskie poglądowi Rista i Stamea^{^[63]}, którzy proponują spojrzenie na ewaluację nie przez pryzmat pojedynczych badań, ale właśnie całościowego, świadomie kształtowanego strumienia badań i danych towarzyszącego planowaniu, wdrażaniu i procesowi decyzyjnemu realizowanemu w ich ramach. Przyjęcie, że ewaluacja to długotrwały proces towarzyszący przygotowaniu i realizacji interwencji publicznej, pozwala sformułować następujące oczekiwania:

• Ewaluacja powinna mieć zdefiniowane cele i zostać zaplanowana. Nie chodzi tu jedynie o przygotowanie harmonogramu badań do realizacji, ale też m.in. o zbudowanie struktur, przygotowanie kadr, zapewnienie środków finansowych, przygotowanie procedur współpracy z komórkami odpowiedzialnymi za formułowanie i wdrażanie interwencji, procedur wyboru wykonawców badań, a także ich późniejszego nadzorowania i odbioru badań, procedur rozpowszechniania rezultatów badań.

• Ewaluacja musi być sprawnie realizowana i nie odnosi się to wyłącznie do realizacji konkretnego badania. Każdego roku jednostki ewaluacyjne działające w poszczególnych instytucjach zwykle realizują kilka badań ewaluacyjnych, które muszą być odpowiednio rozplanowane w czasie i koordynowane, tak by efektywnie wykorzystać zasoby (głównie ludzkie) jednostki ewaluacyjnej, a z drugiej strony dostarczać wyniki badań wtedy, gdy są one potrzebne. Przez realizację ewaluacji rozumieć należy również działania podejmowane na rzecz rozwoju kultury ewaluacyjnej, np.: organizację szkoleń, konferencji, seminariów, prezentacje wyników badań, powołanie grup sterujących ewaluacją, wymianę doświadczeń z innymi instytucjami i jednostkami ewaluacyjnymi, nawiązanie kontaktów ze światem nauki.

• Proces ewaluacji powinien być kontrolowany, oceniany i usprawniany. Jeżeli cykl życia danej interwencji publicznej/programu operacyjnego obejmuje kilka lat, to zarówno jakość realizacji procesu ewaluacji (np. czas trwania procedury wyboru wykonawcy, współpraca jednostki ewaluacyjnej z komórkami planującymi i wdrażającymi interwencję), jak i jej rezultaty (jakość i użyteczność realizowanych badań oraz wynikających z nich rekomendacji) powinny być kontrolowane. Konsekwencją takiej kontroli/metaewaluacji powinny być korekty założeń procesu ewaluacji i procedur jego realizacji.

Realizacja badań/analiz w ramach procesu ewaluacji uruchamiana jest w odpowiedzi na potrzeby informacyjne zgłaszane na każdym etapie procesów zarządzania strategicznego i operacyjnego oraz wykorzystuje dane generowane w ramach tych procesów. Z ewaluacji wynikają rekomendacje zorientowane na usprawnienie zarządzania. Docelowo powinny one wywołać modyfikacje w zakresie założeń interwencji (zarządzanie strategiczne) bądź sposobu jej wdrażania (zarządzanie operacyjne).

Warto zauważyć, że ewaluacja wywołana impulsami z pola zarządzania strategicznego może generować rekomendacje na potrzeby zarządzania operacyjnego (np. ewaluacja efektów interwencji wykazała, iż system monitoringu nie dostarcza odpowiednich danych, dlatego zalecono jego uzupełnienie) i odwrotnie (np. ewaluacja mająca wskazać sposoby zwiększenia zainteresowania beneficjentów aplikowaniem o wsparcie wykazała, iż w związku ze zmianą uwarunkowań w otoczeniu założenia interwencji muszą zostać zmodyfikowane). Równocześnie trzeba pamiętać, że nie każda ewaluacja, której rekomendacje sugerują zmianę strategii może zostać automatycznie uznana za wspierającą zarządzanie strategiczne. Przykładowo sugestia przesunięcia środków finansowych z działań, które realizuje się trudno (i powoli) na działania realizowane szybko ingeruje w założenia strategii, ale nie wspiera zarządzania strategicznego, bowiem ignoruje skuteczność osiągania celów strategicznych, a ułatwia jedynie osiągnięcie celów operacyjnych (zwiększenia tempa realizacji programu).

Na zakończenie warto zastanowić się, jak w kontekście ewaluacji rozumianej jako proces towarzyszący zarządzaniu interwencją, należy definiować i mierzyć wykorzystanie ewaluacji. Wykorzystanie jest kluczowym zagadnieniem dla teoretyków i praktyków ewaluacji. Dla pierwszych stanowi przedmiot debat i rdzeń, wokół którego rozwija się teoria ewaluacji. Dla drugich stanowi sens pracy i miarę jej jakości^{^[64]}. Jak zauważają Henry i Mark^{^[65]}, w minionych dekadach żaden inny aspekt procesu ewaluacji nie generował takiego zainteresowania oraz takiej liczby badań empirycznych, co temat wykorzystania. Najbardziej rozpowszechniona w literaturze klasyfikacja wyróżnia wykorzystanie^{^[66]}:

• instrumentalne - bezpośrednie decyzje, działania, zmiany wprowadzone w odpowiedzi na wnioski, rekomendacje płynące z ewaluacji,

• koncepcyjne - zmiana stanu wiedzy, rozumienia, sposobu myślenia o programie, jego uczestnikach, działaniach, efektach czy mechanizmach powstawania efektów,

• symboliczne - uzasadnianie ewaluacją podjętych już decyzji, realizacja badań jedynie w celu pokazania, że dana instytucja działa i podejmuje decyzje racjonalnie.

W Polsce, gdzie o systematycznym podejściu do ewaluacji i to tylko w ramach jednej polityki (spójności) możemy mówić dopiero od ok. 10 lat, temat użyteczności i użycia ewaluacji nie był dotychczas popularny. Należy jednak oczekiwać i mieć nadzieję, że już niedługo jej wykorzystanie stanie się podstawowym przedmiotem debaty ewaluacyjnej także w naszym kraju. Na potrzeby tych przyszłych analiz i debat proponuję następujące podejście do zagadnienia wykorzystania ewaluacji. Produktami ewaluacji są badania, raporty z badań, wynikające z nich wnioski i rekomendacje, natomiast możliwe do pomiaru wykorzystanie ewaluacji to suma wszystkich faktycznie podjętych decyzji, zmian, modyfikacji w całym procesie zarządzania daną interwencją/programem, wspartych wnioskami i rekomendacjami wynikającymi z ewaluacji. Modyfikacje te mogą mieć charakter operacyjny, zachodzić w ramach zarządzania operacyjnego (dotyczyć jakości procesu wdrażania) bądź charakter strategiczny (dotyczyć założeń, celów interwencji, sposobów ich osiągania). O efektywnym wykorzystaniu ewaluacji możemy mówić jedynie, jeśli wspierane badaniami są decyzje zarówno operacyjne, jak i strategiczne, przy czym bardziej wartościowe jest wsparcie w wymiarze strategicznym. Ponadto, analizując wprowadzane zmiany, warto zwrócić uwagę na ich faktyczne znacznie, tzn. to, czy są one istotne - dotyczą rozwiązania faktycznie zidentyfikowanego i ważnego problemu, czy nieistotne - nie dotykają istoty problemu, obejmują działania drobne, techniczne, które nie wpływają zauważalnie na jakość realizacji i efekty programu operacyjnego.

Zgodnie z przytoczoną klasyfikacją, tak rozumiane wykorzystanie ma charakter instrumentalny. Wykorzystanie koncepcyjne można próbować uchwycić osobno jako zmiany stanu wiedzy, postrzegania rzeczywistości przez decydentów, menedżerów, pracowników instytucji. Można również przyjąć, że w średnim okresie czasu (a w takim realizowany jest proces ewaluacji) zmiany stanu wiedzy czy rozumienia problemów rozwiązywanych interwencjami publicznymi powinny przełożyć się jednak na konkretne decyzje, wybory, które zostaną zarejestrowane w sposób opisany wyżej. Zatem wykorzystanie koncepcyjne może być traktowane jako krok pośredni w drodze do wykorzystania instrumentalnego. Natomiast użycie ewaluacji w sposób symboliczny, na potrzeby uzasadnienia podjętych decyzji, należałoby traktować jako zjawisko negatywne, wypaczające ideę wykorzystania ewaluacji jako narzędzia zarządzania.

Analiza wykorzystania ewaluacji z pomocą powyższych założeń powinna prowadzić do wiarygodnych, porównywalnych między badaniami wyników, które będą mogły następnie stanowić podstawę rzeczowej dyskusji o efektywności ewaluacji i jej przyczynach. Debata taka w Polsce jest możliwa na razie jedynie w ramach polityki spójności, ale wnioski z niej wynikające mogą przyczynić się do rozprzestrzeniania praktyk ewaluacyjnych na inne dziedziny polityki publicznej i w konsekwencji do podniesienia ich skuteczności.

Bibliografia

Abma T.A., Opening Thoughts, “Evaluation” 2001, no. 7(2).

Alkin M.C., Christie C.A., An evaluation theory tree, w: M.C. Alkin, Evaluation roots: trading theorists’ views and influences, Sage, Thousand Oaks, CA-London 2004.

Argyris C., Schón D.A., Organizational Learning: A Theory of Action Perspective, Addison- -Wesley, Reading 1978.

Bingham R.D., Felbinger C.L., Evaluation in practice: a methodological approach, Seven Bridges Press, New York 2002.

Bończak-Kucharczyk E„ Cousins L, Herbst K„ Steward M„ Lokalne strategie rozwoju gospodarczego. Poradnik dla gmin i liderów lokalnych, Brytyjski Fundusz Współpracy Know-How, Warszawa 1996.

Chakravarthy B.S., Adaptation: A Promising Metaphor for Strategic Management, “The Academy of Management Review” 1982, no. 7(1).

Chelimsky E„ Program Evaluation: Patterns and Directions, American Society for Public Administration, Washington 1985.

Cousins J.B., Whitmore E„ Framing participatory evaluation, “New Directions for Evaluation” 1998, no. 80.

Dahler-Larsen P„ Evaluation in Public Management, w: The Oxford Handbook of Public Management, eds. E. Ferlie, L.E. Lynn, C. Pollitt, Oxford University Press, Oxford 2005.

David F.R., Strategic Management. Concept and Cases, Upper Saddle River, Prentice Hall 2011.

Deleon P„ The Historical Roots of the Field, w: The Oxford Handbook of Public Policy, eds. M. Moran, M. Rein, R.E. Goodin, Oxford University Press, Oxford 2006.

Edmondson A., Moingeon B„ From organizational learning to the learning organization, “Management Learning” 1998, no. 29(5).

EGO, Ocena systemu realizacji polityki spójności w Polsce w ramach perspektywy 2007-2013, Ministerstwo Rozwoju Regionalnego, Warszawa 2013.

Ewaluacja w strategicznym zarządzaniu publicznym, red. A. Haber, M. Szałaj, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2010.

Farell K., Kratzmann M., McWilliam S., Robinson N., Saunders S., Ticknor J., White K., Evaluation made Very easy Accessible, and Logical, Atlantic Centre of Excellence for Women’s Health 2002, http://www.acewh.dal.ca/eng/reports/EVAL.pdf, dostęp: 22 stycznia 2013.

Ferlie E„ Some debates in contemporary public sector management: An overview, w: Evaluating the effects of regional interventions. A look beyond current Structural Funds’practice, eds. K. Olejniczak, M. Kozak, S. Bienias, Ministry of Regional Development, Warsaw 2011.

Fetterman D„ Empowerment Evaluation, “Evaluation Practice” 1994, no. 15(1).

Fleischer D.N., Christie C.A., Evaluation Use: Results From a Survey of U.S. American Evaluation Association Members, “American Journal of Evaluation” 2009, no. 30(2).

From Studies to Streams: Managing Evaluative Systems, eds. R. Rist, N. Stame N., Transaction Publishers, London 2006.

Furubo J.E., Rist R.C., Sandahl R„ International Atlas of Evaluation, Transaction Publishers, New Brunswick 2002.

Garvin D„ Building a learning organization, “Harvard Business Review” 1993, July/August.

Gephart M„ Marsick V.J., Buren M. van, Spiro M„ Learning organizations come alive, “Training and Development” 1996, no. 50(12).

Gow J.I., Dufour C., Is the New Public Management a Paradigm? Does it Matter?, “International Review of Administrative Sciences” 2002, no. 66(4).

Górniak J., Ewaluacja w cyklu polityk publicznych, w: Ewaluacja funduszy strukturalnych - perspektywa regionalna, red. S. Mazur, UE Katowice, MSAP, Kraków 2007.

Gruening G., Origin and theoretical basis of new public management, “International Public Management Journal” 2001, no. 4(1).

Haveman R.H., Policy analysis and evaluation research after twenty years, “Policy Studies Journal” 1987, no. 16(2).

Hayes R.H., Challenges Posed to Operations Management by the ‘New Economy’, “Production and Operations Management” 2002, no. 11(1).

Henry G.T., Mark M.M., Beyond Use: Understanding Evaluations Influence on Attitudes and Actions, “American Journal of Evaluation” 2003, no. 24(3).

Hood C., A Public Management For All Seasons?, “Public Administration” 1991, no. 69.

House E.R., Howe K.R., Deliberative democratic evaluation, “New Directions for Evaluation” 2000, no. 85.

Howlett M„ Ramesh M„ Studying Public Policy: Policy Cycles and Policy Subsystems, Oxford University Press, Oxford 2003.

Izdebski H„ Od administracji publicznej do public governance, „Zarządzanie Publiczne” 2007, nr 1.

Johnston R„ Chambers S., Harland C., Harrison A., Slack N., Cases in Operations Management, Pearsons Education Limited, Harlow 2003.

King J. A. et al., Reflecting on multisite evaluation practice, w: Multisite evaluation practice: Lessons and reflections from four cases, eds. J. A. King, F. Lawrenz, “New Directions for Evaluation” 2011, no. 129.

Kleindorfer PR., Singhal K„ Van Wassenhove L„ Sustainable Operations Management, “Production and Operations Management” 2005, no. 14(4).

Knorr K.D., Policymakers’ use of social science knowledge: Symbolic or instrumental? w: Using social research in public policy making, ed. C.H. Weiss, Lexington Books, Lexington MA 1997.

Kozak M„ Problem strategii w dokumentach rozwoju regionalnego, w: Rozwój, region, przestrzeń, red. G. Gorzelak, A. Tucholska, Ministerstwo Rozwoju Regionalnego, Warszawa 2007.

Kraft M.E., Furlog S.R., Public Policy. Politics, Analysis and Alternatives, CQ Press, Washington 2007.

Lawrenz E, Huffman D„ How Can Multi-Site Evaluations be Participatory?, “American Journal of Evaluation” 2003, no. 24(4).

Lincoln Y.S., Guba E.G., Research, Evaluation, and Policy Analysis: Heuristics for Disciplined Inquiry, “Policy Studies Review” 1986, no. 5(3).

Madaus G.E, Stufflebeam D.L., w: D.L. Stufflebeam, G.E Madaus, T. Kellaghan, Evaluation Models. Viewpoints on Educational and Human Services Evaluation, Kluwer Academic Publishers, New York-Boston-Dordrecht-London-Moscow 2002.

Mark M.M., Greene J., Shaw I., The evaluation of policies, programs, and practices, w: The Sage Handbook of Evaluation, eds. I. Shaw, J. Greene, M. Mark, Sage, London 2006.

Mintzberg H„ Ahistrand B„ Lampel J., Strategy Safari. A Guided tour through the wilds of strategic management, The Free Press, New York 1998.

Moynihan D„ Landuyt N., How do public organizations learn? Bridging cultural and structural perspectives, “Public Administration Review” 2009, no. 69(6).

Nevis E„ DiBella A., Gould J., Understanding organizations as learning systems, “Sloan Management Review” 1995, no. 36(2).

Obłój K„ Strategia organizacji, PWE, Warszawa 1998.

OECD, Glossary of Key Terms in Evaluation and Results Based Management, OECD Development Assistance Committee, Paris 2002.

Olejniczak K„ Wprowadzenie do zagadnień ewaluacji, w: Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, red. K. Olejniczak, Μ. Kozak, Β. Ledzion, Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008.

Olejniczak K„ Mechanizm i narzędzia racjonalizacji prorozwojowych działań publicznych, w: Europejskie wyzwania dla Polski i jej regionów, red. A. Tucholska, Ministerstwo Rozwoju Regionalnego, Warszawa 2010.

Olejniczak K„ Organizacje uczące się. Model dla administracji publicznej, Scholar, Warszawa 2012.

Olejniczak K„ Mechanisms Shaping an Evaluation System - A Case Study of Poland 1999-2010, “Europe-Asia Studies” 2013, no. 8(65).

Patton M.Q., Utilization-focused evaluation: The new century text, 3 rd ed., Sage, Thousand Oaks, CA 1997.

Płoskonka J., Szlachta J., Zaleski J., Mechanizmy i instrumenty polityki rozwoju, w: Zarządzanie Strategiczne Rozwojem, red. J. Górniak, S. Mazur, Ministerstwo Rozwoju Regionalnego, Warszawa 2012.

Preskill H„ Torres R.T., Evaluative Inquiry for Learning in Organizations, Sage Publications, Thousand Oaks 1999.

Rossi P.H., Freeman H.E., Lipsey M.W, Evaluation: A Systematic Approach, 7th ed., Sage, Thousand Oaks, London 2004.

Roy R.N., A Modern Approach to Operations Management, New Age International, New Delhi 2007.

Royse D„ Thyer B„ Padget D„ Logan T„ Program evaluation: An introduction, 3 rd ed., Wadsworth, Belmont, CA 2001.

Rumelt R.P., The Evaluation of Business Strategy, w: WE Glueck, Strategic Management and Business Policy, McGraw-Hill, New York 1980.

Scheirer M.A., Expanding Evaluative Thinking: Evaluation Through the Program Life Cycle, w: Scheirer et al., Planning Evaluation Through the Program Life Cycle, “American Journal of Evaluation” 2012, no. 33(2).

Schick A., From Analysis to Evaluation, “The ANNALS of the American Academy of Political and Social Science” 1971, no. 394(1).

Scriven M„ Key Evaluation Checklist, Evaluation Checklists Project. University of Michigan 2007, http://dmeforpeace.org/sites/default/files/Scriven_Key%20Evaluation%20Checklist. pdf, dostęp 22 stycznia 2013.

Shulha L.M., Cousins J.B., Evaluation use: Theory, research, and practice since 1986, “Evaluation Practice” 1997, no. 18(3).

Slack N., Chambers S., Johnston R„ Operations Management, Upper Saddle River, Prentice Hall 2009.

Stabryła A., Zarządzanie strategiczne w teorii i praktyce firmy, PWN, Warszawa - Kraków 2002.

Steiss A. W, Strategie Management for Public and Nonprofit Organizations, Marcel Dekker Inc., New York 2003.

Thomas H„ Mapping strategic management research, “Journal of General Management” 1984, no. 4(9).

Thompson A. A., Strickland A. J., Strategic management: Concepts and cases, BPI/Irwin, Boston 1990.

UNDP, Handbook on Planning, Monitoring and Evaluating for Development Results, United Nations Development Programme, New York 2009.

Weiss C.H., Knowledge creep and decision accretion, “Knowledge: Creation, Utilization, Diffusion” 1980, no. 1.

Wollmann H„ Evaluation in public-sector reform: Toward a ‘third wave’of evaluation?, w: Evaluation in Public Sector Reform, Concept and Practice in International Perspective, ed. H. Wollmann, Edward Elgar Publishing, Cheltenham 2003.

^{^[1]} M. Scriven, Key Evaluation Checklist, Evaluation Checklists Project, University of Michigan 2007, s. 1; K. Farell, M. Kratzmann, S. McWilliam, N. Robinson, S. Saunders, J. Ticknor, K. White, Evaluation made Very easy Accessible, and Logical, Atlantic Centre of Excellence for Women’s Health 2002, s. 8; P.H. Rossi, H.E. Freeman, M.W Lipsey, Evaluation: A Systematic Approach, 7^th edition, Thousand Oaks, Sage, London 2004, s. 2.

^{^[2]} K. Olejniczak, Wprowadzenie do zagadnień ewaluacji, w: Teoria i praktyka ewaluacji interwencji publicznych. Podręcznik akademicki, red. K. Olejniczak, Μ. Kozak, Β. Ledzion, Wydawnictwa Akademickie i Profesjonalne, Warszawa 2008.

^{^[3]} G.E Madaus, D.L. Stufflebeam, w: D.L. Stufflebeam, G.E Madaus, T. Kellaghan, Evaluation Models. Viewpoints on Educational and Human Services Evaluation, Kluwer Academic Publishers, New York- Boston-Dordrecht-London-Moscow 2002.

^{^[4]} P.H. Rossi, H.E. Freeman, M.W Lipsey, op.cit., s. 8; E. Chelimsky, Program Evaluation: Patterns and Directions, American Society for Public Administration, Washington 1985, s. 7.

^{^[5]} M.C. Alkin, C.A. Christie, An evaluation theory tree, w: M.C. Alkin, Evaluation roots: trading theorists’ views and influences, Thousand Oaks, Sage, CA-London 2004, s. 17.

^{^[6]} R.H. Haveman, Policy analysis and evaluation research after twenty years, “Policy Studies Journal” 1987, no. 16 (2), s. 192; M.M. Mark, J. Greene, I. Shaw, The evaluation of policies, programs, and practices, w: The Sage Handbook of Evaluation, eds. I. Shaw, J. Greene, M. Mark, Sage, London 2006, s. 9.

^{^[7]} G. Gruening, Origin and theoretical basis of new public management, “International Public Management Journal” 2001, no. 4(1); P. Deleon, The Historical Roots of the Field, w: The Oxford Handbook of Public Policy, eds. M. Moran, M. Rein, R.E. Goodin, Oxford University Press, Oxford 2006.

^{^[8]} C. Hood, A Public Management For All Seasons?, “Public Administration” 1991, no. 69, s. 3.

^{^[9]} P.H. Rossi, H.E. Freeman, M.W. Lipsey, op.cit., s. 9.

^{^[10]} E. Ferlie, Some debates in contemporary public sector management: An overview, w: Evaluating the effects of regional interventions. A look beyond current Structural Funds’ practice, eds. K. Olejniczak, M. Kozak, S. Bienias, Ministry of Regional Development, Warsaw 2011; A. Schick, From Analysis to Evaluation, “The ANNALS of the American Academy of Political and Social Science” 1971, no. 394(1).

^{^[11]} H. Wollman, Evaluation in public-sector reform: Toward a ‘third wave of evaluation?, w: Evaluation in Public Sector Reform, Concept and Practice in International Perspective, ed. H. Wollmann, Edward Elgar Publishing, Cheltenham 2003, s. 14.

^{^[12]} NPG rozumiemy jako “współrządzenie publiczne”; jego elementem jest m.in. budżet partycypacyjny, o którym w Polsce „już” się mówi i realizuje gdzieniegdzie.

^{^[13]} J.B. Cousins, E. Whitmore, Framing participatory evaluation, “New Directions for Evaluation” 1998, no. 80.

^{^[14]} D. Fetterman, Empowerment Evaluation, “Evaluation Practice” 1994, no. 15(1).

^{^[15]} T.A. Abma, Opening Thoughts, “Evaluation” 2001, no. 7 (2).

^{^[16]} E.R. House, K.R. Howe, Deliberative democratic evaluation, “New Directions for Evaluation” 2000, no. 85.

^{^[17]} E Lawrenz, D. Huffman, How Can Multi-Site Evaluations be Participatory?, “American Journal of Evaluation” 2003, no. 24 (4); King et al., Reflecting on multisite evaluation practice, w: Multisite evaluation practice: Lessons and reflections from four cases, eds. J. A. King, F. Lawrenz, “New Directions for Evaluation” 2011, no. 129.

^{^[18]} OECD, Glossary of Key Terms in Evaluation and Results Based Management, OECD Development Assistance Committee, Paris 2002; UNDP, Handbook on Planning, Monitoring and Evaluating for Development Results, United Nations Development Programme, New York 2009.

^{^[19]} A. Stabryła, Zarządzanie strategiczne w teorii i praktyce firmy, PWN, Warszawa-Kraków 2002, s. 11.

^{^[20]} M.Q. Patton, Utilization-focused evaluation: The new century text, 3rd ed., Sage, Thousand Oaks, CA 1997; D. Royse, B. Thyer, D. Padgett, T. Logan, Program evaluation: An introduction, 3 rd ed., Wadsworth, Belmont CA 2001.

^{^[21]} R.H. Hayes, Challenges Posed to Operations Management by the ‘New Economy, “Production and Operations Management” 2002, no. 11(1); R.N. Roy, A Modern Approach to Operations Management, New Age International, New Delhi 2007.

^{^[22]} R. Johnston, S. Chambers, C. Harland, A. Harrison, N. Slack, Cases in Operations Management, Pearsons Education Limited, Harlow 2003.

^{^[23]} N. Slack, S. Chambers, R. Johnston, Operations Management, Upper Saddle River, Prentice Hall 2009; P.R. Kleindorfer, K. Singhal, L. Van Wassenhove, Sustainable Operations Management, “Production and Operations Management” 2005, no. 14(4).

^{^[24]} Analizując proponowane w literaturze modele zarządzania strategicznego (chociażby te omawiane poniżej w ramach niniejszego artykułu) można przyjąć, że zarządzanie operacyjne realizowane jest przede wszystkim w ramach elementu nazywanego najczęściej „wdrażaniem strategii”.

^{^[25]} A. A. Thompson, A. J. Strickland, Strategie management: Concepts and cases, BPI/Irwin, Boston 1990.

^{^[26]} A.W. Steiss, Strategic Management for Public and Nonprofit Organizations, Marcel Dekker Inc., New York 2003.

^{^[27]} ER. David, Strategic Management. Concept and Cases, Upper Saddle River, Prentice Hall 2011.

^{^[28]} H. Thomas, Mapping strategic management research, “Journal of General Management’ 1984, no. 4 (9).

^{^[29]} E. Bończak-Kucharczyk, L. Cousins, K. Herbst, M. Steward, Lokalne strategie rozwoju gospodarczego. Poradnik dla gmin i liderów lokalnych, Brytyjski Fundusz Współpracy Know-How, Warszawa 1996.

^{^[30]} H. Mintzberg, B. Ahistrand, J. Lampel, Strategy Safari. A Guided tour through the wilds of strategic management, The Free Press, New York 1998.

^{^[31]} W niektórych wypadkach zamiast z ewahiacją ex-ante możemy mieć do czynienia raczej z wyborem opcji, czyli działaniem bardziej przypominającym analizę polityk, traktowaną przez niektórych autorów jako odrębna od ewaluacji forma dociekania, zob. Y.S. Lincoln, E.G. Guba, Research, Evaluation, and Policy Analysis: Heuristics for Disciplined Inquiry, “Policy Studies Review” 1986, no. 5 (3).

^{^[32]} R.P. Rumelt, The Evaluation of Business Strategy, w: WE Glueck, Strategic Management and Business Policy, McGraw-Hill, New York 1980.

^{^[33]} J. Płoskonka, J. Szlachta, J. Zaleski, Mechanizmy i instrumenty polityki rozwoju, w: Zarządzanie strategiczne rozwojem, red. J. Górniak, S. Mazur, Ministerstwo Rozwoju Regionalnego, Warszawa 2012, s. 75.

^{^[34]} M. Kozak, Problem strategii w dokumentach rozwoju regionalnego, w: Rozwój, region, przestrzeń, red. G. Gorzelak, A. Tucholska, Ministerstwo Rozwoju Regionalnego, Warszawa 2007.

^{^[35]} J. Płoskonka, J. Szlachta, J. Zaleski, op.cit., s. 75.

^{^[36]} M. Howlett, M. Ramesh, Studying Public Policy: Policy Cycles and Policy Subsystems, Oxford University Press, Oxford 2003.

^{^[37]} M.E. Kraft, S.R. Furlog, Public Policy. Politics, Analysis and Alternatives, CQ Press, Washington 2007.

^{^[38]} J.I. Gow, C. Dufour, Is the New Public Management a Paradigm? Does it Matter?, “International Review of Administrative Sciences” 2000, no. 66 (4).

^{^[39]} H. Izdebski, Od administracji publicznej do public governance, „Zarządzanie Publiczne” 2007, nr 1.

^{^[40]} K. Olejniczak, Mechanizm i narzędzia racjonalizacji prorozwojowych działań publicznych, w: Europejskie wyzwania dla Polski i jej regionów, red. A. Tucholska, Ministerstwo Rozwoju Regionalnego, Warszawa 2010, s. 304.

^{^[41]} J. Górniak, Ewaluacja w cyklu polityk publicznych, w: Ewaluacja funduszy strukturalnych -perspektywa regionalna, red. S. Mazur, UE Katowice, MSAP, Kraków 2007.

^{^[42]} W kontekście prowadzonego wywodu refleksję można utożsamić z ewaluacją, bowiem w przytaczanym opracowaniu autor wskazuje, że najbardziej optymalnym impulsem do refleksji są ewaluacje.

^{^[43]} M.A. Scheirer, Expanding Evaluative Thinking: Evaluation Through the Program Life Cycle, w: Scheirer et al., Planning Evaluation Through the Program Life Cycle, “American Journal of Evaluation” 2012, no. 33 (2).

^{^[44]} R.D. Bingham, C.L. Felbinger, Evaluation in practice: a methodological approach, Seven Bridges Press, New York 2002.

^{^[45]} Ewaluacja w strategicznym zarządzaniu publicznym, red. A. Haber, M. Szałaj, Polska Agencja Rozwoju Przedsiębiorczości, Warszawa 2010.

^{^[46]} K. Obłój, Strategia organizacji, PWE, Warszawa 1998, s. 33.

^{^[47]} H. Mintzberg, B. Ahistrand, J. Lampel, Strategy Safari. A Guided tour through the wilds of strategic management, The Free Press, New York 1998.

^{^[48]} P. Dahler-Larsen, Evaluation in Public Management, w: The Oxford handbook of public management, Oxford University Press, eds. E. Ferlie, L.E. Lynn, C. Pollitt, Oxford 2005; J.E. Furubo, R.C. Rist, R. Sandahi, International Atlas of Evaluation, Transaction Publishers, New Brunswick 2002.

^{^[49]} B.S. Chakravarthy, Adaptation: A Promising Metaphor for Strategic Management, “The Academy of Management Review” 1982, no. 7(1).

^{^[50]} D. Garvin, Building a learning organization, “Harvard Business Review” 1993, July/August.

^{^[51]} E. Nevis, A. DiBella, J. Gould, Understanding organizations as learning systems, “Sloan Management Review” 1995, no. 36 (2), s. 75-76; M. Gephart, VJ. Marsick, M. van Buren, M. Spiro, Learning organizations come alive, “Training and Development” 1996, no. 50(12), s. 36.

^{^[52]} A. Edmondson, B. Moingeon, From organizational learning to the learning organization, “Management Learning” 1998, no. 29 (5).

^{^[53]} D. Moynihan, N. Landuyt, How do public organizations learn? Bridging cultural and structural perspectives, “Public Administration Review” 2009, no. 69(6).

^{^[54]} H. Preskill, R.T. Torres, Evaluative Inquiry for Learning in Organizations, Sage Publications, Thousand Oaks 1999, s. 41. Szeroki przegląd spotykanych w literaturze definicji „organizacyjnego uczenia się”, „organizacji uczących się” oraz „zarządzania wiedzą”, z części których korzystano w powyższym akapicie, zebrał K. Olejniczak, Organizacje uczące się. Model dla administracji publicznej, Scholar, Warszawa 2012.

^{^[55]} Rozróżnienie to odpowiada koncepcji pojedynczej i podwójnej pętli uczenia, zob. C. Argyris, D. A. Schon, Organizational Learning: A Theory of Action Perspective, Addison-Wesley, Reading 1978.

^{^[56]} K. Olejniczak, Mechanisms Shaping an Evaluation System - A Case Study of Poland 1999-2010, “Europe-Asia Studies” 2013, no. 8(65).

^{^[57]} EGO, Ocena systemu realizacji polityki spójności w Polsce w ramach perspektywy 2007-2013, Ministerstwo Rozwoju Regionalnego, Warszawa 2013.

^{^[58]} J. Górniak, op.cit.

^{^[59]} K. Olejniczak, Mechanizm i narzędzia..., op.cit.

^{^[60]} Ewaluacja w strategicznym zarządzaniu..., op.cit.

^{^[61]} Zmian zachodzących w otoczeniu.

^{^[62]} Ten i wiele innych przykładów w niniejszym artykule zaczerpnięto z pola funduszy strukturalnych, a dokładnie realizowanych w Polsce programów operacyjnych wdrażających politykę spójności UE. Polityka spójności jest bowiem jedyną polityką publiczną w Polsce, w ramach której funkcjonuje w pełni rozwinięty system ewaluacji. Wszystkie programy operacyjne są systematycznie ewaluowane. W jednostkach administracji pełniących funkcje instytucji zarządzających i wdrażających programy operacyjne funkcjonują tzw „jednostki ewaluacyjne”, czyli zespoły osób zajmujących się realizacją ewaluacji.

^{^[63]} From Studies to Streams: Managing Evaluative Systems, eds. R. Rist, N. Stame, Transaction Publishers, London 2006.

^{^[64]} D.N. Fleischer, C.A. Christie, Evaluation Use: Results From a Survey of U.S. American Evaluation Association Members, “American Journal of Evaluation” 2009, no. 30 (2).

^{^[65]} G.T. Henry, M.M. Mark, Beyond Use: Understanding Evaluations Influence on Attitudes and Actions, “American Journal of Evaluation” 2003, no. 24(3).

^{^[66]} M.Q. Patton, Utilization-focused evaluation: The new century text, 3 rd ed., Sage, Thousand Oaks, CA 1997; L.M. Shulha, J.B. Cousins, Evaluation use: Theory, research, and practice since 1986, “Evaluation Practice” 1997, no. 18 (3); G.T. Henry, M.M. Mark op.cit.; C.H. Weiss, Knowledge creep and decision accretion, “Knowledge: Creation, Utilization, Diffusion” 1980, no. 1; K.D. Knorr, Policymakers’ use of social science knowledge: Symbolic or instrumental?, in: Using social research in public policy making, ed. C.H. Weiss, Lexington Books, Lexington, MA 1977.