Straipsnis Loginio programų modelio panaudojimas įgyvendinant veiklos auditą

Santrauka. Loginis modelis programoms planuoti ir įvertinti naudojamas daugelyje šalių. Veiklos audito proceso metu diskutuojamos prielaidos, kurios vykdomos veiklos tyrimuose, įvertinant aplinką bei esamą padėtį. Loginis modelis palengvina veiklos audito darbą, ypač įvertinant indėlį, veiklą, dalyvius, trumpalaikį, vidutinio laikotarpio ir ilgalaikį rezultatą.

Pagrindiniai žodžiai: loginis programos modelis, veiklos auditas.

Įvadas

Loginis programos modelis apibūdina audituojamos programos struktūrą ir logiką. Jis padeda įvertinti programos hierarchiją tikslų ir įsipareigojimų požiūriu. Pradedant nuo aukščiausio lygio programos tikslų ir numatomo poveikio, programos loginis modelis apima paprogramius, paprogramių komponentus ir specifinę veiklą su žemesnio lygio elementu, kuris logiškai susijęs su aukštesnio lygio elementu. Šis modelis padeda auditoriui suprasti veiklos audito problemas, kadangi juo įvertinamas santykis programos tikslų ir subtikslų, tokių kaip išeiga, rezultatas, poveikis, efektas. Jis padeda auditoriui identifikuoti ir ieškoti atsakymą į klausimus: 1) ar tikslai aiškiai paaiškina loginį programos pagrindą, produktus ir paslaugas, kurios bus suteikiamos, ir šių prekių bei paslaugų gavėjus; 2) ar tikslai leidžia nustatyti aiškų ir išmatuojamą numatomą rezultatą; 3) ar patikimos nenumatytos hierarchinių lygių jungtys?

Planavimo fazėje loginis programų modelis padeda auditoriui geriau suprasti audituojamą organizaciją ir identifikuoti svarbiausius programos rezultatus, programos sistemas ir veiklas.

1. Loginio programos modelio sąvokos ir jo elementų analizė

Loginis modelis naudojamas programoms planuoti ir įvertinti daugelyje šalių. Loginis modelis pradėtas naudoti nuo 1980 metų ir pastaruoju metu tapo labai populiarus. Bickman Žr. Sherry C. Betts, Marta Elva Stuart, “A Logic Model Application: Community–University Collaboration,” 2002; Leonard Bickman, “The Functions of Program Theory,” 1987. apibūdina šį modelį kaip patikimą ir suprantamą, kuris, sprendžiant numatytas problemas, padeda programai veikti pagal tam tikras sąlygas. McLaughlin ir Jordan Žr. Huey-Tsyh Chen, Theory-Driven Evaluation, 1990. , pateikę įvairių autorių darbų apžvalgą, nurodo, kad loginis modelis naudingas tuo, kad teikia bendrą supratimą apie programų kūrimą ir perspektyvas, supratimą apie programų elementų jungtis ir galimas problemas bei patobulintą programų vertinimą.

Loginio modelio elementai yra ištekliai, veikla, išeiga, kuriais vartotojai pasiekia trumpalaikį, vidutinio laikotarpio ir ilgesnio laikotarpio poveikį ir atitinkamą išorinį poveikį Žr. Joseph S. Wholey, Evaluation and Effective Public Management, 1983; “Evaluability Assessment: Developing Program Theory,” 1987. . Loginio modelio naudojimo pavyzdžiai ir aprašymas randami Wholey Žr. Joseph S. Wholey, “Evaluability Assessment: Developing Program Theory,” 1987. , Rush ir Ogborne Žr. Brian Rush, Alan Ogborne, “Program Logic Models: Expanding Their Role and Structure for Program Planning and Evaluation,” 1991. , Corbeil Žr. R. Corbeil, “Logic on Logic Models,” 1986. , Jordan, Mortenson ir Reed Žr. Gretchen B. Jordan, John C. Mortensen, “Measuring the Performance of Research and Technology Programs: A Balanced Scorecard Approach,” 1997; Gretchen B. Jordan, John H. Reed, John C. Mortensen, “Measuring and Managing the Performance of Energy Programs: An In-Depth Case Study,” 1997. darbuose. Loginis modelis vadinamas ir kitais vardais: priežasčių grandinė Žr. Hans Torvatn, “Using Program Theory Models in Evaluation of Industrial Modernization Programs: Three Case Studies,” 1999. , veiksmų teorija Žr. Michael Quinn Patton, Utilization-Focused Evaluation: The New Century Text, pp. 221–223. , veiklos schema Žr. Steve Montague, The Three R’s of Performance-Based Management: Core Concepts for Planning, Measurement and Management, 1997; Brian Rush, Alan Ogborne, “Program Logic Models: Expanding Their Role and Structure for Program Planning and Evaluation,” 1991. ir loginė schema Žr. Management Systems International, “Logic Framework,” 1995. . Loginis modelis ir jo variacijos susijusios su tuo, ką vertintojai vadina programų teorija. Pasak Chen Žr. Huey-Tsyh Chen, Theory-Driven Evaluation, 1990. programos teorija privalo būti kartu pagrįsta ir aprašomoji. Patton Žr. Michael Quinn Patton, Utilization-Focused Evaluation: The New Century Text, 1997. šią teoriją laiko palaikomų jų veiksmų teorija.

Loginis programos modelis jungia poveikį (kartu trumpalaikį ir ilgalaikį) su programos veikla (procesu) ir teorinėmis prielaidomis (programos prielaidomis). Loginis modelis ir jo procesas palengvina programos planavimo darbą ir programos tikslų bei jų įvykdymo bendradarbiavimą.

Efektyvus programos įvertinimas yra daugiau negu duomenų rinkimas, analizė ir duomenų teikimas. Loginis modelis – tai naudinga įvertinimo priemonė, palengvinanti efektyvų programos planavimą, įgyvendinimą ir įvertinimą.

Veiksniai, galintys paveikti programos kokybę, apima klientų poreikius, turinį ir veiklos pasekmes, išteklių tinkamumą ir valstybės tarnautojų ir administratorių koordinavimą. Loginis modelis identifikuoja programos rezultatus, procesą, į kurį įtraukiami klientai, ir organizacijos struktūrą, kuri teikia paslaugas.

Loginis modelis padeda daryti prielaidas apie tai, kaip veiks programa. Jis padeda aiškiau bendradarbiauti su kolegomis vidiniame programos įgyvendinimo darbe. Pradedama nuo pabaigos, t. y. nuo rezultatų, kurių klientai nori pasiekti. Vėliau grįžtama atgal, apibrėžiant etapus, būtinus tiems rezultatams pasiekti.

Loginis modelis yra diagramos, parodančios svarbiausius programos komponentus. Be to, šis modelis gali apimti išdėstymą faktų, kurie paaiškintų šių komponentų ryšį. Tiksliai apibrėžtas loginis modelis nustato išorinius veiksnius, kurie gali sutrukdyti ar padėti programos personalui pasiekti programos tikslus. Be to, šis modelis gali nurodyti veiksnius, kurie paveikia dalyvių įtraukimą į programą. Todėl gerai pagrįstas loginis modelis sudaro žinių bazę programos rezultatams pasiekti.

Loginio modelio procesas yra priemonė, naudojama paaiškinti programos veiksmingumui. Modelis paaiškina logines jungtis tarp programos išteklių, veiklos, išeigos ir trumpalaikio, vidutinės trukmės ir ilgalaikio poveikio, susijusio su specifine problema ar situacija. Kadangi programa apibūdinama loginio modelio sąvoka, gali būti identifikuojamos kritinės veiklos priemonės. Loginis modelis susieja problemą (situaciją) su intervencija (indėliu bei išeiga) ir poveikiu (rezultatu). Todėl loginis modelis apibūdinamas kaip sisteminis ir vaizdinis būdas pateikti žinias apie turimų programos išteklių, planuojamos veiklos ir laukiamų rezultatų ryšį. Loginio modelio pagrindiniai komponentai parodyti 1 pav.

Čia: Ištekliai apima žmogiškuosius, finansinius ir organizacinius išteklius, gaunamus tam, kad programa veiktų (kartais šis komponentas vadinamas indėliu); Programos veikla yra tai, ką programa darys su ištekliais, t. y. procesas, priemonės, įvykiai, technologija ir veiksmai, kurie yra iš anksto apgalvota programos įgyvendinimo dalis; Išeiga – tiesioginis programos produktas ir gali apimti paslaugų rūšis, lygius ir užduotis, kurie bus pateikti programos dėka; Pasekmė – specifinis programos dalyvių elgesio, žinių, sugebėjimo, padėties funkcionavimo lygio pasikeitimas; Poveikis – pasikeitimas per numatytą laikotarpį, pavyzdžiui, trumpalaikis poveikis galėtų būti pasiekiamas per 1–3 metus, ilgesnio laikotarpio – per 4–6 metus ir ilgo laikotarpio fundamentinis numatomas ar nenumatomas pasikeitimas, kuris yra kaip programos raidos rezultatas (kartais vadinamas efektu), – per 7–10 metų. Loginio programos modelio pavyzdys pateiktas 2 pav.

Loginis modelis yra vaizdinės prigimties. Todėl jis reikalauja sisteminio mąstymo ir planavimo, kad geriau būtų paaiškinama programa. Vizualus plano pateikimas loginiame modelyje yra lankstus, nurodantis silpnąsias ir stipriąsias savybes, ir leidžia peržiūrėti daug galimų scenarijų, ieškant geriausio. Elgesio įvertinimas, peržiūra ir koregavimas gali parodyti geresnį programos projektą ar sistemą, strategiškai kontroliuojant, valdant ir ruošiant programos poveikį per vystymąsi ir įgyvendinimą.

2. Loginių programos modelių rūšys

Daugelis veiklos auditorių sutinka, kad loginio modelio naudojimas yra efektyvi programos sėkmę įvertinanti priemonė. Loginio modelio naudojimas programos metu padeda organizuoti ir sisteminti programos planavimo, valdymo ir įvertinimo funkcijas.

Projektuojant ir planuojant programą, loginis modelis yra kaip priemonė kuriant programos strategiją ir stiprina gebėjimą paaiškinti programos sąvokas bei parodyti pagrindinių dalyvių požiūrį. Todėl šis modelis gali padėti sudaryti ir organizuoti programą.

Programos įgyvendinimo loginis modelis atkreipia dėmesį į valdymo planą, kuris padeda nustatyti ir surinkti duomenis, reikalingus programavimui kontroliuoti ir patobulinti. Akcentuojant gaunamus ir dokumentinius rezultatus, šis modelis padeda nagrinėti ir kritiškiau nustatyti programos prioritetus.

Įvertinant programą ir pateikiant strateginę ataskaitą, loginis modelis pateikia informaciją apie programą ir pažangą.

Bendradarbiavimas yra svarbiausias programos sėkmės ir palaikymo komponentas. Programos sėkmės kriterijai ir loginio modelio nauda nurodyti 1 lentelėje.

Praktiškai daugelis loginių modelių skirstomi į tris kategorijas: teorinio (konceptualiojo), veiklos (taikomojo) ir poveikio požiūrio. Daugeliu atvejų nė vienas iš jų netenkina visų poreikių, ir todėl taikomas kelių kategorijų modelių derinys.

Teorijos požiūrio modelis remiasi pasikeitimo teorija, kuri daro poveikį programos projektui ir planui. Šis modelis pateikia priežasčių paaiškinimą, kad būtų galima ištirti norimą programą. Kartais jis turi papildomų dalių programų problemoms apibūdinti, paaiškinančias priežastis, kodėl pasirenkama tam tikros rūšies sprendimų strategija, ir susiejančias strategiją su potencialia veikla. Teorijos požiūrio modelio pavyzdys pateiktas 3 pav.

Veiklos požiūrio modelis didžiausią dėmesį skiria proceso įgyvendinimo specifikai. Jis jungia programos išteklius ir veiklą prie trokštamų rezultatų. Šis modelis apibūdina, kas programoje numatoma daryti, ir akcentuoja, kad labai svarbus programų monitoringas ir valdymas. Šis modelis apibrėžia konkrečius programos įgyvendinimo etapus ir nurodo, kad kiekvienas poveikis yra susijęs su atskira veikla ir įvykiais, kurie turi įvykti.

Kaip pažymi Card Weiss Žr. R. Corbeil, “Logic on Logic Models,” 1986. , programos planavime, monitoringe ir įvertinime svarbu žinoti ne tik tai, ką programa tikimasi pasiekti, bet ir tai, kaip tai bus pasiekta.

Poveikio požiūrio modelis išryškina specifinės programos veiklos ir jos poveikių ryšius. Šis modelis pabrėžia priežastinį minčių junginį, esantį tarp programos komponentų, ir bando sujungti išteklius ir (arba) veiklą su trokštamais vykdomos programos rezultatais. Šis modelis naudingas kuriant efektyvią įvertinimo ir ataskaitų pateikimo strategiją.

3. Loginės programos analizės etapai

5 svarbiausi loginės programos analizės etapai yra:

1. Problemos analizė ir „problemų medžio“ kūrimas. Analizės fazė paprastai prasideda problemų analize. Problemų analizė išaiškina svarbiausias problemas, sukuria „problemų medį“ per „priežasčių ir poveikio analizę“. Nustatant svarbiausias problemas, dažnai taikomos proto šturmo priemonės.

2. Tikslų analizė. „Probleminis medis“ pertvarkomas į „tikslų medį“, problemas pateikiant kaip tikslus (žr. 4 pav.).

3. Probleminio medžio logikos tikrinimas. Yra daugybė tikslų medžio patikrinimo priemonių.

Tikslią struktūros analizę Lee-Smith Žr. Frans L. Leeuw, “Assumptional Analysis, Log Frame Analysis and Other Methods of Reconstructing and Evaluating Program Logic,” 2001. apibūdina kaip „tikslinės reikšmės“ diagramą, kuri parodo organizacijos, programos ar projekto komponentų vertę, uždavinius, tikslus ir detalius veiksmus. Loginis medis patikrinamas hierarchijos viršuje, t. y. klausiant, kaip gaunamas kiekvienas hierarchijos lygis ir (arba) pradedant nuo hierarchijos apačios, t. y. klausiant „kodėl šis tikslas (veiksmas) yra pradedamas siekti“.

Veiksmų analizė yra požiūris, naudojamas sukurti sąrašą veiksnių, padedančių pasiekti projekto tikslus ir uždavinius. Veiksmų analizės tikslas yra:

• ištirti dabartinės situacijos charakteristikas;
• sukurti teigiamą ir neigiamą veiksmų sąrašą, darantį poveikį tikslų ir uždavinių pasiekimui;
• diskutuoti apie priemones, kurios sustiprintų teigiamus veiksmus ir įveiktų silpnuosius veiksmus.

Nagrinėjant galimybes ir pavojus plačiai naudojama SWOT (stiprybių, silpnybių, galimybių ir pavojų) analizė.

4. Prielaidų analizė. Prielaidų nustatymo tikslas yra identifikuoti išorinius veiksnius, kurie darys poveikį projekto sėkmei. Prielaidų identifikavimo algoritmas parodytas 5 pav.

5. Patikrinimo indikatorių kūrimas. Pasak Jackson Žr. Frans L. Leeuw, “Assumptional Analysis, Log Frame Analysis and Other Methods of Reconstructing and Evaluating Program Logic,” 2001. , „kiekvienai išeigai ir veiklai turi būti sukurti indikatoriai“. Šie indikatoriai turi patenkinti tikslumo, tikėtinumo, tinkamumo ir teisingumo, jautrumo ir savalaikiškumo kriterijus.

4. Programų, finansuojamų iš Lietuvos Respublikos valstybės biudžeto, kriterijų vertinimas

Įvedant programinį biudžetą, Lietuvoje buvo tikimasi, kad institucijos aiškiau išdėstys savo tikslus ir strategijas, sieks jų įgyvendinimo, pagerės organizacijų atskaitingumas visuomenei. Programinis biudžetas turėtų leisti pasitelkus vertinimo kriterijus stebėti institucijos veiklą. Vertinimo kriterijai turi būti susiję su ištekliais, teikiamomis paslaugomis bei jų poveikiu visuomenei.

Valstybės biudžeto programinis formavimas iškelia poreikį nustatyti tikslus, rinkti veiklos informaciją efektyviems valdymo sprendimams priimti bei rezultatų pasiekimui įvertinti. Tačiau pats programinio biudžeto įvedimas neužtikrina, kad tikslai bus suformuluoti aiškiai, kad tinkamai bus renkama informacija apie vykdomą veiklą ir ja naudojamasi priimant biudžeto paskirstymo sprendimus.

Kai kurie asignavimų valdytojai priešinasi į rezultatus orientuoto valdymo institucijose įvedimui bei didesniam institucijų atskaitingumui visuomenei už panaudotų valstybės lėšų veiksmingumą. Lietuvos biudžeto programos neretai yra blogai sudaromos, valdomos ir netinkamai atsiskaitoma už programų rezultatus. Atliekami programų auditai rodo, kad esama biudžeto programų sudarymo ir vykdymo struktūrinių problemų, apimančių visas viešojo administravimo institucijas Žr. Programų, finansuojamų iš Lietuvos Respublikos valstybės biudžeto kriterijų, vertinimas nr. 2010-16, Lietuvos Respublikos valstybės kontrolė, 2003 m. rugsėjo 12 d. .

Vykdomų biudžeto programų parengimo vertinimas. Buvo atliktas Valstybės kontrolės 2003 metais audituojamose programose taikytų kriterijų kokybiškumo ir pritaikomumo vertinimas. Išanalizuota trylika 2002 m. vykdytų programų, kurių finansavimo apimtis 2 321 968 tūkst. Lt (apie 20 proc. metinio valstybės biudžeto) Žr. Programų, finansuojamų iš Lietuvos Respublikos valstybės biudžeto kriterijų, vertinimas nr. 2010-16, Lietuvos Respublikos valstybės kontrolė, 2003 m. rugsėjo 12 d. .

Pagal sudarytą klausimyną programos buvo analizuojamos trimis aspektais:

• programų administravimas;
• programų tikslų iškėlimas;
• programų vykdymo vertinimo kriterijų (rodiklių) nustatymas.

Analizė rodo, kad blogiausia situacija yra diegiant vertinimo kriterijų sistemą. Kiek geresnė situacija nustatant tikslus, tačiau ją veikia skiriamų asignavimų koregavimas. Pavyzdžiui, 2002 m. Specialiajai kaimo rėmimo programai asignavimai koreguoti, didinant asignavimus 33 049 tūkst. Lt naujų priemonių finansavimui. Programa nebuvo koreguojama, nors iš papildomų asignavimų 11 mln. Lt skirta pieno gamintojų paramai, t. y. ne kaimo rėmimui, o kitiems tikslams.

Analizuotose programose vertinimo kriterijai nepritaikyti kompleksiniam pokyčių vertinimui. Dažniausiai programų vertinimo kriterijai nustatomi tik numatytų uždavinių pasiekimui įvertinti, o tikslų pasiekimas ir asignavimų panaudojimo poveikis neretai yra nevertinamas. Paprastai programose vertinamas tik kiekybinis rezultatas, bet nevertinamas efektyvumas. Pasitaiko atvejų, kai uždavinio vertinimo kriterijus neatspindi finansuojamos veiklos esmės. Pavyzdžiui, Krašto apsaugos ministerijos dalinėje programoje Visuomenės rengimas ginti tėvynę uždavinio „koordinuoti visų ūkio subjektų civilinės saugos veiklą“ kaip vertinimo kriterijus nustatytas individualių apsaugos priemonių rezervo papildymo procentas (12,5 proc.) per metus. Tačiau dujokaukių įsigijimas už numatytą sumą visiškai neatspindi koordinavimo veiklos, o tik pateisina asignavimų išlaidas. Tai sąlygoja nekokybišką programos parengimą.

Vertinimo kriterijų nustatymas analizuotas sisteminiu požiūriu, parenkant bendrus požymius tirtose programose. Programų taupumo ir efektyvumo vertinimo kriterijai nustatyti tik 35 proc. atvejų 69 proc. atvejų ne visi kriterijai suteikia naudingos informacijos (žr. 2 lentelę).

Ši situacija sudaro galimybę tik 10–30 proc. atspindėti programų vykdymo rezultatus. Tai patvirtina formalią vertinimo kriterijų nustatymo praktiką ir labai žemą finansuojamų programų vertinimo lygį. Pavyzdžiui, VRM programoje Viešojo saugumo ir viešojo administravimo politikos formavimas, įgyvendinimo koordinavimas ir kontrolė uždavinio „formuoti VRM institucijų administravimo bei viešojo saugumo politiką, koordinuoti jos įgyvendinimą, planuoti, analizuoti bei užtikrinti kontrolę“ nustatytas vertinimo kriterijus „gyventojų, palankiai vertinančių vidaus reikalų sistemos (policijos) veiklą, lyginamasis svoris procentais (pagal visuomenės apklausos rezultatus)“ nesuteikia išsamios ir objektyvios informacijos apie ministerijos veiklą ir nepagrįstas veiklos logiškumo požiūriu.

5. Loginės tikslų, rezultatų ir vertinimo kriterijų struktūros vertinimas Lietuvoje

Kiekviena valstybės institucija atlieka tam tikrą veiklą, vykdydama jai pavestas funkcijas. Visuose institucijos veiklos etapuose galima išskirti rezultatus, kuriuos galima įvertinti bei už juos atsiskaityti (žr. 6 pav.).