Straipsnis Loginio programų modelio panaudojimas įgyvendinant veiklos auditą

Strateginio planavimo metodikoje numatyti trys rezultatų lygiai, apibūdinantys strateginių planų įgyvendinimą:

• uždavinio įgyvendinimo rezultatai;
• programos įgyvendinimo rezultatai;
• institucijos strateginio tikslo arba ūkio šakos (sektoriaus) strategijos tikslo įgyvendinimo rezultatai.

Šie rezultatai atitinkamai atspindi institucijos tikslus ir gali būti įvertinti atitinkamais rodikliais – vertinimo kriterijais. Vertinimo kriterijai parodo informaciją, kurią institucija turės surinkti, siekdama kokybiškai atlikti programos vertinimą ir atsiskaityti visuomenei už lėšų taupų, efektyvų ir rezultatyvų panaudojimą. Pažymėtina, kad šiuo metu pagal metodikos reikalavimus turi būti nustatomi tik uždavinių įgyvendinimo vertinimo kriterijai bei jų laukiamos reikšmės. Metodikoje plačiau nenagrinėjama, kaip turi būti sudaromi ir pateikiami vertinimo kriterijai, atspindintys institucijos programų tikslų ir strateginių tikslų įgyvendinimą.

Ūkio šakos (sektoriaus) bei institucijos strateginių tikslų vertinimo kriterijai. Strateginio planavimo metodikoje Žr. Lietuvos Respublikos Vyriausybės 2002 m. birželio 6 d. nutarimas nr. 827 „Dėl strateginio planavimo metodikos patvirtinimo“. teigiama, kad būtų galima įvertinti svarbiausius, kiekybinius ūkio šakai (sektoriui) būdingiausius netolygumus, pateikiami aiškiai suformuluoti ir kiekybiškai išreikšti pagrindiniai rodikliai, pagal kuriuos bus vertinami ūkio šakos (sektoriaus) pokyčiai. Pagal esamus reikalavimus rengiant strateginį veiklos planą, pagrindiniai sektoriaus rodikliai palyginami su ES atitinkamais rodikliais. Tačiau veiklos atskaitoje numatyta pateikti tik rodiklius (vertinimo kriterijus), atspindinčius uždavinių įgyvendinimo rezultatus, t. y. suteiktas paslaugas, o ne pagrindines ūkio šakos (sektoriaus) tendencijas. Todėl sunku įvertinti, ar vykdoma programa buvo reikalinga ir naudinga, siekiant institucijos (ūkio šakos) strateginių tikslų. Esama rizikos, kad tokių rodiklių įvedimas neduos laukiamo efekto, jei nebus už juos atsiskaitoma ir pateikiama šių rodiklių dinaminė analizė.

Parengusios ūkio šakos (sektoriaus) plėtros strategijas, institucijos turi iškelti savo strateginius tikslus. Norėdamos įvertinti, kaip pasiekė strateginius tikslus, jos turi nusistatyti rodiklius (vertinimo kriterijus), jų laukiamas reikšmes bei pasiekimo laiką. Tačiau Strateginio planavimo metodikoje nereikalaujama nustatyti vertinimo kriterijų institucijos tikslų pasiekimui įvertinti.

Programos tikslų vertinimo kriterijai. Apsisprendus dėl institucijos strateginių tikslų, iškeliami institucijos vykdomų programų tikslai. Tikslų pasiekimą turėtų rodyti programos įgyvendinimo rezultatai. Pagal strateginio planavimo metodikos reikalavimus programos įgyvendinimo rezultatai – tai nauda (arba žala), kurią įgyvendinus programą, patiria tiesioginiai programos naudos gavėjai. Kadangi biudžeto programos pagal strateginio planavimo metodikos reikalavimus yra 1–3 metų, svarbu numatyti ir kuriais metais institucijos laukia siektinų programos įgyvendinimo rezultatų. Tačiau Strateginio planavimo metodikoje nereikalaujama institucijų veiklos planuose numatyti, kada šie rezultatai bus pasiekti. Jei asignavimų valdytojas nenumato, kada planuojama pasiekti rezultatus, neįmanoma atlikti tinkamo stebėsenos (monitoringo) bei pačios programos veiksmingumo įvertinimo.

Pavyzdžiui, Sveikatos apsaugos ministerija 2003 metų strateginiame veiklos plane buvo numačiusi įgyvendinti aštuonias programas. Išnagrinėjus tų metų SAM strateginio veiklos plano formas, konstatuota, kad nė vienoje jų nebuvo numatyti skaičiais išreikšti programų įgyvendinimo rezultatai.

Nors strateginio planavimo metodikoje aiškiai nepasakyta, kad turi būti nustatyti kiekybiškai ir kokybiškai išreikšti vertinimo kriterijai programų rezultatams įvertinti, tačiau kai kuriose programose bandoma laukiamus rezultatus išreikšti konkrečiais vertinimo kriterijais. Teigiamas pavyzdys – SAM Nacionalinės vaistų politikos programa, kurioje tarp numatomų įgyvendinimo rezultatų paminėtini šie kokybiniais vertinimo kriterijais išreikšti rezultatai: farmacijos įmonių ir įstaigų veikla atitinka ES reikalavimus, vaistai registruojami pagal Acquis reikalavimus ir kt. Deja, Strateginio planavimo metodika nenumato reikalavimo nurodyti laukiamų rezultatų pasiekimo laiką. Todėl nagrinėjant strateginį veiklos planą lieka tik spėlioti, kada šie rezultatai bus pasiekti ir kokių reikės duomenų rinkimo metodų, reikalingų programos tikslų pasiekimui įvertinti. Aprašant SAM Nacionalinės narkotikų kontrolės ir narkomanijos prevencijos programą, aiškiai pateikta loginės veiklos struktūra, išskiriant į išorės poveikį orientuotus tikslus ir jų pasiekimo priemones. Tačiau pildant strateginio planavimo formas planuojamas programos biudžetas nepaskirstytas pagal vykdomas priemones. Dėl to iš SAM strateginio veiklos plano neaišku, kam bus panaudoti mokesčių mokėtojų pinigai. Laukiami programos įgyvendinimo rezultatai pateikiami kaip uždavinių įgyvendinimo kriterijų laukiamos reikšmės, o teikiamoms paslaugoms įvertinti vertinimo kriterijai nėra nustatyti.

Vertinimo kriterijų sistemos vertinimas. Pagal Strateginio planavimo metodiką „vertinimo kriterijus – rodiklis, suteikiantis informacijos apie strateginio veiklos plano ar ūkio šakos (Sektoriaus) įgyvendinimą“ Lietuvos Respublikos Vyriausybės 2002 m. birželio 6 d. nutarimas nr. 827 „Dėl strateginio planavimo metodikos patvirtinimo“. . Todėl vertinimo kriterijai turi apimti tiek institucijos strateginius tikslus, tiek atskiras programas. Metodikoje neaptarti vertinimo kriterijai programos tikslams bei institucijos strateginiams tikslams įvertinti, o nagrinėjami tik vertinimo kriterijai uždavinių – t. y. teikiamų paslaugų ar tam tikro produkto, įgyvendinimui įvertinti.

Vertinant Strateginio planavimo metodiką, pažymėtina, kad kai kuriais atvejais nebeaiški loginė vertinimo kriterijų struktūra. Metodikoje paminėta:

kad būtų galima įvertinti programos uždavinių vykdymą, suformuluojami uždavinių įgyvendinimo vertinimo kriterijai. Jie suteikia informaciją apie institucijos programų įgyvendinimo rezultatus. Ten pat.

Spustelėjus išskleisti...

Tampa neaišku, ar uždavinių vertinimo kriterijai nustatomi, siekiant įvertinti teikiamas paslaugas ar programos rezultatus, t. y. siekiamą efektą visuomenėje. Kad pati institucija bei suinteresuotos grupės galėtų stebėti, kaip pasiekiami laukiami rezultatai, vertinimo kriterijai turėtų būti sudaromi kiekvienam rezultatų pasiekimo lygiui įvertinti.

Metodikoje trūksta aiškios loginės schemos, pateikiančios institucijų teikiamas paslaugas ar gaminamą produktą, pradinį programos poveikį, galutinį programos poveikį bei galutinį efektą visame sektoriuje, apibūdinančių vertinimo kriterijų ryšį.

7. ES išlaidų programų ir Lietuvos biudžeto programų palyginimas

ES išlaidų programų intervencijos logika pateikta 7 pav. Ji panaši į Lietuvoje taikomą schemą. Strateginio planavimo metodikoje nustatyti rezultatų lygmenys yra analogiški kaip ir Europos Sąjungoje. Skirtumas tik tas, kad ES išlaidų programos tikslai yra susiję su siekiamu pradiniu ir ilgalaikiu programos efektu. ES programų bendrųjų tikslų atitikmuo Lietuvoje būtų institucijos strateginiai ar (ir) ūkio šakos tikslai.

Sudarant ES išlaidų programas, vertinimo kriterijai nustatomi tiek teikiamoms paslaugoms, tiek programų įgyvendinimo trumpalaikiam ir ilgalaikiam programos efektui įvertinti, Lietuvoje vertinimo kriterijai nustatomi tik uždavinių įgyvendinimo rezultatams įvertinti, t. y. tik teikiamos paslaugoms įvertinti. Nagrinėjant institucijų strateginius veiklos planus, tarp uždavinių vertinimo kriterijų galima rasti ir programos tikslų vertinimo kriterijų. Nors Strateginio planavimo metodika to ir nereikalauja, kai kurie asignavimų valdytojai, suvokdami šių rodiklių svarbą, juos pateikia savo strateginiuose planuose.

Išvados

1.Loginis programų modelis apibūdina svarbiausių programos elementų ryšį įgyvendinant veiklos auditą. Įvertinant tikslus, jis parodo priežasčių ir pasekmių santykį tarp veiklos ir rezultatų, t. y. nurodo, kuri veikla sąlygos kokius rezultatus. Įgyvendinant veiklos auditą, jis padeda nustatyti kritinius klausimus.

2. Lietuvos ministerijų, įstaigų prie ministerijų, Vyriausybės įstaigų, apskričių viršininkų administracijų veiklos ataskaitose tikslinga pateikti informaciją apie institucijos veiklos veiksmingumą, t. y. apie programų tikslų bei institucijos strateginių tikslų pasiekimą, taip pat apie pradinį (trumpalaikį) bei ilgalaikį programos poveikį visuomenei.

3. Lietuvos Respublikos teisės aktuose, reglamentuojančiuose strateginį valdymą, trūksta reikalavimų vertinimo kriterijams nustatyti bei atskiriems vertinimo kriterijams parinkti. Todėl būtina: a) numatyti institucijų vertinimo kriterijų loginę struktūrą, apimančią ūkio šakos (sektoriaus) strateginius tikslus; institucijos strateginius tikslus; programos pradinius (trumpalaikius ar specifinius) bei ilgalaikius tikslus; uždavinius (operaciniams tikslams); b) nurodyti, kad uždavinių, programos tikslų, strateginių tikslų, ūkio šakos (sektoriaus) tikslų įgyvendinimui būtų nustatomi vertinimo kriterijai kartu su laukiamomis reikšmėmis bei pasiekimo laiku; c) parengti loginę vertinimo kriterijų sistemos schemą bei jo paaiškinimus; d) patobulinti loginę vertinimo kriterijų sistemos schemą bei jos paaiškinimus.

Literatūra

• Betts, Sherry C.; Marta Elva Stuart, “A Logic Model Application: Community–University Collaboration,” The Forum for Family and Consumer Issues, 2002, vol. 7, no. 2, pp. 1–8.
• Bickman, Leonard, “The Functions of Program Theory,” New Directions for Program Evaluation, 1987, no. 33, pp. 5–18.
• Chen, Huey-Tsyh, Theory-Driven Evaluation, Newbury Park (CA): Sage Publications, 1990.
• Corbeil, R. “Logic on Logic Models,” Evaluation Newsletter, September, 1986.
• Budgets European Commission (ed.), Evaluating EU Expenditure Programmes: A Guide, ex post and intermediate evaluation, XIX/02 – budgetary overview and evaluation, Directorate General XIX, January 1997.
• Harrell, Adele, Evaluation Strategies for Human Services Program: A Guide for Policy Makers and Providers, Washington (DC): The Urban Institute, 1996.
• Jordan, Gretchen B.; John C. Mortensen, “Measuring the Performance of Research and Technology Programs: A Balanced Scorecard Approach,” The Journal of Technology Transfer, 1997, vol. 22, pp. 13–20.
• Jordan, Gretchen B.; John H. Reed, John C. Mortensen, “Measuring and Managing the Performance of Energy Programs: An In-Depth Case Study,” presented at Eighth Annual National Energy Service Conference, Washington (DC), June, 1997.
• W. K. Kellogg Foundation, Logic Model Development Guide, Battle Creek (MI): W. K. Kellogg Foundation, 2001.
• Leeuw, Frans L., “Assumptional Analysis, Log Frame Analysis and Other Methods of Reconstructing and Evaluating Program Logic,” working paper, Ultrecht University, The Netherlands & Education Review Office of the Netherlands, 12 October 2001.
• Programų, finansuojamų iš Lietuvos Respublikos valstybės biudžeto kriterijų, vertinimas nr. 2010-16, Lietuvos Respublikos valstybės kontrolė, 2003 m. rugsėjo 12 d.
• Lietuvos Respublikos Vyriausybės 2002 m. birželio 6 d. nutarimas nr. 827 „Dėl strateginio planavimo metodikos patvirtinimo“.
• Management Systems International, “Logic Framework,” unpublished paper, 20024, Washington (DC), 1995.
• McDonald, Robert; George G. Teather, “Science and Technology Policy Evaluation Practices in the Government of Canada” | Policy Evaluation in Innovation and Technology: Towards Best Practices, Paris: Organisation for Economic Co-operation and Development, 1997, pp. 393–417.
• McLaughlin, John A.; Gretchen B. Jordan, “Logic Models: A Tool for Telling Your Programs Performance Story,” Evaluation and Program Planning, 1999, vol. 22, no. 1, pp. 65–72.
• Montague, Steve, “The Three R’s of Performance-Based Management,” Focus, December–January, 1994.
• Montague, Steve, The Three R’s of Performance-Based Management: Core Concepts for Planning, Measurement and Management, Ottawa: Performance Management Network, Inc., 1997.
• Patton, Michael Quinn, Utilization-Focused Evaluation: The New Century Text, Thousand Oaks (CA): Sage Publications, 1997.
• Rush, Brian; Alan Ogborne, “Program Logic Models: Expanding Their Role and Structure for Program Planning and Evaluation,” The Canadian Journal of Program Evaluation, 1991, vol. 6, no. 2, pp. 95–106.
• Teather, George G.; Steve Montague, “Performance Measurement, Management and Reporting for S&T Organizations—An Overview,” The Journal of Technology Transfer, 1997, vol. 22, pp. 5–12.
• Torvatn, Hans, “Using Program Theory Models in Evaluation of Industrial Modernization Programs: Three Case Studies,” Evaluation and Program Planning, 1999, vol. 22, no. 1, pp. 73–82.
• Wholey, Joseph S., Evaluation and Effective Public Management, Boston: Little, Brown, 1983.
• Wholey, Joseph S., “Evaluability Assessment: Developing Program Theory,” New Directions for Program Evaluation, 1987, no. 33, pp. 77–92.

Application of the Logic Model for Audit Purposes

Summary. The logic model is being used for program planning and evaluation in many states. The process requires that specialists discuss their assumptions about conducting action research; carefully assessing the environment and current situation. The use of the logic model facilitated the performance audit especially evaluating input, activities, participants, and short-, medium-, and long-term outcomes.

Keywords: logic model, audit.