25.10. 2006

Jan Kroupa – příspěvek k semináři Hodnocení přínosů filantropie                    

Evaluace jako téma

Hodnocení je široké téma, tak rozsáhlé a mnohotvárné, že ho není možné pojednat v jednom textu, natož v materiálech na seminář. Evaluace je o poznání a poznávání, o vnímání a výkladu světa.

Každý pokus hodnocení uchopit je dílčí, to ovšem neznamená, že by proto byl automaticky odsouzen k nezdaru. Může se stát záchytným bodem, jednou z možností, jak na témapohlížet, která nám s mnoha dalšími umožní o něm přemýšlet,hovořit, diskutovat, zmocňovat se ho. Tento text nebude jiný: pokusí se nabídnout několik úvah, podnětů a námětů, které mohou být využity v následných debatách a uvažování o hodnocení v prostředí neziskových organizací.

Neziskové organizace u nás hodnotí už léta. Hodnotí se semináře, hodnocení se uvádí jako nedílná součást projektového cyklu, zasedají hodnotící komise, hodnotí se výsledky projektů, úspěchy,pracovníci, fundraisingové kampaně – hodnotí se všechno, nač si vzpomenete. Přesto je ve srovnání s jinými tématy kolem hodnocení překvapivé ticho: chybí jakákoliv ucelenější publikace, která by se i jen pokusila téma hodnocení strukturovat, a to nejen domácí provenience, ale dokonce stále nemáme nic přeloženo; semináře na toho téma jsou výjimečné a pokud se nějaké pořádají, bývají zaměřeny na konkrétní metody nebo postupy v určitých specifických případech. V praxi se nejčastěji setkáme s tím, že se s hodnocením jaksi neustále počítá jako s něčím samozřejmě důležitým, jen na to málokdy zbude čas, což je sice škoda, ale „život už je takový“. Pak jsou tu povinná hodnocení: neodmyslitelné dotazníky po skončení každého semináře, průběžné a závěrečné zprávy atd. ... Ani ty nebývají v kontextu „vlastních“ činností považovány za rovnocenné – jde o povinná administrativní cvičení, o úlitbu. A jak se tak míchá páté přes deváté, skrývá se pod hodnocením všechno, ale vlastně nic, všichni ho dělají, ale vlastně nikdo, všichni ho důvěrně znají, ale nikdo vlastně nechce nebo nedovede říct, co to je.

Co zůstává stranou

Některé typy hodnocení zůstávají stranou jakoby mimochodem, jako něco samozřejmého, ale o jiných se nemluví jako by působily nevoli, jako by šlo o něco nepatřičného, nemístného, v nejlepším případě doplňkového. A to je právě hodnocení, kterému zde chceme věnovat pozornost a ukázat, že nejde o nadstavbu, o něco odvozeného od hodnocení v neziskovém sektoru běžně prováděného, právě naopak. Pojďme při této příležitosti jednotlivé typy hodnocení alespoň rámcově rozlišit.

V první řadě pro potřeby tohoto textu necháme stranou běžné provozní hodnocení, které je součástí řízení a slouží jako podklad pro manažerská rozhodnutí. Sice se tomuto postupu často neříká hodnocení, nicméně – manažeři se bez něj neobejdou: pohled kupředu, pohled zpět, zhodnocení stávající situace, korekce/ rozhodnutí, pohled kupředu. Takové hodnocení je vymezeno osobní odpovědností toho, kdo rozhoduje a přiměřeným poměrem mezi kvalitou podkladů a efektivitou rozhodování, kterou si vynucuje každodenní provoz.

Dále necháme stranou hodnocení projektů, respektive grantových žádostí. Jednak se v současné době zpravidla jedná o hodnocení v rámci propracovaného metodologického systému, který je předem definovaný a který se především tváří naprosto objektivně, ale hlavně nejde o hodnocení věci samé, ale o srovnávání: o výběr toho lepšího z řady možností.

Stranou necháme také víceméně formální hodnocení vyžadované dárci nebo úřady. Dokud takové hodnocení nepřekročí rámec administrativního úkonu, není na něm nic zajímavého. Dárce si ovšem pochopitelně může zadat – a čas od času zadá – komplexnější hodnocení, které běžný standard výrazně překračuje: nejde o to, aby příjemce něco doložil, dárce se chce dozvědět něco víc: o věci samé, o projektu, o programu, o dopadech, o příjemci, o sobě, o širších souvislostech.

Obecně lze říci, že když se chce opravdu někdo dozvědět něco víc – dárce nebo jiný zadavatel hodnocení – může odpovědi hledat v hodnocení, kterému zde chceme věnovat pozornost. Jde nám o hodnocení, které není vztaženo k předem danému systému kritérií a jehož předmět není izolován v teoretické abstrakci od vnějších vlivů, průběžných změn a posunů, nezamýšlených dopadů, mezilidských vztahů a působení konkrétních osobností v konkrétních situacích, jež nelze přesně ani naplánovat, ani předvídat. Mluvíme o hodnocení, které svou existencí proměňuje předmět hodnocení a které tedy není jen doplňkovým, následným komentářem či reflexí, ale formativní součástí vlastního předmětu nebo procesu hodnocení.

V zajetí metody

Současný stav hodnocení a povědomí o něm v prostředí neziskových organizací u nás, jak jsme ho shrnuli výše, odráží postupný vývoj místního prostředí, stejně jako celou řadu místních i světových vlivů a trendů. Jedním z nejvýraznějších je vliv několika uplynulých desetiletí vývoje vědy, především v oblasti medicíny a lékařského výzkumu. Západní svět je posedlý svým zdravím a přestože věta „Té ženy si nesmírně vážím, je neobyčejně... zdravá.“ zní nadále absurdně, zdá se, že tento trend nadále sílí. „Evidence-based Medicine“ se stala bezmála obecným pojmem, který určuje standard pro ostatní oblasti výzkumu, a to i přes to, že v jiných oborech není ani zdaleka tolik bohatých investorů (farmaceutické firmy). Rozsáhlé, zpravidla mezinárodní studie o účincích a účinnosti nových preparátů mají v současné době asi vůbec nejlepší podmínky k precizní statistické analýze (a zároveň jsou asi nejbedlivěji sledované). Standardem se stávají tzv. double-blind („dvojitě zaslepené“) studie, při kterých se nové preparáty testují na rozsáhlém vzorku (za minimální testovací soubor je obecně považována skupina alespoň 30 účastníků – při 30 už se jedna anomálie neprojeví na celkovém výsledku; v tomto případě jde však nezřídka řádově o stovkové soubory) s tím, že ani pacient, ani lékař nevědí, která série testovaných léků je placebo a která obsahuje účinnou látku, aby se vyloučily všechny potenciální psychologické a psychosomatické efekty.

Vysoký standard hodnocení, využívajícího metodologie statistické analýzy se v posledních desetiletích postupně rozšířil z přírodních věd i na vědy společenské (např. statistická sociologie) a humanitní (národní korpus v lingvistice atp.), počítače a rozmach práce s databázovými soubory tyto trendy ještě podpořily. Média začala celoročně pracovat s průzkumy veřejného mínění a statistikami všeho druhu. „Za nás jasně mluví čísla,“ hřímá politik  v televizní debatě. Jsme fascinováni kvantitativním hodnocením: statistický údaj je fakt, vše ostatní je osobní názor, na který mají všichni stejné právo, tudíž mají jeden jak druhý stejnou platnost. Kdo nepoužívá standardizovanou metodologii, nemůže docházet ke standardizovaným výsledkům a jeho práce má omezenou výpovědní hodnotu a platnost nebo je rovnou bezcenná.

V praxi je tento určující přístup navíc ještě značně komplikován tím, že v celé řadě oborů odpovídající „data“ a „datové řady“ jednoduše nejsou k dispozici, a tak si na „vědecký výzkum“ musíme, zvlášť u nás, často jenom hrát. O to háklivější ale místní vědci jsou, když někdo pravidla hry nedodrží: v takovém případě o jeho nekompetentnosti nemůže být sporu – vždyť mu chybí základní kvalifikace! Ještě o poznání horší je situace v neziskovém sektoru. O něm nemáme seriózní data prakticky žádná. O to vehementněji ale také lpíme na standardizovaných kvantifikacích a o to lépe umíme žonglovat s čísly a interpretovat je podle potřeby. V tomto ohledu pak opět významnou roli sehrávají požadavky dárců – zvlášť výrazně Evropské unie a naučené formalizované, víceméně administrativní postupy projektových manažerů, kteří se postupem času naučili s neustále požadovanými kvantifikátory bez zábran čarovat. Nic se tak snadno nemanipuluje jako číslo a jeho výklad.

Přestaňme si však utahovat z vědy a výzkumu. Jde bezesporu o legitimní přístup, který pochopitelně může – je-li aplikován poctivě na odpovídající předmět – přinášet a přináší spoustu zajímavého a často ho není možné nahradit postupem jiným. O tom není sporu. Zároveň však vznikl dojem, že jde o jediný legitimní a seriózní postup, že existuje propracovaná, sice náročná, ale praxí dlouhodobě prověřená metodika, která je obecně správná a přiměřená, která jako jediná poskytuje seriózní výsledky a zejména odpovídá na naše otázky. Ne tedy věda sama, ale tento převládající, tradovaný dojem má na hodnocení v prostředí neziskových organizací tak výrazný vliv. V případě složitějších situací, programů, organizací a změn navíc v důsledku často vzniká určitá skepse: když není možné standardním způsobem měřit výstupy, nepřipadá v úvahu vlastně žádné uspokojivé hodnocení; a pokud o něčem nelze nic říct, má cenu to vůbec dělat? Jak to obhájíme?

Základních schémat a přístupů k hodnocení je přitom celá řada. Dokonce i na půdě respektované vědy se uplatňují postupy vystavěné na kvalitativní interpretaci a pojmenování (např. historie nebo filosofie), na vhledu do systému vazeb a vztahů (např. antropologie), na analýze souvislostí a kontextu (např. lingvistika), na participativních procesech a tak dále. Stačí se oprostit od dominantního pojetí jediného správného postupu a otevře se nám nebývale široká škála postupů, které je možné podle konkrétních podmínek a zadání uplatnit a kombinovat. V celé řadě případů budou navíc pro potřeby neziskových organizací a projektů výrazně vhodnější, protože dokáží pojmenovat a vyložit dynamicky se proměňující jevy, procesy a změny. Smysluplné ovšem budou jen v případě, že budou přijímány jako legitimní.

Co chceme vědět a proč?

Pokud se tedy hned na počátku hodnocení neptáme JAK? – míněno: jak uplatnit „správnou metodu“ v daném případě, je na místě se ještě před zvážením a výběrem nejvhodnějšího postupu ptát CO? a také PROČ? Tohle schéma je v neziskovém sektoru dobře známé. Nicméně v případě hodnocení nejde o utilitární schématický postup při psaní projektu, ale o zásadní otázky po jeho zadání:

Proč se to chceme dozvědět?

Kdo se to má dozvědět?

K čemu nám bude, že to budeme vědět?

Když si na tyto otázky odpovíme, je předpoklad, že si hodnocení dokážeme správně zadat, zvolit odpovídající postup, vybrat hodnotitele/sestavit hodnotící tým, účastníky, příjemce i metodu. Těmito veskrze praktickými ohledy hodnocení se zde  však zabývat nebudeme. Skutečnost, že na výše uvedené otázky najdeme odpovědi a hodnocení si správně zadáme, ovšem ještě neznamená, že se z hodnocení nedozvíte něco, co jste nevěděli, nebo jste to přinejmenším nedovedli uchopit a pojmenovat. Bez otevřenosti na straně příjemce/zadavatele co do výstupů se tento typ hodnocení těžko obejde. Řekli jsme si, že hodnocení, které nás zajímá, proměňuje předmět hodnocení. Je tedy zřejmé, že mezi  tím, co se chci dozvědět na začátku hodnocení a mezi tím, co se na konci dozvím, nastává určitý posun. Ono nové, to, co je „navíc“ bývá tím nejcennějším: to, co jsem nevěděl a tudíž jsem o tom nemohl předem říci, že se to chci dozvědět.

Nejtěžší bývá odpovědět si na otázku PROČ? něco chceme vědět. Zpravidla se totiž jaksi automaticky předpokládá, že je vždycky dobré něco vědět: spolehlivá informace se vždycky hodí. Téměř  jako by taková informace směrovala k pravdě, nárokovala si ji a nás k ní opravňovala. Pokud souhlasíme s tím, že člověk odpovídá za to, co ví, není tento předpoklad už zdaleka tak jednoznačný. Co člověk pozná, to už neodpozná, už se to nedá vzít zpět a ani dlouhodobé pití spolehlivě nezabírá. Měli bychom pečlivěji volit, co chceme vědět a co ne.

Vybrat a nepřebrat?

Ještě citlivější a náročnější bývá volba hodnotitele. Obecně se zpravidla hovoří o tom, že hodnotitel může být buď interní nebo externí a nebo kombinace obou. Pokud se rozhodnete, že bude vhodnější hodnocení zadat externímu konzultantovi (nedostatek interní kapacity, příliš komplexní zadání, konflikt v organizaci, specifické požadavky na výstupy atp. – důvodů může být celá řada), vybírejte pečlivě, nechte si doporučit od známých organizací a z důvěryhodných zdrojů, dopřejte si čas na vyjasnění zadání a pokud hodnotitel nezíská vaší důvěru, hledejte dál. Hodnotitel bez důvěry je kapitán bez lodi. Téma výběru hodnotitele otevíráme proto, že lze jeho prostřednictvím alespoň částečně shrnout témata, která jsme otevřeli v předcházejícím textu, lze na něm ukázat, čeho se v současné době na poli hodnocení nejvíc nedostává.

Představme si pro ilustraci následující jednoduchý příklad – přidržíme se paralely s medicínou: máme malé dítě, a když jsou chlapci asi dva roky, začne se nám zdát, že zaostává za svými vrstevníky. Nejsme si tím jisti, nevíme, co je možné považovat za „normální“, ale ve srovnání s podobně starými vrstevníky se nám zdá, že jsou šikovnější, pohyblivější, vnímavější, lépe reagují, mluví atd. Jak se zachováme? Jak situaci vyhodnotíme? Možností se, jak bylo naznačeno, nabízí celá řada, volba je na nás, s tím, co se dozvíme, budeme žít zase především my a náš syn.

Můžeme hodnocení provést sami, s partnerem, v rodinném kruhu, s kamarády, nebo se můžeme obrátit na externího hodnotitele - na léčitele, na dětského psychologa, na dětského lékaře, na lékařskou vědu, případně můžeme kombinovat více, dokonce všechny možnosti. Podstatné je rozhodnout, co se chceme opravdu dozvědět. Chceme vědět, jestli medicína považuje našeho syna na normálního? Chceme vědět, zda jsme něco nezanedbali v péči o něj, co bychom mohli napravit? Bude nám k něčemu? Nebo jen chceme, aby nás někdo uklidnil? Nebo snad aby nám někdo pomohl překonat těžkou chvíli, brát našeho syna takového jaký je a nedělat si s tím hlavu? Na položené otázky v tomto příkladu není možné odpovědět, jde o teoretickou situaci, se kterou naštěstí nemáme přímou zkušenost. Možností je navíc zcela určitě mnohem více. Navržená škála možností nicméně velmi ilustrativně naznačuje výhody a nevýhody jednotlivých možných přístupů a postupů:

- pokud se obrátíme na lékařskou vědu, sice se nejspíš dozvíme něco na způsob, že až 10 % dětí ve věku dvou let ještě nemluví a že u 78 % z nich to nesignalizuje nic abnormálního, což je sice zajímavá a důležitá informace, která vás může uklidnit, ale také nemusí, protože se vůbec nemusí týkat vašeho syna. Navíc jsem si ta čísla vymyslel, možná ve skutečnosti nejsou zdaleka tak optimistická, možná jsou naopak mnohem optimističtější. To předem nemůžete vědět;

- pokud se obrátíte na dětského lékaře, nejspíš dítě prohlédne a řekne, že je v pořádku a abyste se neznepokojovali a přišli se zas brzy ukázat. Je to starý praktik, nebude si přidělávat práci, s určitostí nic říct nemůže a tak ví, že bude zatím nejlepší, když vás bez záruky povzbudí, že zatím o nic nenormálního nejde. Zároveň je předpoklad, že už leccos viděl a mohl by tedy zkušeným okem poznat, že se něco vážného děje. Asi tak stejně pravděpodobné ale je, že sice nepozná nic, ale bude mít nutkavý pocit, že to je problém velmi závažný, on ho jednoznačně poznává a sdělí vám krutou pravdu, která se za rok ukáže jako zcela neopodstatněná;

- pokud se obrátíte na dětského psychologa, nejspíš se toho moc nedozvíte, téměř jistě vám ale řekne, že když se tou otázkou bude trápit, budete mu to de facto sugerovat a mohli byste způsobit, že skutečně bude poněkud pozadu – pomoc potřebujete především vy, vlastně už ji potřebovali vaše rodiče a rodiče vaší ženy, respektive jejich prarodiče a praprarodiče... Každopádně dítě  bude takové, jakou mu poskytnete kvalitu rodinných vztahů – je to hlavně ve vás;

- pokud se obrátíte na léčitele, může se stát celkem cokoliv, téměř určitě se dozvíte, že doktoři jsou neschopní ignoranti a že je na celou věc třeba pohlížet zásadně jinak, protože pak se také bude zcela zásadně jinak jevit: lékařská věda je komerční manipulace, která v mnoha ohledech míjí podstatu věci, léčitele vybírejte podle toho, který ohled chcete zdůraznit, který je vám nejbližší. Léčitel bude pravděpodobně vstřícnější, komunikativnější a otevřenější než lékař, navíc bude nejspíš optimističtější – ať už to dopadne jakkoliv, vám to umožní pochopit to, co jste pochopit měl;

- pokud se obrátíte na kamarády, bezpochyby vás podpoří, nabídnou oporu, budou s vámi cítit, nicméně hrozí, že po čase nebudou schopni uspokojivě a přesvědčivě odpovídat na vaše otázky, takže když budete moc všeteční, nakonec vás spíš znejistí, než aby vás uklidnili;

- pokud se obrátíte na rodinu, nejspíš začne každý zjišťovat, co o tom říká známý známého a taky matka Franty z práce, navíc diskuse uvnitř rodiny bude zatížená spoustou osobních komplikací a těsných zproblematizovaných vazeb, takže se může snadno stát, že vás nakonec začne strýček poučovat o morálce nebo vám babička vyčte, že kouříte doutníky, takže si za to můžete sám;

- pokud se dohodnete s partnerem nebo manželkou, že sami bez cizí pomoci věc vyhodnotíte a společně se rozhodnete, jak budete se synem dál jednat, dříve nebo později vám někdo řekne, že jste nezodpovědný blázen – ale hlavně se nejspíš brzy začnete bezmocně točit v kruhu, budete dokola vymýšlet to samé a ještě si přitom zbytečně rozhasíte vztahy...

Doufám, že jsem se tím zlehčováním nikoho nedotkl, jsou pochopitelně i úctyhodní a skvělí vědci, lékaři, psychologové, léčitelé, kamarádi, manželky... – jenže ti by nám úplně rozbili naši škálu, protože by všichni spadali do kategorie „potenciálně dobrý hodnotitel“. Naši snahou nebylo nikoho popudit, ale poukázat na možná úskalí při výběru hodnotitele, potažmo na možná úskalí hodnocení jako takového. Osoba hodnotitele předjímá postup a postup předjímá výstupy hodnocení.

A co je ještě důležitější: ten, kdo hodnotí, se stává nositelem sdělení, je tím, kdo musí výstupy hodnocení (průběžné a/nebo závěrečné) komunikovat příjemcům hodnocení tak, aby jim rozuměli, aby pro ně byly pochopitelné a přijatelné – je to jedna z jeho nejpodstatnějších rolí. Pokud se mu to nepodaří, sebelepší hodnocení nemůže mít žádoucí dopad. Každý účastník hodnocení se musí v jeho průběhu nebo na konci odpovídající formou dozvědět jen a právě to, co se dozvědět má: tedy to, co se ho týká, čemu rozumí a o čem ví, k čemu je to dobré a v čem je zodpovědný za to, jak s tím naloží.

A tak se konečně dostáváme k tomu, kdo nám na pomyslné škále možností chybí: rodinný lékař. Tedy někdo, kdo není ani nestranným teoretikem, ani nedotčeným praktikem, ani manipulátorem, ani ideologem jiného, ani vlídným laikem, ani laickým odborníkem, ani osobou dotčenou předmětem hodnocení stejně přímo jako jste vy sám/a. Rodinný lékař je někdo, kdo zná dobře vás, vašeho syna i celou rodinu, orientuje se v souvislostech, dokáže věc posoudit s nutnou erudicí a zkušeností. Rodinný lékař ví, co kdo potřebuje slyšet, co kdo unese, co koho motivuje a naopak odzbrojuje, má vaši důvěru, lidskou i odbornou. Je disponován konat v konkrétní situaci, pravděpodobně je připraven už ve chvíli, kdy se na něj obrátíte. Zkrátka a dobře, je v nejlepším postavení, aby dostál všem nárokům, které jsou na něj kladeny: je to potenciálně nejvhodnější hodnotitel.

Závěr

Pokusili jsme se prostřednictvím několika úvah a námětů otevřít téma hodnocení z pohledu, který mezi neziskovými organizacemi u nás není běžný. Jsme přesvědčeni, že otevřené hodnocení stojí za širší diskusi a to nejen v této vstupní, obecnější poloze, ale také v jednotlivostech, v praktických postupech a technických řešeních konkrétních případů. Snad si k takové společně vytvoříme prostor. V této chvíli doufáme, že tento text alespoň v něčem přispěje k tomu, aby se taková debata rozběhla. To je ostatně cílem celého semináře, který NETT pořádá za podpory Ambasády Spojených států amerických v Praze, ve spolupráci s Nadací VIA a se Stevenem Mayerem z Effective Communities