Development Evaluation for Local Impacts : Evaluation Elements contributing to Evaluation Use, A Vocational Education Case in Tanzania as an Awakener
Arviointi, mikäli sen kaikkia mahdollisuuksia hyödynnettäisiin, olisi tärkeä työkalu avustamaan julkista sekä yksityissektoria ja kansalaisyhteiskuntaa inhimillisen hyvinvoinnin lisäämiseksi. Valitettavasti, vaikka tehtyjen arviointien määrä on maailmanlaajuisesti lisääntymässä, näiden arviointien alhainen hyödyntämisaste on samoin kasvamassa. Tästä esimerkkinä on kehitystyö, jossa lukemattomat tuotetut ja oppimislähteenä käytettäväksi oletetut arviointiraportit kuitenkin todellisuudessa makaavat koskemattomina. Tämä toteutumaton "käyttö" on todellista ajan ja rajallisten julkisten varojen tuhlausta. Arviointien hyödyllisyyden määrittäminen tiukasti näiden julkaistujen arviointiraporttien käyttöön perustuvaksi, mikä useimmiten on tilanne, laiminlyö ja vähentää muiden käytettävissä olevien arviointielementtien, kuten arviointitoimeksiannon tai arviointiprosessin hyödyntämistä ja käyttöä, mikä yhä enemmän supistaa arvioinnin kokonaisvaikuttavuutta. Tämän tansanialaisessa ammattikoulussa, Mwanza Home Craft Centressä (MHCC), toteutetun arviointikokeilun tarkoitus oli hyödyntää arviointia, etenkin sen arviointiprosessia, arviointivaikutusten osoittamiseksi. Kokeiluni, joka toteutettiin suomalaisin kehitystyövaroin käynnistetyssä kansalaisjärjestöhankkeessa, tehtiin kehityshankkeesta rinnan hankkeen edetessä, oli vastakohta kehnosti hyödynnetyille ulkopuolisten arvioitsijoiden vallitsevaa tilivelvollisuus- ja kontrollitarkoitusta varten tekemille, menneeseen fokusoituneille ja kovia tutkimusmenetelmiä käyttäville kehitysarvioinneille, jotka sulkevat paikalliset ulkopuolelle ja ovat heille vieraita, ja siksi saavat vähäistä paikallista arviointivaikuttavuutta aikaan. Noissa arvioinneissa on suosittu hallitsevaa länsimaista ja Eurooppa-keskeistä positivistista tulokulmaa, rahoittajakeskeistä arviointiparadigmaa ja hegemonista kieltä, joka saa alkunsa uudesta julkishallinnon johtamisliikkeestä. Sen sijaan, kokeiluni oli mikrokuvaus ja reflektio hankkeen rahoittajan sponsoroimasta, paikallis- ja asianomaiskeskeisestä, oppimis- ja tulevaisuussuuntautuneesta, paikallisesti hyödynnetystä ja vaikuttaneesta kehitysarvioinnista. Arviointikokeilu koostui kahdesta komponentista. Arviointiosuudessa tutkittiin ammatillisen koulutuksen sosio-ekonomisia vaikutuksia. Arviointitutkimusosiossa fokusoitiin arvioinnin prosessikäyttöön ja arvioinnin vaikuttavuuteen. Ammattikouluhankkeessa kaikkien asianomaisten arviointioppimista pyrittiin tukemaan arvioinnin aikana arviointiprosessia hyödyntäen. Yksilöllisiä, interpersoonallisia ja kollektiivisia arviointivaikutuksia tavoiteltiin henkilökohtaisen ja organisaation osallistumisen, saadun arviointikokemuksen ja valmennuksen sekä dialogin kautta. Mandaattini oli integroida, "arviointimassoja", tarkoittaen avun vastaanottajia, paikallisten arviointivaikutusten aikaansaamiseksi, ja tarkastella arvioinnissa suhdetta valtaan heidän näkökulmastaan. Yleisesti ottaen heillä on vähemmän valtaa ja ääntä nykyisessä kehitysarvioinnissa kuin vahvemmilla, "eliitillä", avun rahoittajilla. Asetin hypoteesikseni, että jokainen tutkimus ja arviointitutkimus on tulokulmasidonnaista, mikä vaikuttaa arvioinnin käytettävyyteen, ja siten myös arvioinnin vaikutuksiin, vaikutustyyppeihin, -tasoon, -ryhmiin, ja vaikuttavuuden kestoon. Tässä tutkimuksessa painotettiin sellaisia arvioinninkäytössä ja arvioinnin vaikuttavuudessa keskeisessä roolissa olevia elementtejä, kuten arviointiparadigmaa, arviointimallia ja metodologiaa, arvioijan asemaa ja näkökulmaa, arvioinnin käyttäjien asemaa, arviointitarkoitusta, arvioinnin aikakehikkoa, ja arviointietiikkaa. Tässä tutkimuksessa käytettiin toimintatutkimuksellisesti suuntautunutta strategiaa. Tutkimusaineisto koottiin kahden Tansanian kenttämatkan aikana useita aineistonkeruumenetelmiä hyödyntäen. Arvioinnin vaikutuksia ja arvioinnin prosessikäyttöä tutkittiin aineistosta, joka saatiin ammattikoulutustapauksen kahdesta MHCC:n henkilöstölle ja komiteanjäsenille organisoidusta seminaarista ja työpajasta, samoin kuin henkilöstön jäsenten teemahaastatteluista ja komitean, henkilöstön antamasta kirjallisesta arviointipalautteesta ja yhdestä 11 hengen ryhmähaastattelusta. Lisäksi, ammatillisen koulutuksen sosio-ekonomisia vaikutuksia kerättiin 115 opiskelijan kirjallisen kertomuksen ja taustalomakkeen sekä 11 opiskelijan ja 20 muun arvioijan teemahaastattelun avulla. Kirjallinen aineisto koodattiin käyttäen teoriavetoista (tai -suuntautunutta) laadullista sisällönanalyysiä, johon pohjautuen johtopäätökset tehtiin. MHCC:n arviointikokeilu osoitti, että valittu arvioinnin tulokulma ja paradigma erilaisten arviointifaktorissa olevien elementtien hyödyntämisen kautta vaikutti arvioinnin käyttöön ja arvioinnin vaikutuksiin. Kokeilu sai aikaan vaikuttavuutta; arviointia automaattisesti hyödynnettiin jo arvioitaessa sen prosessikäytön vuoksi. Arviointiprosessiin osallistuneiden henkilöiden ja heidän instituutioidensa omakohtaisia arviointikokemuksia ei voinut vain "jättää hyllylle". Heidän yksilöllinen, henkilöiden välinen ja kollektiivinen arviointioppiminen arvioidessa kiistatta myötävaikutti, ei vain välittömiin vaan myös pidempiaikaisiin kognitiivisiin, affektiivisiin, sosiaalisiin, toiminnallisiin, jopa taloudellisiin ja kulttuurillisiin muutoksiin kehitysintervention eri tasoilla, jopa ammattioppilaitoksen ulkopuolella. Tämän tutkimusten löydösten perusteella, päättelin, että prosessuaalinen arvioinnin käyttö oli vahva työkalu ja MHCC:n muutosprosessien kiihdyttäjä, etenkin niille arvioinnin asianomaisille, jotka omaksuivat arvioivaa mieltä. Tämä ajattelutavan muutos, valistuminen ("mwanga"), mahdollisti siirtymisen jälki- ja menneisyysorientoituneesta historiaa tarkastelleesta ajattelusta tulevaisuussuuntautuneeseen omaehtoiseen kehittämistoimintaan. Tämä tutkimusaineisto antanee ymmärtää, että arviointiprosessilla ja -tuloksilla samanaikaisesti hyödynnettynä arvioivan oppimisen lähteinä oli pitkäaikaisia vaikutuksia – ehkä pidempiaikaisia kuin vain arviointituloksia yksin hyödynnettäessä voitaisiin aikaansaada. Nämä vaikutukset saattoivat muodostua MHCC:n reflektion, nopeamman ympäristöön reagoinnin ja jatkuvan sopeuttamisen elinehdoiksi. Tämä selitti, kuinka ammattikoulutusinstituutio MHCC on ollut kykenevä jatkuvasti uudistumaan ja muuttamaan toimintojaan tarvittaessa, huomioiden taloutensa ja ympäröivän yhteiskunnan vaatimukset sekä olemaan taloudellisesti itsensä kannattava yli 20 vuotta (mikä on ainutlaatuista koulutussektorilla maailmalaajuisestikin, puhumattakaan kehitysmaista, kuten Tansaniasta). Lisäksi, kokeilun ansiosta saatiin uutta tietoa arviointikohteesta, MHCC:stä opiskelijoineen, sen arviointikäytänteistä ja oppilaitosta ympäröivästä todellisuudesta. Ammattikoulun nimi muutettiin, uusia osastoja, kuten ajoneuvo, sähkö, sekä hotellinjohto ja turismi, lanseerattiin, ja uusia iltakursseja käynnistettiin, metallityön lisäkoulutusta, sekä tietokone- ja englannin kielen kursseja aloitettiin. Tämän tutkimuksen yleisenä yhteenvetona totean, että kansalaisjärjestöjen rooli on edelleen tärkeä ammatillisen koulutuksen järjestäjänä Tansanian kehityshankkeissa neljästä syystä. Ensiksi, koska maan koulutuksen yleistaso on dramaattisesti huonontunut. Toiseksi, koska riittävät ammattikoulutusmahdollisuudet puuttuvat. Kolmanneksi, koska ammattikoulutus on yleisesti ottaen hyödyllistä: se näytti vaikuttaneen ei vain yksilön köyhyyden vähentämiseen vaan laajemminkin yhteiskuntaan. Kuitenkin, tutkimustulokset esittivät yllättävän todisteen, mikä on vastakkaista länsimaalaiselle suoraviivaiselle ajattelulle ja oletukselle ammattitaidon ja ammatillisen koulutuksen valtavasta taloudellisesta voimasta ja hyödystä saajalleen; ei edes kokoaikatyö köyhyyden vähentämis- ja automaattisesti elintasoa nostavana keinona toiminut. Kaikesta huolimatta, minkä ammattiin opiskelleiden elämää koskeva aineisto todistaa, niiden, jotka kokivat positiivisia, merkittäviä, kestäviä taloudellisia, sosiaalisia ja henkilökohtaisia koulutusvaikutuksia MHCC:n koulutushankkeen vuoksi, nämä ammatillisen koulutuksen sosio-ekonomiset materiaaliset ja immateriaaliset positiiviset, tuotteliaat vaikutusketjut näyttivät ulottuneen myös laajennettuun perheeseen, ikätovereihin, yhteisöjen jäseniin ja tansanialaiseen yhteiskuntaan merkittävin seurannaisvaikutuksin. Esimerkkinä mainittakoon valmistuneiden opiskelijoiden sukulaisilleen, ikätovereilleen ja yhteisöjensä jäsenilleen tarjoama "epävirallinen, yksityinen oppisopimuskoulutusjärjestelmä"; jonka kautta yksi MHCC:stä valmistunut on epävirallisesti kouluttanut yli 50 henkilöä. Tosin, näitä sosio-ekonomisia koulutusvaikutuksia olisi voitu tehostaa resursoimalla ja tekemällä säännöllisesti arviointeja sekä syöttämällä niiden tuloksia edelleen ammattioppilaitoksen palvelujen parantamiseksi (esim. työvälineet tai yrittäjyyskurssit ammattiin valmistuneille). Neljänneksi, tutkimus osoitti, että kehitysmaissa työpaikat olivat tarjolla pääasiassa informaalilla sektorilla ja itsenäisenä ammatinharjoittajana työskenteleminen oli useimmille valmistuneille ainoa työllistymisvaihtoehto. Näin ollen, kansalaisjärjestöjen toteuttama ammattikoulutus oppilaitoksen kannattavuudelle välttämättömine tulonhankkimisprojekteineen (jotka yleensä puuttuvat valtion omistamista ammattioppilaitoksista) voi toimia erinomaisena yrittäjyyshenkeä vahvistavana oppimisympäristönä. Tutkimuslöytöjä voitaneen soveltaa seuraavasti. Ensiksi, huolestuttava arviointien käyttämättömyys ja/tai tehoton käyttö tulee tiedostaa. Toiseksi, arvioinnin teettäjien, käynnistäjien, rahoittajien ja avunantajien tulee saada lisätietoa merkittävistä arvioinnin positiiviseen käyttöön ja vaikuttavuuteen tai sitä estävistä kontekstuaalisista, arviointi- ja inhimillisistä faktoreista elementteineen. Esimerkiksi, sellaisia kontekstuaalisia tekijöitä, jotka liittyvät taloudellisiin ja poliittisiin rajoitteisiin ja arviointisysteemeihin ja jotka negatiivisesti vaikuttavat arviointien hyödyntämiseen ja vaikutuksiin, tulee paljastaa. Kolmanneksi, arviointien puutteellista hyödyntämistä vastaan tulee hyökätä muun muassa arviointiprosessia käyttämällä. Neljänneksi, jokaisessa arviointipolitiikassa ja -suunnitelmassa jo arvioinnin toimeksiantovaiheessa tulee edellyttää konkreettisia toimia arviointien hyödyntämiseksi. Jokaiselta julkisin varoin tuotetulta arvioinnilta tulee vaatia arvioinninkäyttösuunnitelma tavoiteltavine arviointivaikutuksineen ennen arvioinnin toimeenpano vaihetta. Viidenneksi, arviointikäyttö tulee uudelleen käsitteellistää arviointipolitiikkojen ja -suunnitelmien sanastossa. Kaikki tarjolla olevat arvioinnin käytön keskeiset elementit — arvioinnin toimeksianto, arviointiprosessi (eikä ainoastaan arviointilöydökset) — tulee maksimaalisesti valjastaa kaikilla arvioinnin tasoilla, myös kansalaisjärjestöissä, rajallisten evaluointiresurssien vuoksi, tuodakseen maksimaalisen arvon arviointikohteelle, sen asianomaisille ja arvioinnin käyttäjille. Kuudenneksi, arviointien hyödyntämistä tulee ohjeistaa, kannustaa ja rahoittaa. Arvioinnin käynnistäjien ja rahoittajien tulisi palkita arvioinnin asianomaisia ja heidän organisaatiotaan, mikäli arviointia hyödynnetään ja se saa aikaan vaikuttavuutta. Seitsemänneksi, arvioinnin vaikuttavuus/vaikutus -termit tarvitsevat selkeyttämistä, ei ainoastaan viitaten vain arvioinnin positiivisiin seurauksiin, vaan myös sen negatiivisiin, tahattomiin vaikutuksiin, joihin täytyy myös puuttua. ; Evaluation, if utilised to its full potential, would be an important tool for helping governments, the private sector and civil society to increase human well-being. Unfortunately, though the number of evaluations conducted is increasing worldwide, a low rate of utilisation of these evaluations is increasing as well. An example of this is the development field, where countless evaluation reports are produced and assumed to be used as sources of learning, when in reality they lie untouched. This non-actualised "use" is a real waste of time and of limited public funds. The usefulness of evaluations, when strictly determined based on the use of the published evaluation reports (as is the case most of the time), neglects the usefulness and reduces the utilisation of other evaluation elements available, such as evaluation commissioning or evaluation process, which further reduce the overall impact of the evaluation. This evaluation experiment, conducted in the Tanzanian vocational education and training (VET) centre, Mwanza Home Craft Centre (MHCC), was designed to utilise the evaluation, especially its process, to show evaluation impacts. My experiment, conducted upon the development intervention of non-governmental organisations (NGOs) established by Finnish funds, was performed concurrently alongside and from within the development intervention, in contrast to the poorly utilised development evaluations conducted for dominating accountability and control purposes by external evaluators using a past-focussed orientation combined with hard evaluation methods, all of which were exclusive and unfamiliar to the locals and thus, had minor local evaluation impact. In those evaluations the donorcentred standpoint, overarching evaluation paradigm and hegemonic language, having their origin in the New Public Management movement were favoured. Instead, I devised a micro explanation of, and provided reflections about, the donorsponsored, local- and stakeholder-centred, learning- and future-oriented, and locally utilised development evaluation with impacts. The evaluation experiment consisted of two components. In the evaluation section, the socio-economic impacts of VET were studied. In the research on evaluation section the focus was put on the process use of evaluation and evaluation impacts. In the VET project, all the stakeholders' evaluative learning was targeted to be supported with the assistance of the process use of evaluation while evaluating. It was aimed at individual, interpersonal and collective evaluation impacts through personal and organisational involvement, evaluative experience and training received, as well as dialogue. My mandate was to integrate into the evaluation process, evaluation "masses," that is, the aid recipients, to generate stronger local evaluation impacts, and to look at the relation to power in evaluation from their standpoint. Generally speaking, they have less power and voice in the current development evaluations than do "the elite," the financial donors. I hypothesised that every research and evaluation research is standpoint-bound, which has influence on evaluation usability, and then, on evaluation impacts, their types, levels, user groups, and duration. In this research, emphasis was placed on those elements playing key roles in evaluation use and evaluation impact, such as the evaluation paradigm, evaluation design and methodology; the evaluator's location and standpoint; the position of the evaluation users; the evaluation purpose; the evaluation time-frame; and evaluation ethics. In this research, the action research-oriented strategy was used. The research data was generated during two Tanzanian field trips by utilising various data generation methods. Evaluation impacts and process use of evaluation were studied through the data received from the VET case, its two seminars and workshops organised for the MHCC staff and committee members, as well as from thematic interviews of some staff persons and written evaluative feedback given by the committee, staff members and an 11-participant group interview. Again, socio-economic VET impacts were collected through the data of 115 former students' written stories and background questionnaires, as well as of 11 former students' and 20 other evaluees' thematic interviews. The written data of the evaluation experiment was coded by using the theory-driven (or theory-directed) qualitative content analysis, on which the conclusions were based and drawn. The evaluation experiment at MHCC indicated that the chosen evaluation standpoint and paradigm, through the utilisation of various elements existing in the evaluation factor, affected evaluation use and evaluation impacts. The experiment contributed to impact; the evaluation was automatically brought into utilisation while evaluating due to its process use. The first-hand evaluative experience of the participants and of their institutions involved in the evaluation process could not "just be left on the shelf." Their individual, interpersonal and collective evaluative learning, while evaluating, inevitably contributed not only to immediate but also to long-term cognitive, affective, social, behavioural, even economic, and cultural changes at various levels of the development intervention, even outside the VET centre. Based on findings of this research, I suggested that the processual use of evaluation was a powerful tool and an accelerator of MHCC's change processes, even for those stakeholders whose evaluative minds were made up. This change in the pattern of thought, enlightenment ("mwanga"), enabled a shift in focus from the post- and past-oriented, history observing thinking, to the future-directed independent line of development action. This research data might imply that evaluation process, with its findings utilised simultaneously as evaluative learning sources, had long-term effects — maybe longer than the findings use alone can generate. These impacts could become the lifeblood at MHCC for reflection, quicker reactivity to the environment and on-going adaptation. This presented an explanation for how the VET institution MHCC could have been capable of being renewed continuously and transforming its activities, as needed, regarding its economy and the demands of surrounding society, as well as being self-supporting for over 20 years (which is unique in the educational sector worldwide, let alone in the developing countries, like Tanzania). In addition, with the experiment, the new knowledge was received about the evaluand, MHCC and its students, its evaluation practices, and MHCC's surrounding reality. Again, the VET centre's name was changed, new departments such as motor vehicle, electricity, as well as hotel management and tourism were launched, and new evening courses, further education and training in welding and fabrication, as well as computer and English language courses, were started. As the general conclusion of this research I state that NGOs still have an important role as VET providers of Tanzanian development interventions, for four reasons. First, because the country's general education level has dramatically deteriorated. Second, because of a lack of sufficient VET opportunities. Third, because in general VET was beneficial: it seemed to have had impacts not only on an individual's poverty reduction, but even more widely on the society. However, this data also provided surprising evidence that, in direct contradiction to Western linear thinking and assumptions about the enormous economic power and benefit of vocational skills for its acquirer gained in VET, even full-time employment did not function as a tool for alleviating poverty and automatically raising the person's living standards. Nevertheless, as was evidenced by the lives of these VET trainees, who experienced positive, significant, sustainable economic, social, and personal education impacts due to the development project MHCC, these material and immaterial socio-economic impact chains were positive and productive and seemed to have had very far-reaching and significant ramifications for the lives of extended families, peers, community members, and the Tanzanian society. A case in point was the informal "private apprenticeship training system" offered by the former students to their relatives, peers and community members; through which one MHCC graduate has unofficially "trained" over 50 persons. Indeed, these socio-economic impacts of education could have been intensified by resourcing and carrying out evaluations frequently as well as by feeding their results forward for the VET institution's service improvements (e.g., equipment or entrepreneurial courses for VET graduates). Fourth, the research indicated that jobs in the developing countries were offered in the informal sector and self-employment was, for the majority of graduates, the sole option to be employed. Hence, NGO-implemented VET, with their essential income-generating projects for the institution's sustainability (generally lacking from government-owned VET centres), could operate as an excellent learning environment, strengthening the entrepreneurial spirit. The research findings might have the following applications. First, the worrying trend towards evaluation non-use and/or deficient use is worth acknowledging. Second, evaluation commissioners, initiators, funders, and donors need to gain further knowledge about significant positive or prohibitive contextual, evaluation and human factors (with their related elements) that lie behind evaluation utilisation and impact. For instance, those contextual factors which are related to financial and political constraints and evaluation systems and which negatively affect evaluation utilisation and impacts must be revealed. Third, an attack against the inadequate use of evaluations could be launched among others with processual evaluation use. Fourth, in every evaluation policy and plan in an evaluation commissioning phase, concrete actions need to be made necessary for evaluation utilisation. A written plan on evaluation use with evaluation impacts intended should be demanded to be produced from every evaluation conducted with public funds before the evaluation commissioning phase. Fifth, evaluation use in the vocabulary of evaluation policies and plans should be reconceptualised. All the available key elements of the evaluation use — the evaluation commissioning, evaluation process (not solely evaluation findings) — should be maximally harnessed at all the evaluation levels, also in NGOs, due to the scarcity of funding opportunities available for evaluations, to bring maximal value to a target of the evaluation, its stakeholders and evaluation users. Sixth, evaluation utilisation should be instructed, encouraged and funded. Evaluation stakeholders and their organisations should be rewarded by evaluation commissioners and funders, if the evaluation is used and it contributes to impacts. Seventh, terms such as evaluation impact/impacts need to be clarified, to refer not only to positive evaluation consequences but also to negative, unintended impacts, which must also be tackled.