Zinātniski nekorekti, neievērojot godīgu konkurenci • IR.lv

Zinātniski nekorekti, neievērojot godīgu konkurenci

31
Ministra Roberta Ķīļa ēna datorā kādā izglītības un zinātnes darbinieku saietā. Foto: Raitis Plauks, F64
Mihails Hazans

Latvijas Universitātes profesors kritizē Izglītības un zinātnes ministrijas salīdzinājumu augstākās izglītības programmām

7.novembrī IZM publiskoja “alternatīvu” (salīdzinot ar Augstākās izglītības padomes – AIP – projekta rezultātiem) studiju programmu sadalījumu trīs kvalitātes grupās un no tā izrietošās rekomendācijas par 162 studiju programmu budžeta finansējuma pārtraukšanu. Starp šīm 162 programmām 111 ir tādas, kuru pastāvēšana pēc AIP projekta rezultātiem netika apšaubīta, lai gan tika konstatēta konkrēto uzlabojumu nepieciešamība. 11.novembrī tika publiskots uz IZM alternatīvā vērtējuma pamata izveidots augstskolu reitings.

Lai gan AIP projekta īstenošanas gaitā bija vērojami trūkumi, gala rezultāti bija iegūti no ekspertu grupu vērtējumiem saskaņā ar iepriekš apstiprināto un visām ieinteresētām pusēm zināmo metodoloģiju. Šajā rakstā parādīšu, ka IZM vērtējuma pamatā ir pilnīgi nekorekta metodoloģija, turklāt ir pārkāpti godīgas konkurences, starptautiskās sadarbības un projektu vadības pamatprincipi.

IZM alternatīvo studiju programmu izvērtējumu jau ir asi kritizējusi AIP, kas savā atklātā vēstulē pamatoti norāda, ka “ministrijas veiktajā … novērtējumā saskatāmas būtiskas … metodikas problēmas” un ka IZM vērtējuma izmantošana valsts budžeta vietu sadalē būtu kā minimums juridiski nepamatota. Arī Dr. Alberts Prikulis savā blogā norāda, ka vairāki IZM noklusēti izmantotie pieņēmumi ir nekorekti. Piekrītot AIP argumentiem un lielākoties A. Prikuļa argumentiem, centīšos šeit tos pēc iespējas nedublēt, koncentrējoties nevis uz IZM veikto vērtēšanas kritēriju sadalīšanu divās grupās (pamata un fona kritēriji), bet uz citiem IZM pieļautajiem konkrētiem (un smagiem!) metodoloģijas un ētikas pārkāpumiem.

Ņemot vērā gan to, ka augstākās izglītības reformas tieši vai netieši skar gandrīz visus Latvijas iedzīvotājus, gan to, ka runa ir par kliedzošo nekompetenci augstākajā valsts pārvaldes līmenī, mēģināšu izskaidrot lietas būtību saprotami plašam lasītāju lokam. Tāpēc, citējot IZM informatīvo materiālu, īsi atgādināšu dažas AIP projekta detaļas (augstskolu pasniedzējiem tie ir, protams, labi zināmi).

Eksperti vērtēja katru studiju programmu pēc 62 kritērijiem, izmantojot sekojošo skalu: četri punkti – teicams vērtējums, var būt nenozīmīgas nepilnības; trīs punkti – labs vērtējums, var būt nebūtiskas nepilnības; divi punkti – apmierinošs vērtējums, vērojami būtiski trūkumi; viens punkts – neapmierinošs vērtējums.

Saskaņā ar projekta metodoloģiju studiju programma var tikt atzīta par ilgtspējīgu (I grupa) tad, ja neviens no kritērijiem netika novērtēts ar vienu punktu un ne vairāk kā 15% kritēriju tika novērtēti ar diviem punktiem. Studiju programma var tikt atzīta par problemātisku (III grupa), ja vairāk par 15% kritēriju tika novērtēti ar vienu punktu un tika konstatētas būtiskas attīstības problēmas bez skaidriem risinājumiem.

Gan ekspertiem, gan augstskolām šī metodoloģija bija zināma; augstskolu piedalīšanas projektā bija brīvprātīga.

Tātad dažādu kritēriju punktu saskaitīšana vai vidējā vērtējuma aprēķināšana, uz kā balstās IZM novērtējums, nebija paredzēta (un, kā paskaidrots tālāk, arī nevarēja būt paredzēta!).

Var secināt, ka IZM nav ievērojusi godīgas konkurences principus – kritiski svarīgi lēmumu pamatā ir metodes un formulas, par kuriem ne projekta dalībnieki (augstskolas), ne eksperti nebija iepriekš informēti.

Ministra kungam nepatika AIP projekta rezultāti (pārāk maz programmu III grupā) – un tika radītas formulas (kā tālāk parādīts, nekorektas), pēc kurām budžeta finansējuma zaudē vēl 111 programmas un tiek izveidots visai dīvains augstskolu reitings. Tikpat labi varēja izmantot citas (arī nekorektas!) formulas (piemēram, piešķirot kritērijiem dažādus svarus), pēc kurām būtu citi zaudētāji un citi uzvarētāji.

Pat pieņemot, ka vāju studiju programmu Latvijā ir daudz vairāk nekā AIP projekta rezultātos, piekrist IZM rīcībai ir tas pats, ka pateikt: vēlēšanu rezultātu manipulēšana ir pieļaujama, ja vien uzvarēs “mūsējie”. IZM “alternatīvais vērtējums” faktiski diskreditē augstākās izglītības reformas.

Nav ievēroti arī projektu vadības un zinātniskās ētikas principi. Projekta apstiprināšana (un finansējuma piešķiršana) paredz skaidrību par to, ar kādām metodēm tiks sasniegti projekta/pētījuma mērķi, ko drīkst un ko nedrīkst darīt ar starprezultātiem. Ja runa ir par programmu novērtējumu, algoritms ir iepriekš zināms. Konkrēti, AIP projekta metodoloģija paredz, ka programmu var atzīt par problemātisku, tikai balstoties uz neapmierinoši novērtēto kritēriju skaitu, savukārt atšķirības starp teicamo un labo vērtējumu skaitu neietekmē šo rezultātu. Ja starptautiskie eksperti būtu zinājuši, ka IZM plāno saskaitīt vērtējumus, viņi būtu pieprasījuši izmantot tam piemērotu skalu ar vienādiem attālumiem starp blakus esošajiem vērtējumiem (skat. tālāk). Pat ja skalas problēma nebūtu pamanīta projekta recenzēšanas posmā, atšķirībām starp “teicami” un “labi” būtu veltīta daudz lielāka uzmanība projekta sagatavošanas un realizācijas gaitā, un daudzi vērtējumi būtu citādi.

IZM rīcībā es saskatu manipulēšanu ar starptautisko ekspertu vērtējumu rezultātiem.

Tagad par metodoloģijas kļūdām. IZM apgalvo, ka alternatīvā vērtējuma pamatā ir “kvantitatīvo datu analīze”. Faktiski, kā paskaidrots tālāk, IZM ir veikusi ar AIP projekta starprezultātiem aprēķinus, kuriem šie starprezultāti (un vispār šāda veida dati) nav paredzēti; šo aprēķinu rezultāti nav interpretējami (un, protams, nav lietojami).

Ekspertu sniegtus programmu vērtējumus pēc dažādiem kritērijiem nedrīkst saskaitīt, jo izmantotā skala nav “lineārā” (vai “attālumu”) skala. Ekspertiem netika uzdots ievērot pēc iespējas vienādu “attālumu” starp vērtējumiem 4 un 3, 3 un 2, 2 un 1 (un četru punktu skalā to diez vai būtu iespējams izdarīt). Gan no vērtējumu apraksta, gan no AIP projekta metodoloģijas izriet, ka vislielākais “attālums” (atšķirībā) ir starp 2 (apmierinoši) un 1 (neapmierinoši), bet vismazākais – starp 4 (teicami) un 3 (labi). Atgādināšu vēlreiz, ka pēc apstiprinātās metodoloģijas sadalījumu pa grupām nosaka vērtējumu 1 un 2 skaits, bet atšķirībai starp 3 un 4 ir drīzāk morāla nozīme.

To, ka atšķirība starp 4 un 3 mēdz būt subjektīva, ilustrē LU Ekonomikas un vadības fakultātes pieredze: informācijas tehnoloģiju izmantošana studiju procesā vadības zinību bakalaura un maģistra programmās tika novērtēta ar 4, bet atbilstošās ekonomikas programmas (kur strādāja citi eksperti) – ar 3, lai gan faktiski atšķirību nav; tas pats attiecas uz bibliotēkas novērtējumu (visas fakultātes programmas apkalpo EVF bibliotēka).

Rezumējot, AIP projektā iegūtie studiju programmu vērtējumi pa kritērijiem pēc savas būtības ir kvalitatīvie (sakārtotie), nevis kvantitatīvie dati, un analizēt tos tā, kā to ir darījusi IZM, ir metodoloģiski nekorekti. Šīs analīzes rezultātiem nav un nevar būt zinātniskās interpretācijas. Problēma šeit ir tā, ka pēc IZM “metodoloģijas” skaidri identificējamus nopietnus trūkumus var kompensēt ar grūti identificējamo un mazāk svarīgu atšķirību starp “nenozīmīgām” un “nebūtiskām” nepilnībām.

Ilustrācijai viens piemērs. Pieņemsim, ka studiju programmai X pēc 10 “pamata kritērijiem” (IZM izgudrojums, ko argumentēti kritizē gan AIP, gan A.Prikulis, bet lai nu ir…) ekspertu vērtējumi ir pieci četrinieki un pieci vieninieki. Savukārt tās pašas jomas un līmeņa programmai Z tie ir pieci trijnieki un pieci divnieki. Tātad summa abos gadījumos ir 25. Pat, ja programmas ir vērtējušas dažādas ekspertu grupas, pieņēmumu, ka abas grupas līdzīgi saprot, kas ir “neapmierinoši”, var akceptēt kā reālistisku, un tad programma X ir daudz sliktāka par programmu Z pēc pieciem pamata kritērijiem. Savukārt atšķirība par labu programmai X pēc pārējiem pieciem pamata kritērijiem (nenozīmīgas nepilnības pret nebūtiskām nepilnībām!) nav tik kritiska (un, iespējams, ir subjektīva).

Tālāk pieņemsim, ka no pārējiem (“fona”) kritērijiem programmai X 8 ir novērtēti ar 4 punktiem, 35 ar 3 punktiem, 2 ar 2 punktiem un 5 ar 1 punktu (kopā 146), bet programmai Z ir 45 “trijnieki” un 5 “divnieki” (kopā 145); katrai programmai divu vērtējumu iztrūkst. Atkal redzam, ka programmā X ir septiņi problemātiski fona kritēriji, salīdzinot ar pieciem programmā Z. Kopumā programma X ir sliktāka nekā Z. Pēc AIP metodoloģijas, programma X, kurai 10 no 60 kritērijiem (17%) ir novērtēti ar 1 punktu, noteikti iekļūs III grupā, bet programma Z, kurai “vieninieku” nav, bet ir 17% divnieku, būs II grupā. Savukārt pēc IZM “metodoloģijas” abas programmas ar koeficientiem 0,428 un 0,425 nonāks grupā C ar spriedumu “pārtraukt finansējumu”, kurš programmai Z nemaz neizskatās taisnīgs.

Ar kvantitatīvo metožu nekorekto pielietojumu vien pietiktu, lai noraidītu IZM metodoloģiju. Tomēr atzīmēšu vēl pāris nekorektu pieņēmumu (šīs manas piezīmes papildina AIP un A.Prikuļa jau teikto). Pirmkārt, IZM metodoloģija noklusēti pieņem, ka dažādu ekspertu grupu (un dažādu kritēriju) vērtējumi punktos ir perfekti salīdzināmi. Šis pieņēmums ir daudz, daudz stiprāks nekā AIP pieņēmums, ka dažādu ekspertu grupu gala secinājumi par programmu kvalitāti ir salīdzināmi. Tā IZM pieņēmums nozīmē, ka visas ekspertu grupas vienādi saprot atšķirību starp „nenozīmīgām” un „nebūtiskām” nepilnībām. Var piekrist A.Prikulim, ka “faktiski, kā tas praksē daudzkārt novērots, dažādu nozaru un dažādu valstu ekspertiem vērtējumi atšķiras (it īpaši starp eksaktajām zinātnēm un sociālajām zinātnēm)”. Protams, salīdzinot dažādu līmeņu programmas, problēma kļūst vēl nopietnāka. Otrkārt, IZM katrai programmu grupai uzskata visus 10 pamatkritērijus par vienādi svarīgiem – atbilstošiem vērtējumiem formulā ir vienādi svari. Tāpat visi (novērtētie) fona kritēriji ir uzskatīti par vienādi svarīgiem. Šo pieņēmumu būtu grūti aizstāvēt, pat ja 4 punktu skalas vietā būtu izmantota vienādu attālumu (piemēram, 10 punktu) skala.

Augstākās izglītības reformas kontekstā programmu snieguma kvantitatīvā analīze tiešām noderētu. Bet tam ir jāizmanto šādai analīzei piemērotie un objektīvie dati. Viens variants būtu savienot personu līmeņa (anonimizētus) datus par pēdējo 10 gadu augstskolu absolventiem ar šo personu nodarbinātības (un bezdarba) vēstures datiem.

P.S. Šajā rakstā izteiktā kritika adresēta tikai tām IZM amatpersonām, kuras ir personīgi atbildīgas par “alternatīvā vērtējuma” veikšanu un publiskošanu.

Autors ir LU profesors, Eiropas izglītības ekonomikas ekspertu tīkla dalībnieks

 

Komentāri (31)

tizls_putnins 12.11.2012. 13.19

Kad dēls izvēlējās studēt Apvienotajā Karalistē, viņš ļoti rūpīgi izvēlējās universitāti. Piemēram iekopēju saiti uz Guardian University Guide. Studētgribētāji arī Latvijā ir pelnījuši līdzīgu “rīku”.
http://www.guardian.co.uk/education/table/2011/may/17/university-league-table-2012

+10
-1
Atbildēt

4

    janis17 > tizls_putnins 13.11.2012. 00.07

    Kāpēc angļi ir tik stulbi, ka katru gadu neslēdz teiksim piecas sliktākās skolas pēc tā gada rezultātiem? Tas tak tā uzlabotu vidējos rādītājus!!!

    Salford Liverpool John Moores Bucks New University Southampton Solent Newport East London Bolton UC Suffolk West of Scotland London Met

    +2
    -4
    Atbildēt

    0

    Rita Lazda > tizls_putnins 13.11.2012. 21.58

    UK universitātes ir viens no ekonomikas balstiem un ienes diezgan daudz naudu, apmācot ārzemju studentus. UK arī ir savas problēmas – manuprāt izglītības prasības ir zemākas ko prasa no studentiem, bet konkurence ir lielāka un arī lielāks studentu skaits un ir no kā izvēlēties labākos un arī nav naudas problēmas. Tas ka neslēdz – es viss tā neapgalvotu – viņiem nesen bija reformas(laikam 10 gadus atpakaļ), kas reformēja koledžu un augstskolu izglītību un iespējams, ka būs vēl nākamās. Arī nesen bija studentu nemieri, kur līdzīgi kā tas bija Latvijā pirms 10 gadiem, UK pacēla studiju maksas.

    0
    0
    Atbildēt

    0

    janis17 > tizls_putnins 13.11.2012. 10.11

    Tas, ko es gribēju teikt ir – labāk vidēja līmeņa augstākā vai jeb kāda cita izglītība, nekā BEZIZGLĪTĪBA.
    Vienīgais veids, kā samazināt kādām izglītības programmām finansējumu, ir palielināt finansējumu un vietu skaitu tādās pašās, tikai kvalitatīvākās programmās kaut vai citās skolās, lai kopējā summa nesamazinātos.

    +3
    0
    Atbildēt

    0

    Andris > tizls_putnins 13.11.2012. 02.09

    Neslēdz (tāpat kā arī pie mums neplano neko slēgt), bet arī nevar teikt, ka neko nedara. London Met’am pavisam nesen aizliedza uzņemt ārvalstu studentus, tāpēc ka atklājies, ka studiju vīzas tika izmantotas nelegālai dzīvošanai Anglijā, nevis mācībām.

    +5
    -1
    Atbildēt

    0

Evija Zauere 12.11.2012. 13.11

Vai Hazans ir tas pats “profesors”, kas pamanījās saskaitīt cik cilvēki ir emigrējuši uz UK nepaprasot nevienu oficiālu ciparu no UK imigrācijas dienestiem?

+16
-9
Atbildēt

1

    Marta Zariņa > Evija Zauere 13.11.2012. 12.33

    Lai kā man nepatiktu Hazans, esot ar līdzīgu izglītību es redzu līdzīga rakstura problēmas.

    +2
    0
    Atbildēt

    0

Ieva 12.11.2012. 14.28

Cik saprotu, nevienu programmu jau IZM neslēdz, vienkārši dažām nogriež valsts finansējumu.Ja būs pieprasījums, tā pastāvēs tāpat. Tāpēc, piemēram, samazinot finansēto programmu skaitu katrā augstskolā par X procentiem, rezultāts būtu tāds pats. Jeb kritērijs šeit jau nav tik svarīgs, bet ir nepieciešams mainīt to, ka augstākā izglītība ir padarīta par pērkamu preci. Droši vien, ka ne visur tas ir izdarīts objektīvi, droši vien, ka ir kļūdas, bet ar visu to paredzamais rezultāts to nokompensēs. Tajā pašā laikā piekrītu Hazana tēzei, ka objektīvāks kritērijs būtu studiju galarezultāta vērtējums. Pavisam vienkārši: vai absolvents strādā profesijā? Citādi ir bijuši gadi, kad no Latvijas universitātes pedagoģijas fakultātes (arī no tiem, kas studē budžetā) beidzējiem neviens pats uz skolu strādāt neaiziet. Vai šādu programmu valstij ir jāfinansē?

+10
-4
Atbildēt

4

    Kristīne > Ieva 12.11.2012. 21.22

    “Ko Tad Hazans neprotestē pret metodiku, kad LU paziņo, ka ir populārākā augstskola (ņemot vērā tikai absolūto pieteikumu skaitu nevis konkursu uz vienu vietu)? ”
    ===
    Papēti etimoloģiju – “populārs” tieši to arī nozīmēs.

    +2
    -2
    Atbildēt

    0

    Una Grinberga > Ieva 12.11.2012. 19.45

    @Ķīps
    Šķiet, ka darba kritērijs varētu būt vēl nāvējošāks brēcošajām augstskolām! Ko Tad Hazans neprotestē pret metodiku, kad LU paziņo, ka ir populārākā augstskola (ņemot vērā tikai absolūto pieteikumu skaitu nevis konkursu uz vienu vietu)?

    +4
    -4
    Atbildēt

    0

    Rita Lazda > Ieva 13.11.2012. 22.10

    nezinu gan… manuprāt Ķīlis jau izteicās daudz vairāk par to reformu – tā jau nav tikai studiju slēgšana, bet arī augstākās izglītības ieviešana anglu valodā un vēl tur bija šādas tādas pērles.

    Esmu pilnīgi pret to, jo laba izglītība Latvijā tikai latviešu valodā nekādīgi nevar būt par šķērsli ārzemju studentiem apgūt izglītību Latvijas augstskolās latviešu valodā, tāpat kā latviešu studentam latviešu valodas neesamība universitātē Krievijā nav šķērslis apgūt augstāko izglītību krievu valodā vai jebkuras citas valsts universitātē tās valsts valodā… tas nav nekas neparasts, ka izglītoti cilvēki ārzemēs zin svešvalodas – tas ka plebeji nezin, tas ir pavisam cits jautājums un tāpēc jau nav jāmaina augstskolu valoda uz angļu lai paceltu izglītības līmeni. ja reformu mērķis ir ārzemju studentu piesaiste un arī Latvijas studentu samazināšana, tad tas ir cits jautājums, bet tad tam nav nekāda sakara ar izglītības kvalitāti… Jebkurā gadījumā lai celtu Latvijas universitāšu prestižu, ļoti lielu lomu spēlē nauda, kas tiek investēta zinātnē – jebkuŗi citi ceļi ir vienkārša eksperimentēšana, kā reformēt izglītību, jo valstij nav naudas.

    +2
    -1
    Atbildēt

    0

    Kristīne > Ieva 12.11.2012. 14.32

    Runa šeit laikam vairāk ir par pirkstu, desu un burkānu saskaitīšanu, vidējā rezultāta aprēķināšanu un aprēķinu publiskošanu ar norādi – “izmantot cirpšanai”.

    +8
    -1
    Atbildēt

    0

@

Komentāri nav iespējoti šim rakstam

Saņem svarīgākās ziņas katru darba dienas rītu