O pohrdání citačními indexy

17. 9. 2019 / Václav Hořejší



Boris Cvek před několika dny sdělil, že “pohrdá citačními indexy”. Uvádí příklady, kdy skutečně dochází ke zneužívání těchto “scientometrických” nástrojů. Zamlčuje ale, že to jsou příklady řídké a že ve velké většině jsou tyto nástroje užitečné a smysluplné, pokud jsou používány s rozmyslem. Závěr Cvekova článku dokonce vyznívá tak, že snad význam vědecké práce se má posuzovat hlavně (či snad dokonce pouze) podle toho, jestli vede k něčemu prakticky užitečnému (např. novému léku). Chtěl bych s těmito mylnými názory polemizovat.



V posledních zhruba 50 letech se ve většině přírodovědeckých oborů vyvinul systém toho, jak vědecká komunita oceňuje hodnotu a kvalitu publikací. Je založen na celkem oprávněném předpokladu, že důležitých výsledků si všimne a případně pro svoji další práci použije více badatelů, nežli v případě výsledků nedůležitých či nezajímavých.

Uznání toho, že nějaká práce je pro dalšího vědce důležitá nebo alespoň hodná povšimnutí, je to, že ji ve svých publikacích „cituje“, tedy zpravidla stručně zmíní nějaký výsledek s odkazem na původní publikaci. Čím důležitější je určitá vědecká práce, tím častěji bývá v daném oboru zpravidla citována. Kvalitu a důležitost vědeckých prací lze tedy alespoň přibližně posuzovat či měřit jejich citovaností.

Je ovšem velmi důležité, že citační zvyklosti se v různých oborech dost výrazně liší – ve „velkých“ oborech jsou důležité výsledky citovány během několika málo let třeba několiksetkrát, zatímco v oborech, v nichž pracuje jen málo badatelů, může i práce základního významu získat jen řádově méně citací.

Na zhodnocení citačního ohlasu je ovšem třeba počkat řadu let, a proto se často používá náhradní kritérium. Tím je tzv. impaktový faktor (IF neboli „faktor dopadu“) časopisu, v němž byla práce přijata k publikaci. Hodnota IF v zásadě udává, kolikrát je průměrný článek publikovaný v určitém časopisu citován během prvních dvou let (někdy se uvádí také „pětiletý IF“).

Je přirozené, že IF je nejvyšší u nejkvalitnějších a nejprestižnějších odborných časopisů daného oboru – prosadit do nich publikaci je obtížné, protože recenzenti jsou tam nejpřísnější a konkurence největší. Proto by se tam měly dostat většinou jen ty nejlepší, a tedy vědecky nejhodnotnější práce, které jsou pak zpravidla hodně citovány. Může se ale samozřejmě stát, že se i do časopisu s vysokým IF dostane slabší publikace, která je pak málo citována, ale mělo by se tak dít méně často než u časopisů slabších.

IF by tedy ideálně měl být jakýmsi odhadem příští pravděpodobné citovanosti prací v něm publikovaných. Abychom uvedli příklad z biochemie, molekulární a buněčné biologie: IF „hvězdného“ časopisu Cell je zhruba 36, u velmi solidního Journal of Biological Chemistry má IF hodnotu zhruba 4,1, kdežto Folia Biologica-Krakow má IF přibližně 0,7.

V rámci daného oboru (hovořím teď o „velkých“ přírodovědeckých oborech, jako je fyzika, chemie, biologie a biomedicínské obory) se tedy nabízí způsob, jak alespoň přibližně zhodnotit, jak je určitý vědec, výzkumný tým nebo výzkumný ústav produktivní ve srovnání s jinými: sečtou se prostě impaktové faktory jejich publikací za určité období a vzájemně se porovnají. Anebo ještě lépe: spočítají se skutečné citace prací srovnávaných autorů za posledních x let.

Zjišťování počtu citací nebo hodnot IF pro různé časopisy je celkem snadné – lze je rychle najít v databázi ISI Web of Knowledge firmy Thomson Reuters; většina českých výzkumných institucích ji má na komerční bázi k dispozici. Údaje o citovanosti jsou běžně vyžadovány při posuzování kandidátů na vědecko-pedagogické tituly, při konkurzech na významná vědecko-administrativní místa a často i při žádostech o granty.

Samozřejmě, jsou zde určité problémy:

  • Vědecké práce mají zpravidla více, někdy dokonce i mnoho autorů. Patří ty „impaktové body“ či počty citací každému z nich v plné výši (to asi opravdu ne…), či spíše každému přísluší jen určitý podíl? Jak takový podíl spravedlivě určit, jak odlišit to, že některý z autorů vykonal většinu popisované práce, zatímco jiní přispěli jen okrajově?

  • Teoreticky by se mohlo stát, že nějaká práce bude hodně citována v „negativním“ smyslu, tedy proto, že ostatní ji budou vyvracet jako chybnou (žádný takový konkrétní případ ale neznám a rád bych se o nějakém takovém dozvěděl…). Naopak je možné (a vzácně se to stává), že nějaká geniální práce natolik předběhne svoji dobu, že její význam ostatní nepochopí, a tudíž ji nebudou citovat (nebo dokonce ani nebude přijata do tisku).

  • Vypovídací hodnoty IF některých časopisů (možná dokonce většiny z nich) mohou být závažným způsobem pokřiveny tím, že o jejich výši se zaslouží jen malý počet skutečně vysoce citovaných článků, zatímco většina ostatních má citovanost velmi nízkou (rozdělení citovanosti je tedy velmi asymetrické); lepší by tedy bylo používat median, nikoli průměr.

  • V některých oborech (například matematika, humanitní a společenské vědy) jsou publikační zvyklosti jiné než ony velké přírodovědecké obory – nejcennějšími výstupy jsou tam knihy nebo sdělení na prestižních konferencích. V takových oborech nedává použití těchto scientometrických ukazatelů valný smysl.

  • Vysokých citačních a impaktových hodnot mohou například dosáhnout lidé, kteří jsou na dobré práce z nějakých důvodů více méně „připisováni“, aniž by jejich tvůrčí podíl byl významný. To se může stát třeba v případě některých „velkých šéfů“, kteří si spoluautorství vynucují na svých podřízených, nebo v případě badatelů, kteří „opravdovým“ autorům poskytli nějakou vlastní unikátní reagencii (protilátku, klon cDNA nebo třeba buněčnou linii) za to, že budou uvedeni jako spoluautoři.

  • Vyšší citovanosti lze docílit zapojením do nějakého „citačního bratrstva“ – je totiž poměrně časté, že lidé preferenčně citují spíše výsledky ze spřátelené laboratoře než práce neoblíbeného konkurenta. Je ovšem prakticky vyloučeno, aby někdo, kdo nemá zajímavé výsledky, byl vysoce citován svými kamarády jen na základě jakéhosi komplotu (zajisté ale lze tímto způsobem zařídit citace v řádu jednotek či desítek).

  • Až nepřiměřeně vysokých citačních hodnot mohou dosáhnout někdy metodické práce, které jsou často citovány jaksi automaticky. Na druhé straně věda stojí do značné míry na metodách, a tak možná na vysoké citovanosti takových prací není nic tak špatného (i když každý intuitivně cítí, že práce popisující novou modifikaci jednoduché analytické metody není tak „důležitá“ jako třeba objev nového onkogenu). Podobnou námitku lze někdy uplatnit vůči vysoké citovanosti přehledných článků, které mnozí považují za méně závažné než původní experimentální práce.


Výsledky citační analýzy mohou být ale do určité míry zkresleny také například malým počtem velkých „hitů“, tedy prací, které se citují řádově více než ostatní publikace daného autora. Mohou to být přehledné nebo metodické práce, které nemusejí věrně vypovídat o skutečné tvůrčí aktivitě badatele a jeho dlouhodobém a stabilním příspěvku k rozvoji oboru. Jorge Hirsch (fyzik z Kalifornské university v San Diegu) tuto skutečnost před lety zohlednil následující konstrukcí svého nyní proslulého indexu:


Vědec má H-index roven h, jestliže h jeho publikací (z celkového počtu N) bylo citováno nejméně h-krát, a ostatních N – h prací je citováno méně než h-krát.


Tedy konkrétně: má-li někdo H-index roven 30, znamená to, že každá z jeho 30 nejcitovanějších prací byla dosud citována nejméně třicetkrát a zbylé práce jsou citovány méně (ať jich je třeba 500 a celkově dávají vysoký počet citací – teoreticky v tomto případě třeba až 15 tisíc, pokud by každá z nich byla citována 30x).

Zdá se, že H-index je do určité míry objektivnější než celkový počet publikací nebo celkový počet citací (respektive je s těmito údaji komplementární), protože lépe charakterizuje široký dopad práce daného badatele. Vědci s vysokým H-indexem velmi pravděpodobně značně přispívají k rozvoji své disciplíny, protože produkují mnoho hodně citovaných prací. Také H-indexy jednotlivců (ale i třeba institucí) se dnes dají velmi jednoduše najít pomocí databáze ISI Web of Knowledge.

Samozřejmě se zde (podobně jako u celkového počtu citací) obvykle výrazně uplatňuje vliv autorova věku (badatelé pracující v oboru déle by měli mít vyšší index) a vliv badatelova oboru (citovanost průměrné práce v molekulární biologii je mnohem vyšší než v systematické botanice nebo sociologii). Je proto třeba pamatovat, že H-index je vhodný spíše pro odrostlejší badatele (nad zhruba 50 let?) a že nelze automaticky srovnávat H-indexy lidí působících v citačně příliš odlišných oborech.

Orientačně lze říci, že například ve mně blízkých biologicko-biomedicínských oborech je pro padesátiletého badatele H-index kolem 10 slabý, 20 slušný, více než 40 vynikající a více než 80 „světově hvězdný“.

Je nesporné, že posuzování kvality a produktivity podle citačních parametrů má své výše uvedené „mouchy“. Je to ale (ve velkých přírodovědeckých oborech!) zjevně poměrně objektivní systém, protože je založen na posouzení kolegy z oboru (recenzenti článků a ti, kteří práci citují). Je určitě lepší než „systém“ založený hlavně na schopnosti „udělat dojem“, mít vlivné známosti a umět šikovně prodávat i zboží nevalné kvality. Ostatně – o tom, že citační analýza dobře koreluje se skutečnou „kvalitou“ (ať už to znamená cokoli), svědčí i to, že naprostá většina nositelů Nobelovy ceny za fyziku, chemii i fyziologii a lékařství z posledních zhruba 30 let se může vykázat velmi úctyhodnými počty citací a velmi vysokými H-indexy.

Přesto existuje nemálo těch, kteří na základě výše uvedených problematických aspektů scientometrických ukazatelů zcela zásadně zpochybňují význam impaktových faktorů, počtu citací a H-indexů jako validních kritérií kvality vědecké práce.

Jsou i tací, kteří říkají, že pro opravdového vědce je nedůstojné honit se za nějakými publikacemi, citacemi nebo impaktovými faktory – nejdůležitější je prý „vnitřní kvalita“ vědecké práce, kterou jaksi intuitivně poznají nejlépe odborní kolegové. Občas můžeme slyšet i názory, že kvalitní mezinárodní časopisy nadržují při přijímání publikací vědcům z některých zemí nebo institucí a že diskriminují „outsidery“. Je tomu opravdu tak? Je „scientometrie“ pokoušející se měřit kvalitu a produktivitu vědců pomocí citací a impaktových faktorů fundamentálně scestná a zavádějící?

Jsem přesvědčen, že nikoli – myslím, že citační parametry naopak většinou skutečně vypovídají něco velmi důležitého. Bylo by samozřejmě nesmyslné vyvozovat nějaké důsledky z toho, že někdo nasbíral za své práce 500 citací, zatímco jiný „jen“ 300. Ale pokud má někdo těch citací 1000 a jiný ve stejném oboru jen 20, velmi pravděpodobně to signalizuje velký rozdíl v kvalitě a produktivitě. Stejný závěr můžeme udělat, i pokud někdo publikuje většinou v mezinárodních časopisech s vysokým IF, kdežto jiný téměř výhradně v lokálních žurnálech s velmi nízkým IF. Samozřejmě, že při tomto způsobu semiobjektivního hodnocení kvality a produktivity vědecké práce můžeme dojít i k více či méně falešným závěrům (z výše uvedených důvodů), a proto je dobré je nepřijímat automaticky a bez kritické kontroly, ale spíše jako cenné podklady.

Myslím, že ty falešné závěry ze scientometrických údajů nejsou příliš časté – projeví se možná spíše někde v nižších patrech citačních žebříčků, kde několik málo „nečestně“ získaných bodů může podstatně ovlivnit celkový počet. Je jistě možné, že někdo z těch, kteří se mohou pochlubit vysokým počtem citací, příliš význačnými vědci být nemusí (například proto, že byli jen minoritními spoluautory vysoce citovaných publikací). Ale jestliže nějaký badatel má těch citací velmi málo, je prakticky jisté, že skutečně význačným vědcem není. Pozor – opět zdůrazňuji, že mluvím o velkých přírodovědeckých oborech!

Myslím, že je velmi dobré, že se i v Česku za posledních deset let rozšířilo povědomí o tom, že existují databáze citovanosti a přehledy impaktových a Hirschových indexů. Velmi to pomohlo tomu, abychom si udělali objektivnější obrázek o tom, „kdo je kdo“ v naší vědě a jak jsme vlastně na tom v mezinárodním srovnání.

Je jasné, že pro vědu jsou nepostradatelní i ti, kteří sice mnoho původních vědeckých prací nepublikují, ale zato umějí vědu brilantně popularizovat, jsou skvělými vysokoškolskými pedagogy nebo klinickými praktiky. Avšak neměli bychom zapomínat, co je ve vědě přece jen to hlavní: vědec není jen ten, kdo toho o svém oboru hodně ví, ale především ten, kdo objevuje něco zcela nového o přírodě, své objevy je schopen publikovat v kvalitních mezinárodních časopisech a vzbudit o ně zájem ve vědecké komunitě.

A na závěr – jistě, je nesmyslné hodnotit vědce pouze nějak automaticky “kafemlejnkovým” způsobem podle hodnot jejich citačních parametrů. Ale je podle mého názoru zcela očividné, že ty citační parametry jsou pro hodnocení velmi relevantní; musí být ovšem doplněny inteligentním “peer review”, který odhalí, jestli se za vysokými hodnotami neskrývá některý z těch výše uvedených nešvarů. Tvrdím, že ve velké většině případů ty vysoké citační parametry v určitém vědním oboru dobře korelují s “kvalitou a produktivitou” ať už si pod těmito pojmy představujeme cokoli.

Myslím, že proto není moudré “pohrdat citačními indexy”.



0
Vytisknout
2972

Diskuse

Obsah vydání | 19. 9. 2019