L’impact factor ha cinquant’anni, e qualche ruga

Ho già citato l’iniziativa del Progetto Galileo, che trovo interessante e meritevole di attenzione nonostante ci siano stati alcuni attriti con alcuni dei suoi promotori, che a mio avviso nella loro critica alla bassa qualità dell’informazione scientifica sbagliano a puntare il dito così decisamente e indiscriminatamente sui giornalisti.

Uno degli ultimi post pubblicati sul loro sito, in particolare, ha suscitato molte reazioni interessate da parte di altri lettori, anche se secondo me fornisce in tema di Impact Factor solo una parte della storia, riassunta così nella conclusione:

Per concludere, anche se a prima vista l’IF sembra una cazzatella alla BlogBabel o alla Technorati, la comunità scientifica sa prendere contromisure adeguate per mantenere un livello serio – e aggiungo commisurato all’impegno intellettuale – della misura dell’autorevolezza.

Siccome mi pare utile interloquire su questi argomenti con tutti gli “uomini di buona volontà”, ma il mio tono è sembrato ad alcuni supponente e sgradevole, opto per riproporre qui un articolo sullo stesso argomento – ma con conclusioni a dir poco dissonanti – che ho scritto circa due anni fa.

Per inciso, ho appena notato che il sito di BlogBabel che come Technorati stilava una sorta di classifica dei blog ha chiuso per eccesso di polemiche.

(Una versione di questo mio articolo è stata pubblicata nel 2006, con un altro titolo, sul “Sole 24 Ore Medici”).

L’impact factor ha cinquant’anni, e qualche ruga

Ha da poco superato i cinquant’anni, ma in paesi come l’Italia l’impact factor ha impiegato talmente tanto tempo ad affermarsi da finire per arrivare forse troppo tardi: mentre in altri paesi, con in testa gli Stati Uniti, suona oggi molto naif pensare di applicarlo alla valutazione del singolo, non sono rari i casi in cui i ricercatori nostrani lo riportano con risalto nel curriculum. “Gli indici come l’impact factor e il citation index sono diventati quasi dei feticci” spiega Francesca Pasinelli, direttore scientifico della Fondazione Telethon e responsabile della selezione degli studi destinati a ricevere finanziamenti “anche se da tempo è diffusa la convinzione che non siano adatti a riassumere in una cifra il curriculum di un ricercatore”.
Concorda pienamente anche l’ideatore, Eugene Garfield, nel lungo articolo pubblicato sul “Journal of the American Medical Association”: ripercorrendo l’evoluzione della sua idea espressa per la prima volta nel 1955 sulle pagine di “Science” (scarica il pdf dell’articolo) e descrivendo le molte e sofisticate elaborazioni successive, che sono da tempo oggetto di specifiche discipline che vanno sotto nomi esoterici come “bibliometrica”, “scientometrica” o “giornalologia” (vedi box), rievoca anche le distorsioni, in parte ineliminabili.


Tra le molte opinioni contrastanti, Garfield riporta quella espressa da C. Hoeffel nel 1998: “L’impact factor non è uno strumento perfetto per misurare la qualità degli articoli, ma non c’è niente di meglio. Esso ha il vantaggio di essere già disponibile e costituisce quindi una buona tecnica per la valutazione scientifica. L’esperienza ha dimostrato che in ogni ambito specialistico le migliori riviste sono quelle in cui è più difficile pubblicare un articolo, e queste sono anche quelle che hanno un impact factor elevato. La maggioranza di queste riviste esisteva molto prima che l’impact factor fosse ideato. L’uso dell’impact factor come misura della qualità è così diffuso perché esso combacia con l’opinione che in ciascuna specialità abbiamo dei giornali migliori”.
Secondo i critici, questo effetto è un po’ figlio di meccanismo “dell’uovo e della gallina”, ma resta il fatto che l’uso di questo indicatore per decidere a quale rivista inviare il proprio articolo appare ai più efficace sul piano pratico. Altro discorso vale quando si pensa di applicarlo alla valutazione della qualità della ricerca dei singoli: “L’uso dell’impatto delle riviste per valutare gli individui ha i suoi pericoli. In un mondo ideale, i valutatori leggerebbero ogni articolo e potrebbero dare giudizi personali” conclude infatti Garfield, che però aggiunge. “Il recente congresso internazionale sulla peer review e le pubblicazioni biomediche ha dimostrato la difficoltà di riconciliare i giudizi dei revisori. La maggioranza degli individui non ha il tempo di leggere tutti gli articoli più significativi. Persino se lo fanno, il loro giudizio sarebbe influenzato dall’osservazione dei commenti di coloro che hanno citato lo studio”.
Certo non si può non pensare che almeno saprebbero tenere nel debito conto il fatto che alcuni articoli tra i più citati sono poi smentiti da studi successivi (il Sole 24 Ore Medici ne ha parlato nel numero di a pagina ), ma non per questo smettono di “fare punteggio” in termini di impact factor e anche di citation index . In alcuni casi, paradossalmente, gli studi controversi ricevono un picco di citazioni proprio nel momento in cui si scopre che le loro conclusioni erano sbagliate (o che erano frutto di frode scientifica, come è capitato più volte in tempi recenti).
“Anche per questi motivi la Fondazione Telethon non utilizza gli indici bibliometrici in sede di valutazione delle richieste di finanziamento, che vengono valutate con un processo basato sulla peer review” spiega Francesca Pasinelli. “Solo così si riesce anche a valutare la competenza nello specifico ambito di ricerca, cosa che impact factor e citation index non rivelano”. Occorre sottolineare il fatto che le procedure di peer review utilizzate nel caso della valutazione di una ricerca sono diverse da quelle delle riviste: “Oltre a verificare che non ci siano legami personali o professionali tra i revisori e i ricercatori che richiedono il finanziamento, c’è l’aspetto della sessione plenaria in cui ciascun revisore deve motivare pubblicamente ai colleghi la propria valutazione, che riduce per quanto possibile i rischi di errore, in buona o cattiva fede”.
Altro discorso vale per le valutazioni sulla qualità della produzione di istituzioni scientifiche: “E’ chiaro che l’impact factor, che dipende dalla quantità degli studi pubblicati, premia i grandi centri a discapito di quelli piccoli la cui ricerca è magari migliore, ma il citation index medio sull’arco di cinque anni fornisce un quadro significativo, seppure inevitabilmente a grandi linee” riprende la Pasinelli. “Anche per questo noi verifichiamo, a posteriori, la bontà delle nostre scelte valutando gli indici cumulativi ottenuti dagli studi pubblicati sotto l’egida di Telethon, con risultati lusinghieri che ci rassicurano sulla bontà di meccanismi di selezione basati sulla peer review”.

BOX Bibliometria, scientometria e giornalologia
Continua a crescere a un ritmo inarrestabile il numero degli articoli pubblicati – che si tratti di case report, trial clinici multicentrici o revisioni sistematiche della letteratura – e al di là dei timori suscitati dai recenti casi di frode scientifica sfuggita agli usuali controlli è diventato sempre più difficile capire quale parte della immensa mole di studi prodotta merita attenzione.
E’ quindi inevitabile che, nonostante i loro limiti, continuino a essere usati in tutto il mondo gli indici riassuntivi, con in testa l’impact factor.
L’impact factor si ottiene dividendo il numero delle citazioni ottenute dagli articoli pubblicati su un dato giornale negli ultimi due anni per il numero degli articoli totali pubblicati nello stesso periodo. Chi riesce a pubblicare un articolo può attribuire ad esso l’impact factor del giornale (che in alcuni casi contribuisce con auto-citazioni a far salire i numeri).
Tra i molti altri parametri più sofisticati figurano l’”immediacy index” (che valuta la rapidita con cui un articolo della rivista è in media citato altrove) e la “cited half life”, che dà una misura della longevità degli articoli di quel periodico.
Ma in generale l’analisi delle citazioni è diventata una disciplina a se stante, con società scientifiche come la International Society of Scientometrics and Informetrics, e con una propria ampia letteratura, che ha fatto coniare al BMJ la felice definizione di “journalology”.

2 Risposte

  1. evitai di parlare di immediacy i half life proprio perchè la materia diventa un po’ ostica e complicata.
    Cmq grazie per i link e i riferimenti scientifici.

    l’IF comunque, è valutato anche nei curricula, quindi volenti o nolenti tocca tenercelo.

  2. Su quello siamo perfettamente d’accordo.
    Ciò che premeva a me sottolineare è la concreta possibilità che il citation index lasci la porta spalancata a un abuso sistematico – come in fondo dimostra il caso della rivista “Rejuvenation Research” che citavo nei commenti sul blog di Progetto Galileo, che ha un impact factor spaziale ma una serietà e credibilità scientifiche assai diverse.

    two very useful links about that journal and impact factor/ citation
    index from wikipedia:

    Rejuvenation Research is a multidisciplinary peer-reviewed quarterly
    scientific journal published by Mary Ann Liebert, Inc. that
    investigates the Strategies for Engineered Negligible Senescence. The
    2006 impact factor for Rejuvenation Research is 8.353[1], midway
    between the impact factor of Archives of Internal Medicine and the
    British Medical Journal[2] [3]

    [snip]

    3. ^ Note: [b]One contributing reason for achieving this high impact factor is more than 65% self citations (see analysis provided by the 2006 Journal Citation Reports)

    http://en.wikipedia.org/wiki/Rejuvenation_Research

    http://en.wikipedia.org/wiki/Journal_Citation_Reports

Lascia un commento

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...

%d blogger cliccano Mi Piace per questo: