Il lavoro oscuro del revisore

Giuseppe Di Pasquale

Editor, Giornale Italiano di Cardiologia

In questo numero del Giornale Italiano di Cardiologia come di consuetudine, comune a tutte le riviste scientifiche, sono pubblicati i ringraziamenti dell’Editor e del Comitato Editoriale alle persone che nel corso dell’anno hanno dato la loro generosa disponibilità a revisionare almeno un manoscritto sottomesso al Giornale.

Ogni anno il GIC si avvale, in media, dell’opera di 150-200 diversi revisori. Alcuni revisori sono estremamente disponibili e produttivi, arrivando a revisionare anche 4-5 lavori l’anno. In totale, il numero di revisori “attivi” dall’anno 2017 ad oggi è superiore a 600. Di gran lunga più alto è comunque il numero di persone invitate a revisionare dal momento che non è piccolo il numero di coloro che non accettano di revisionare oppure non rispondono all’invito.

La peer review degli articoli sottomessi alle riviste scientifiche costituisce da lungo tempo il sistema per assicurare l’integrità e la qualità dei lavori pubblicati e per questo l’attività dei revisori è di fondamentale importanza per ogni Giornale.

LA STORIA DELLA PEER REVIEW

L’introduzione della peer review viene fatta risalire al 1831 quando William Whewell, professore di filosofia della scienza dell’Università di Cambridge, convinse la Royal Society di Londra, il Publisher del primo Giornale scientifico Journal Philosophical Transaction fondato nel 1665, a commissionare report sui manoscritti sottomessi al Journal1.

Il primo sistema formale di referee venne introdotto dalle società scientifiche inglesi all’inizio del XIX secolo, ma soltanto a partire dall’inizio del XX secolo venne lentamente adottato anche dalle riviste non affiliate alle società scientifiche. Tuttavia al di fuori del mondo scientifico anglofono il sistema di referee stentò ad essere accettato. Albert Einstein ad esempio rimase esterrefatto allorché un Giornale americano nel 1932 inviò un suo articolo in revisione. Il principio che un Giornale scientifico fosse tenuto a implementare un sistema formale di revisione trovò attuazione soltanto nel decennio successivo alla seconda guerra mondiale e solo nel 1973 il referaggio esterno divenne un requisito per la pubblicazione su Nature1.

La peer review è considerata lo strumento fondamentale, pur se imperfetto, per garantire la qualità e il rigore dell’informazione scientifica. È vero che da tempo viene messa in discussione la capacità di questo strumento di filtrare in modo efficace la produzione scientifica, ma pur con i suoi limiti in parte legati ai tempi lunghi e alla soggettività di giudizio rimane uno strumento indispensabile per il quale l’impegno e la qualità dei revisori costituiscono il fattore più importante2.

Da parte di esperti viene avanzata anche la possibilità che l’intelligenza artificiale con gli algoritmi di large language model (tipo chatGPT e altri) venga utilizzata per una valutazione della qualità, almeno formale, delle sottomissioni. Un sistema automatizzato potrebbe rappresentare un primo filtro e supportare le redazioni nella desk rejection con ovvia accelerazione dei tempi editoriali3. L’intelligenza artificiale è da tempo utilizzata per svelare il plagiarism e attualmente il suo impiego sta crescendo per coprire molte altre aree del processo editoriale, ad esempio la valutazione dei manoscritti in termini di forma, editing del linguaggio, controllo delle immagini, individuazione dei revisori e identificazione di citazioni di articoli che sono stati oggetto di retraction.

LE CRITICITÀ: IL BURDEN DEI REVISORI E DEGLI EDITOR

Da tempo gli Editor di tutte le riviste scientifiche si trovano quotidianamente ad affrontare la criticità di reperire revisori competenti e disponibili a revisionare entro i tempi richiesti manoscritti sottomessi alle riviste. L’incremento esponenziale del numero di manoscritti sottomessi nel mondo per la pubblicazione sovrasta di gran lunga la possibilità di reperire revisori accurati e puntuali.

Dal momento che il rejection rate medio per le riviste mediche è tra il 20% e il 50%, e molto più alto per le riviste più prestigiose, nel 2006 è stato calcolato che il numero di manoscritti inviati a formale revisione nel mondo arriva a 2-3 milioni per anno4. Si tratta di stime datate e conservative che devono essere aggiornate al rialzo anche in considerazione della crescente proliferazione nel mondo di giornali open access.

Assicurare una rapido processo di peer-review di qualità costituisce una delle principali responsabilità editoriali e anche un dovere della comunità scientifica.

Come Editor del Giornale sono profondamente grato ai revisori che spendono ore del proprio tempo per revisionare manoscritti migliorandone la qualità attraverso commenti costruttivi per gli autori. La qualità delle revisioni purtroppo non è sempre di livello adeguato. Ricercatori esperti non hanno il tempo per revisionare i lavori con accuratezza e i più giovani non sempre hanno l’esperienza e gli strumenti necessari per svolgere una revisione di qualità. È strano che non esista un training formale per questo importante lavoro che richiederebbe training e specializzazione5. In una survey sulla peer review condotta da Sense about Science, il 56% dei revisori lamentava la mancanza di linee guida su come svolgere una revisione e il 68% dichiarava l’utilità di un training formale6. Il BMJ ha valutato l’efficacia di un training face-to-face o mediante materiale audiovisivo sulla qualità della peer review in un trial clinico randomizzato dimostrando un miglioramento nei gruppi training rispetto al gruppo di controllo, nonostante la maggior parte dei revisori di tutti i gruppi avesse un’esperienza di lunga data nell’attività di revisione7.

Un’altra importante criticità è costituita dalla mancanza di puntualità delle revisioni insieme al ritardo degli autori per l’invio della seconda stesura. Anche la tempestività è un elemento importante dal momento che ognuno di noi vorrebbe che il proprio lavoro sottomesso ad una rivista scientifica venisse valutato in tempi brevi. Uno degli indicatori di qualità editoriale di una rivista è infatti il tempo intercorso tra la sottomissione di un lavoro e la decisione finale dell’Editor. Nei lavori che vengono pubblicati nella maggior parte delle riviste a pie’ della prima pagina dell’articolo accanto all’indirizzo per la corrispondenza viene sempre riportata la data della sottomissione, quella della nuova stesura e quella dell’accettazione.

IL REWARD DEI REVISORI

Il lavoro dei revisori è un lavoro oscuro e a differenza di altri lavori intellettuali non è ricompensato. Valentin Fuster, autorevole e infaticabile Editor del JACC, già nel 2015 aveva sollevato il problema di come ricompensare i revisori per il loro tempo generosamente offerto e per l’importante impegno intellettuale8.

Il rewarding dei revisori costituisce uno dei sei punti di un documento sulla peer review prodotto dal gruppo di lavoro Forward9 e in un recente editoriale sul JAMA è stato annunciato tra i temi della nuova edizione 2025 del congresso internazionale sulla peer review, appuntamento storico per chi lavora nello scientific publishing10.

Alcuni Giornali (pochi) hanno previsto una ricompensa economica per l’attività di revisore ed esiste un ampio dibattito sull’opportunità ed eticità di questa prassi. Personalmente non ritengo che questa sia la strada migliore, in particolare per Giornali che come il GIC sono organo ufficiale di società scientifiche, dal momento che l’attività di revisione rientra nelle responsabilità della comunità scientifica.

Al di là degli incentivi economici per i quali esistono punti di vista contrastanti, il riconoscimento per il lavoro di revisione potrebbe prevedere altre modalità, come ad esempio la concessione di abbonamenti alla rivista stessa, riduzione dei costi o libero accesso a database quali Science Direct o Scopus, libri in dono e crediti formativi ECM, al pari di quelli che si acquisiscono frequentando congressi e corsi di aggiornamento. I revisori di qualità potrebbero essere inoltre ricompensati con benefici accademici e professionali attraverso il riconoscimento da parte delle istituzioni di una certificazione dell’attività svolta come revisore di riviste scientifiche11,12. A tale riguardo nel 2012 è stata lanciata da Clarivate la piattaforma Publons Reviewer Recognition Service nella quale i revisori possono registrarsi, tracciare la propria attività di peer review e pubblicare un proprio profilo13. Attualmente la piattaforma raccoglie dati di oltre 2 milioni di ricercatori consentendo loro di ricevere una certificazione dell’attività svolta come revisore14.

Un altro incentivo potrebbe essere costituito dalla promozione di revisori top level e particolarmente attivi in comitati scientifici e board editoriali delle riviste stesse. A tale proposito alcuni Giornali hanno adottato un sistema di grading della qualità della peer review, denominato Peer Review Evaluation (PRE) score nella convinzione che attraverso un miglior processo di peer review si riesca a ottenere una qualità più elevata delle pubblicazioni4. Altri Giornali hanno previsto la pubblicazione nel proprio sito di linee guida per i revisori, sessioni annuali su come svolgere un’efficace peer review e dettagliati feedback ai revisori.

CONCLUSIONI

Qualcuno ha definito la peer review uno strumento in crisi ma del quale non si riesce a fare a meno. Le criticità sono diventate ancora più evidenti durante la pandemia COVID-19 allorché tutte le riviste scientifiche sono state inondate dalla sottomissione di una quantità impressionante di articoli scientifici che richiedevano di essere revisionati in tempi brevi15,16.

La disponibilità di revisori è attualmente di gran lunga inferiore alla mole di manoscritti che ogni giorno vengono sottomessi nel mondo alle riviste scientifiche. Ognuno di noi riceve ogni giorno richieste di revisioni provenienti dai più disparati Giornali e spesso su argomenti al di fuori dei propri campi di interesse. Fare delle revisioni costruttive e di qualità richiede competenza, tempo e impegno. Nel suo piccolo anche il GIC vive da anni questa criticità comune a tutti i Giornali. A mio parere l’intelligenza artificiale non potrà mai sostituire il lavoro di un revisore esperto, conoscitore anche della mission del Giornale dal quale viene inviato a revisionare. Una possibile soluzione è quella di incentivare il lavoro del revisore che viene spesso vissuto come un lavoro “oscuro” e di sottrazione di tempo prezioso che può essere dedicato ad altri impegni scientifici e/o professionali più gratificanti e appaganti.

Svolgere con impegno un’attività di revisione costituisce, in modo particolare per i giovani, un’opportunità per migliorare le proprie conoscenze, affinare la capacità di lettura critica di un articolo scientifico e arricchire il proprio curriculum scientifico. Ma costituisce anche un dovere per chi si sente parte di una comunità scientifica. Per chi è interessato l’Editor del GIC si rende disponibile a inviare certificazione dell’attività di revisore svolta nel corso dell’anno che può contribuire ad arricchire il proprio curriculum scientifico. Webinar su come scrivere un articolo scientifico vengono promossi da diverse società scientifiche, e anche l’ANMCO e la SIC ne hanno recentemente svolto alcuni particolarmente interessanti. Sarebbe utile nello stesso modo pianificare webinar o minicorsi su come svolgere una revisione di qualità.

BIBLIOGRAFIA

1. Csizar A. Peer review: troubled from the start. Nature 2016;532:306-8.

2. Smith R. Peer review: a flawed process at the heart of science and journals. J R Soc Med 2006;99:178-82.

3. Chauhan C, Patel CJ. Guest post-striking a balance: humans and machines in the future of peer review and publishing. The Scholarly Kitchen, September 28, 2023.

4. Stahel PF, Moore EE. Peer review for biomedical publications: we can improve the system. BMC Med 2014;12:179.

5. Patel J. Why training and specialization is needed for peer review: a case study of peer review for randomized controlled trials. BMC Med 2014;12:128.

6. Mulligan A, Hall L, Raphael E. Peer review in a changing world: an international study measuring the attitudes of researchers. J Am Soc Inf Sci Technol 2013;64:132-61.

7. Schroter S, Black N, Evans S, Carpenter J, Godlee F, Smith R. Effects of training on quality of peer review: randomised controlled trial. BMJ 2004;328:673-7.

8. Fuster V. A praise for reviewers: how do we reward them? J Am Coll Cardiol 2015;65:212-3.

9. Forward. Peer review: Sei domande aperte. https://forward.recentiprogressi.it/wp-content/uploads/2021/06/peerreview.pdf [ultimo accesso 5 novembre 2023].

10. Joanidis JPA, Berkwits M, Flanagin A, et al. Peer review and scientific publication at a crossroad. Call for reserach for the 10th International Congress on peer review and scientific publication. JAMA 2023;330:1232-5.

11. Jan Z. Recognition and reward system for peer-reviewers. October 2018. https://ceur-ws.org/Vol-2181/paper-06.pdf [ultimo accesso 5 novembre 2023].

12. Venkitasubramaniam P, Dahai A. Incentivizing anonymous “peer-to-peer” reviews. 2008 46th Annual Allerton Conference on Communication Control and Computing. https://www.lehigh.edu/~pav309/papers/VenkSahai_PeerReview_08Allerton.pdf [ultimo accesso 5 novembre 2023].

13. Publons, Clarivate Analytics. Philadelphia, PA; 2019. https://publons.com/about/home [ultimo accesso 5 novembre 2023].

14. Andonovski IA, Habdija ZP, Mrsa V. What can we do to improve the peer review system? A short survey of Food Technology an Biotechnology peer reviewers’ experience. Food Technol Biotechnol 2019;57:436-7.

15. Di Pasquale G, Maggioni G. Studi clinici per la malattia COVID-19: navigando tra speranze e illusioni in attesa di certezze. G Ital Cardiol 2020;21:479-82.

16. Venturelli A, Vitolo M, Albini A, Boriani G. How did COVID-19 affect medical and cardiology journals? A pandemic literature. J Cardiovasc Med 2021;22:840-7.