di Mauro Guerrini
Le trasformazioni nell'ambito della ricerca e della comunicazione scientifica attribuiscono oggi una grande rilevanza alla peer review, procedimento di lettura critica e proposta di miglioramento di un saggio da parte di uno o più revisori (referee) prima che esso sia pubblicato e raggiunga la comunità scientifica. Essa è diventata un elemento chiave dell'editoria accademica, con una ricaduta positiva sulla qualità della ricerca1. Il procedimento riguarda l'affidabilità di monografie in una serie editoriale, di articoli in una rivista (compresi articoli sperimentali, data papers, micro-pubblicazioni ecc.), di tesi dottorali e di progetti di ricerca. La valutazione o, meglio, il refereeing, di cui esistono diverse modalità, richiede, in genere, un parere sull'originalità, il rigore metodologico e l'impatto sulla comunità. La peer review contribuisce a rendere più trasparente il processo di pubblicazione dei risultati di una ricerca. Il tema è così rilevante che dal 2016 sono organizzate le peer review week, momenti importanti di confronto per la definizione di best practices.
La pratica ha origine de facto con la pubblicazione della prima rivista scientifica, Philosophical transactions, nel 1665 ed esisteva in precedenza all'interno della Royal Society2. Nel contesto umanistico italiano, entro cui si colloca LIS, Library and information science, la metodologia in chiave moderna è applicata dagli inizi del XXI secolo, mentre è esistita e sussiste una friendly review, ovvero la prassi di far circolare il proprio saggio tra colleghi, prima di completarlo e inviarlo all'editore.
Il procedimento della peer review interessa i testi a stampa e i testi digitali, ma la digitalizzazione ha favorito il refereeing, introducendo un nuovo metodo editoriale; il processo si caratterizza adesso per la tracciabilità dei numerosi passaggi: data di arrivo del testo, di affidamento in lettura, di arrivo del parere del revisore e del suo invio all'autore, del nuovo invio del testo corretto o di controdeduzioni al revisore per un altro giro di bozze. Sono passaggi così importanti che le date vengono dichiarate sulla prima pagina del saggio. La tracciabilità e la conservazione del workflow è un segno delle dinamiche della produzione scientifica e dei suoi meccanismi di filtraggio; e, inoltre, è importante come evidenza nel processo di valutazione delle riviste e perfino come strumento di supporto in caso di controversie legali in merito all'originalità del contributo. La gestione risulta onerosa quando si tratta di saggi redatti da giovani ricercatori o da autori non di madre lingua (molte riviste internazionali pubblicano in inglese), magari provenienti da paesi in via di sviluppo, verso i quali, afferma Peter Lor, «abbiamo la responsabilità di contribuire allo sviluppo della nostra disciplina o professione proprio utilizzando il processo di refereeing». Vi sono differenze anche all'interno della stessa tipologia di prodotto: monografie accademiche, di ricerca, professionali (manuali) dovrebbero essere sottoposte a tipologie diverse di refereeing perché hanno obiettivi diversi. Alessandro Pierno precisa:
ai revisori di un manuale dovrebbe essere chiesto di valutare anche il potenziale del volume in aula con studenti, non solo il contenuto scientifico del testo; ai referee di un sito scientifico la navigabilità dell'utente coinvolgendo, per esempio, esperti tecnici per assicurare che le interfacce web siano tecnologicamente conformi agli standard. Ancora sulle monografie la tanto acclamata double blind peer review non può funzionare bene, perché i revisori non possono non valutare anche la posizione dell'opera presentata nella più ampia produzione editoriale dell'autore stesso.
I revisori svolgono, pertanto, un ruolo decisivo nel processo decisionale che riguarda la pubblicazione di un contributo. Pierno ritiene che
la funzione (e la capacità) di un editore accademico di produrre e promuovere prodotti di qualità è (da sempre) tutta qui: dotarsi di linee guida standard di peer review in armonia con la propria mission, da adattare in base ad ambito, disciplina, serie, tipologia, progetto e prodotto editoriale, utilizzando come coefficiente la propria esperienza e la propria sensibilità editoriale. Credo poi che la stessa terminologia universalmente utilizzata di peer associata a review possa, in alcuni ambiti soprattutto, essere un po' fuorviante e per questo personalmente ho sempre preferito definire il processo come di referaggio o arbitraggio: refereeing appunto, di cui ho trovato e condivido questa bella definizione di Eugene Garfield, uno dei pionieri nel campo della scienza dell'informazione, del 1986: "Il refereeing è quel processo che ha lo scopo di assicurare che gli articoli presentati per la pubblicazione soddisfino gli standard accettati nei loro campi. Come l'editing, il refereeing è un complesso processo intellettuale, politico e sociale; coinvolge uno spettro d'attività che si fondono l'una nell'altra in modi complessi, in modo simile alla gamma di pratiche relative al ghostwriting"3.
Peter Lor rileva che
adesso c'è molta enfasi su di esso e il refereeing è talvolta più pedante che utile; la pedanteria deriva in parte dal desiderio degli studiosi di biblioteconomia, e in particolare di scienze dell'informazione, di acquisire una "rispettabilità scientifica". Vedo molti studi che rispettano meccanicamente tutti gli elementi prescritti per un saggio scientifico, ma non riescono a fornire un utile contributo scientifico. Negli Stati Uniti, dove i bibliotecari accademici cercano lo status di docenti, la pressione per pubblicare in riviste scientifiche "giuste" è alta, e ciò porta alla pubblicazione di molti saggi che non rispondono alla domanda "e quindi?".
Il refereeing tra pari è, dunque, un tema delicato e complesso, vario, rilevante, talora affrontato in maniera superficiale, con molte questioni metodologiche indefinite.
Le linee guida per la peer review ISO 22392:2020, Security and resilience – Community resilience – Guidelines for conducting peer reviews, non fanno direttamente riferimento all'ambito scientifico e letterario4. Pertanto, attualmente non esiste una normativa di riferimento a livello internazionale. Di conseguenza, i procedimenti sono dissimili da editore a editore e da rivista a rivista; migliaia, infatti, sono le schede di refereeing, ciascuna diversa dall'altra. Molte case editrici e riviste, nella loro policy, legano il processo della peer review alla dimensione etica che dovrebbe caratterizzare l'operato di ciascun protagonista.
La peer review, pertanto, cambia da paese a paese (vedi l'operato delle agenzie nazionali di valutazione), in base ai contesti (editore o rivista d'ambito bibliometrico o non bibliometrico), alle discipline o alle tipologie di prodotto.
La lingua in cui è scritto il saggio apre una questione importante; se, infatti, un articolo sulla catalogazione delle risorse cartografiche è redatto in italiano è difficile trovare un revisore specializzato; se l'articolo è in inglese la scelta è più facile. L'uso dell'inglese nella comunicazione scientifica ha dei vantaggi e degli svantaggi, in particolare per le aree HSS, in cui la ricerca si svolge molto su base nazionale5.
Il refereeing, pertanto, richiede tempo, competenza, equilibrio e responsabilità; un servizio alla comunità scientifica il cui impegno attende il giusto riconoscimento. Senza di esso, gli studiosi spesso rifiutano l'invito al referaggio e la qualità del saggio può non essere sempre garantita6. Alcune riviste partecipano a ReviewerCredits o servizi simili che certificano e premiano il refereeing con un voto ai revisori che alcune piattaforme, come OJS, permettono di dare7.
La redazione comprende il grado d'analiticità della peer review dalle domande o critiche del revisore, ovvero se nascono da ignoranza del tema o da competenza. Vi sono testi difficili nella scrittura dovuti alla complessità dell'argomento, alla laboriosità di un nuovo approccio, alla trattazione di una tematica innovativa, a limiti di scrittura dell'autore. Situazione opposta si ha quando un tema è consolidato: allora l'invito alla chiarezza è più giustificabile. Non si può, tuttavia, ridurre un saggio a un format espositivo, strutturato formalmente secondo cliché che rischiano di divenire vuoti contenitori. Vanno premiati il rigore della riflessione, l'esaustività delle fonti e la metodologia seguita; l'orizzonte è assai diverso in presenza di un saggio innovativo, di uno stato dell'arte o dell'esposizione lineare di un documento. La scientificità delle scienze umane, il principio e il criterio di verificabilità vivono di format diversi, specifici, che vengono costantemente reinventati.
Il primo aspetto da chiarire è che cosa s'intende per "pari"8: un saggio di un giovane ricercatore da chi deve essere valutato? Da un collega? Può essere affidato alla lettura di un docente ordinario? Un accademico può essere valutato da un professionista esterno all'accademia e viceversa?
Come individuare i revisori da parte della redazione? La selezione si rivela complicata se il tema discusso è innovativo o circoscritto. La scelta non è mai neutrale; riguarda la competenza scientifica sul tema e la disponibilità prevedibile del peer reviewer a investire il suo tempo in un refereeing che potrebbe comportare alcune verifiche di contenuto e di carattere bibliografico. Il problema si aggrava per i settori disciplinari delimitati per i quali è facile che il revisore riconosca l'autore. Il revisore potrebbe non essere imparziale, col rischio della "soggezione", del condizionamento nella formulazione del giudizio nei confronti di un autore conosciuto9. Il problema si avverte di meno per le riviste internazionali: è improbabile, infatti, che tutti gli esperti di un settore a livello mondiale si conoscano e, dunque, la selezione potrebbe ricadere su un revisore imparziale. Se, tuttavia, i revisori appartengono a contesti culturali differenti saranno in grado di cogliere gli elementi alla base del refereeing (innovatività, originalità, posizionamento nell'insieme della letteratura scientifica del settore ecc.) rispetto al contesto nazionale? Per gli autori dei paesi in via di sviluppo può esserci il rischio che prevalga un approccio "colonialista"?
Qual è esattamente il compito del revisore: quali aspetti di un contributo scientifico deve valutare?
Le raccomandazioni dal titolo Valutazione del manoscritto, approvate nel 2021 per le serie editoriali di Firenze University Press, invitano il revisore a:
i referee dovrebbero concentrarsi sul contenuto piuttosto che sulla forma linguistica; essi possono spingere il livello di analisi fino a quanto vogliono, seppure, comprensibilmente, alla redazione crei motivo di preoccupazione una revisione tanto radicale da richiedere un saggio completamente diverso.
Per Henry L. Roediger un revisore non dovrebbe aspettarsi che l'autore scriva l'articolo che egli avrebbe voluto scrivere.
Il revisore non è un recensore e tantomeno un censore; egli dovrebbe comprendere la prospettiva da cui si pone l'autore, che può non essere la sua; il suo è definibile un ruolo di collaboratore che richiede competenza settoriale e d'ampio raggio, nonché capacità d'ascolto. La sua lettura critica riguarda contenuto e forma. Egli segnalerà carenze della bibliografia o dati fattuali errati pretendendo la correzione, ma formulerà il suo dissenso circa la prospettiva del saggio in un suo contributo di risposta a quello valutato, non approfitterà del suo ruolo per bocciare l'articolo. Prima di essere un revisore, egli è uno studioso che si confronta e prova a comprendere origini, fonti, metodologia, coordinate interdisciplinari di un lavoro di ricerca che può avere un orizzonte diverso dal suo.
Un saggio di carattere storico e teorico in cui l'autore riprende molti contributi in varie lingue, ma non contestualizza né cita le fonti primarie affidandosi a citazioni di citazioni denota una superficialità inammissibile. È forse proprio questa capacità di percezione della metodologia con cui è scritto un saggio che dovrebbe caratterizzare il lavoro del revisore; il suo stile dovrebbe essere di ricerca e di lettura in profondità; egli è un partner fondamentale della rivista nel fare emergere le potenzialità di un contributo.
Come dovrebbe comportarsi la redazione in caso di parere diverso tra due revisori? In caso di mancata accettazione da parte dell'autore delle proposte di modifica? In caso di pareri formulati in modo frettoloso, generico, non pertinente?
Per CCQ, per esempio, i revisori hanno il compito di suggerire modifiche e la rivista ritiene che i criteri stabiliti non siano né inclusivi né esclusivi; ciascuno può sentirsi libero di introdurre altri criteri che potrebbero essere applicati. Ogni articolo dovrebbe essere valutato in base ai propri meriti. Sandy Roe dichiara di fare ogni sforzo per assegnare esperti con esperienza nell'argomento trattato;
di conseguenza prendo sul serio i commenti dei referee e mi aspetto che lo faccia anche l'autore. La politica di CCQ è che l'autore deve rispondere ai commenti dei referee (oltre a rivedere il proprio articolo, supponendo che il saggio non venga rifiutato); gli autori devono essere espliciti su come hanno o non hanno considerato ogni commento. L'autore può dissentire dal parere dei referee. La maggior parte dei disaccordi tra autore e referee è legata alla completezza o all'ambito: il referee indica che l'autore non ha recensito la letteratura pertinente, o non ha trattato l'argomento in modo sufficientemente approfondito, o non ha organizzato il suo articolo nello stile tradizionale di un saggio di ricerca o addirittura ha omesso una delle sezioni tipiche di un saggio scientifico: introduzione, rassegna degli studi, metodo, risultati, discussione, conclusione. Non è raro che i giovani autori evitino questa struttura e parlino dei loro risultati in tutto l'articolo, evitando una conclusione riassuntiva. Se il referee evidenzia una modifica minima, in genere non invierò di nuovo il testo rivisto, ma valuterò il refereeing da sola. Se l'autore, invece, interviene su un punto importante, in genere invio il testo rivisto ai referee per un'altra tornata di verifica. Ho inviato raramente un articolo per un terzo ciclo di referaggio: ciò è un segnale che qualcosa non va; forse uno dei referee non era disponibile e quindi un nuovo referee ha evidenziato problemi che non sono stati affrontati dal primo giro di refereeing, o l'autore si dimostra incapace di portare l'articolo a un livello pubblicabile nonostante gli sforzi dei referee e miei; il rifiuto si rivela, in questi casi, l'opzione migliore. Taylor & Francis hanno tenuto un seminario sul refereeing per gli editori di riviste nella primavera del 202110. Una terza tornata di revisione è stata scoraggiata. Il processo, pertanto, è delicato e il parere rischia talora di essere personalizzato creando un conflitto in parte sul metodo, in parte sul merito.
La peer review viene interpretata come un processo di refereeing di contributi mentre dovrebbe rientrare tra le attività di valorizzazione e condivisione di un saggio in cui il revisore potrebbe essere una specie di ghostwriter, come scrive Garfield; in un referaggio aperto, il suo nome potrebbe essere registrato in un catalogo, in una bibliografia o in una banca dati come contributore, ovvero come co-responsabile intellettuale del saggio, se il grado delle correzioni è significativo. Con la valorizzazione dell'attività, il refereeing potrebbe diventare la chiave di volta per l'affermazione della collaborative science11.
Negli anni il processo sembra essere migliorato. Nel 2021, per esempio, la FUP ha elaborato il Cloud dei reviewer che definisce un insieme di servizi per riconoscere e valorizzare il lavoro intellettuale dei revisori, come la pubblicazione della Lista dei referee, la certificazione dell'attività di refereeing, l'invio del volume pubblicato ai revisori.
Non mancano le critiche; Steinar Risnes afferma:
L'impressione che il sistema attuale dà della qualità e obiettività, con i suoi redattori e referee anonimi, è in parte un'illusione. La base per la decisione sui manoscritti da pubblicare è troppo sottile e l'equilibrio di potere è troppo irregolare12.
Molte questioni sono state stimolate dall'espandersi dell'editoria ad accesso aperto e dal problema delle riviste predatorie.
Nell'ultimo decennio la comunità della ricerca ha ipotizzato modelli aperti13, ma nonostante la sempre più diffusa pubblicazione di policies da parte degli editori e delle riviste scientifiche, manca ancora una riflessione internazionale comparata sulla peer review. Si potrebbe cominciare da una riflessione su base nazionale: un articolo che esce su una rivista americana ha una struttura diversa da quella che può avere in riviste di altri paesi; o all'interno dei settori disciplinari, i quali hanno pratiche di scrittura diverse.
Una procedura concepita per migliorare la qualità dei contributi rischia di trasformarsi, in alcuni contesti, in un metodo che giustifica la loro pubblicazione come una necessità formale, con decisione demandata ai revisori. Occorre riflettere, dunque, con ulteriore attenzione circa i criteri con cui la redazione sceglie i revisori, sul loro compito, sul comportamento della redazione nel valutare i pareri formulati, soprattutto quando siano divergenti e quando siano accolti solo parzialmente dall'autore. A volte, invece, sembra che le redazioni siano disposte a pubblicare un saggio solo a condizione che l'autore apporti integralmente le modifiche formulate dai revisori: un diktat?
Il tema della peer review pone il problema decisivo di chi determini la politica editoriale di una rivista e di una serie: il direttore e la redazione o i revisori? Non si rischia di passare, cioè, da Sua Maestà l'autore (magari un po' presuntuoso: guai a togliere una virgola da un suo saggio) e da Sua Maestà il direttore (decide a suo piacimento cosa pubblicare) a Sua Maestà il revisore infallibile per definizione? Non vi è il rischio di una delega delle scelte al revisore e, quindi, di una deresponsabilizzazione della redazione?
Un quesito su cui riflettere.
Ultima consultazione siti web: 15 novembre 2021.
Grazie a Pierluigi Feliciati, Franco Neri e, in particolare, a Rossana Morriello con cui mi sono confrontato per la preparazione del contributo. Lo scritto rispecchia la mia esperienza di direttore di rivista e di serie editoriale, nonché di revisore di saggi e progetti per conto di riviste ed enti. Ho chiesto il parere di alcuni colleghi (Alessandro Pierno, Sandy Roe e Peter Lor) per condividere il loro punto di vista, in funzione del loro ruolo di responsabili di riviste e serie editoriali a cui sono vicino. Data la sede in cui il contributo esce, le citazioni bibliografiche sono essenziali.