di Maria Cassella
Doing open peer review means we will almost never be harsh in our reviews;
this does not mean we will not be rigorous in assessing the quality of a paper,
but we will be more constructive and supportive in offering the author our feedback.
(Bali, 2015)
In questo articolo ci occuperemo di revisione paritaria aperta (open peer review), un tema già discusso e dibattuto nella letteratura internazionale sulla comunicazione scientifica da alcuni anni, ancora poco noto in Italia1. È stato uno dei molteplici filoni di riflessione del terzo convegno annuale dell'Associazione italiana per la scienza aperta (AISA) a ottobre 2017 e della "non conferenza" (unconference) dedicata all'editoria accademica aperta, ospitata dall'Università di Roma Tre nel maggio 2017 e organizzata dall'editore open access OpenEdition.
Di fatto, il tema dell'open peer review matura con la tecnologia (il canale digitale e il web sociale) e nel contesto dell'open science (scienza aperta).
Già nel lontano 1998 uno dei fondatori e tra i principali esponenti del movimento sull'accesso aperto, Stevan Harnad, aveva riflettuto sulla possibilità di pubblicare in rete insieme all'articolo i giudizi dei revisori. Una proposta sovversiva per l'epoca ma anche estremamente lungimirante: «Referee reports can be revised, published and linked to the published article as commentaries if the referee wishes; so can author rebuttals»2.
Parallelamente, la visione e le pratiche dell'open science hanno contribuito a diffondere l'idea della condivisione e della collaborazione in rete. La scienza aperta ha inglobato le istanze di consolidati movimenti di idee come quello dell'open source e dell'open access e ha investito nuovi domini: quello dei dati della ricerca, quello della didattica e dell'e-learning, quello della valutazione della ricerca.
È così che, in modo formale nel contesto editoriale, in modo informale nella comunicazione tra gli invisible colleges, sulle piattaforme online e sui social network si stanno evolvendo non solo le modalità di disseminare e condividere la scienza, ma anche quelle di valutarla: le altmetrics si propongono come metriche complementari alla bibliometria e la revisione tra pari di tipo tradizionale (blind peer review) è in parte sostituita, in parte affiancata dalle diverse tipologie di revisione paritaria aperta (open peer review).
Nell'annoso dibattito tra sostenitori e detrattori della bibliometria3 emerge sempre con forza il tema della qualità e la consapevolezza che la valutazione qualitativa, se rigorosamente applicata, è la migliore metodologia atta a valutare la ricerca. Di fatto, la valutazione qualitativa esercitata attraverso la revisione tra pari (peer review) è la metodologia di valutazione preferita negli esercizi di valutazione, per la revisione di articoli e di monografie di ricerca, nei concorsi a cattedra di prima e seconda fascia, per la valutazione dei progetti di ricerca.
In Gran Bretagna, ad esempio, l'ultimo esercizio di valutazione (il Research exercise framework) è stato centrato sulla peer review: la qualità dei prodotti della ricerca ha avuto un peso pari al 65%, ma grande importanza è stata attribuita anche alla valutazione dell'impatto sociale della ricerca.
Anche in Italia, secondo quanto previsto dall'articolo 3, comma 2b del d.p.r. 1/2/2010, n. 76 istitutivo dell'Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR), la valutazione dovrebbe essere svolta prevalentemente tramite peer review4.
Ciononostante nella VQR 2011-2014 la valutazione dei prodotti è stata basata sulla bibliometria per le scienze dure5; nelle scienze sociali e umane è stato utilizzato, invece, in modo prevalente il metodo dell'informed peer review ovvero della valutazione tra pari abbinata a una classificazione delle riviste ottenuta per via non bibliometrica.
In concreto, quindi, in svariati contesti valutativi, la peer review cede il passo alla bibliometria. Esistono, infatti, dei limiti, di natura pratica e concettuale, all'utilizzo diffuso della peer review nella valutazione della ricerca.
Tra i limiti pratici va ricordato quello della sostenibilità del processo di revisione a fronte del numero crescente di articoli pubblicati6.
In campo scientifico è la progressiva specializzazione della scienza a rendere critica la gestione della peer review. Le riviste scientifiche, molte delle quali altamente specializzate, possono contare su un numero sempre più ristretto di revisori realmente competenti.
Sotto il profilo concettuale esistono riserve sul giudizio di qualità espresso dai revisori secondo il modello tradizionale della peer review anonima (di tipo single blind o double blind). Una serie di fattori possono, infatti, inficiare il giudizio tra pari: i conflitti di interesse, sia personali che tra scuole di pensiero e gruppi di ricerca, il bias di genere e quello geografico.
Il rischio maggiore è relativo alla valutazione del pensiero innovativo. La scienza segue le correnti mainstream; gli argomenti di nicchia o gli approcci radicalmente nuovi tendono a essere rifiutati in prima battuta dal mondo accademico7.
Nelle scienze umane è il pluralismo epistemologico8 che può compromettere l'efficacia del giudizio tra pari. In queste discipline, infatti, scrive Lorenzo Magris, «l'impossibilità di stabilire la veridicità di una proposizione e un criterio per selezionare, tra diverse e concorrenziali modalità atte a descrivere un fenomeno, quella migliore, rendono inevitabile un pluralismo paradigmatico.»
La peer review anonima rivela i suoi limiti anche quando viene applicata alla valutazione dei bandi di ricerca. È costosa e poco stabile nei risultati, «porta ad una distorsione sistematica in favore dei programmi di ricerca tradizionali e contro i programmi di ricerca di minoranza, con il risultato di soffocare nuove idee e di conseguenza inibire l'innovazione»9.
Si aggiunga la complessità generale del tema della valutazione qualitativa della ricerca. Il concetto di "qualità della ricerca" segue, infatti, regole e canoni diversi secondo i contesti disciplinari e muta nel tempo poiché «variano nel tempo anche i criteri [di valutazione] adottati dalle singole discipline»10. Come scrive Alberto Baccini, «la logica del giudizio di qualità è del tutto interna ad una disciplina, ovvero ad una (relativamente) ristretta comunità di pari»11. Sovente, se i criteri di valutazione vengono esplicitati, e non sempre lo sono, il giudizio di qualità prende in esame criteri più formali che sostanziali come, ad esempio, il livello di accuratezza e di approfondimento di un argomento.
L'open peer review consente di superare alcuni dei limiti sopra esposti.
Non esiste una definizione univoca di open peer review (o open review). Nella sua monografia sull'accesso aperto, Peter Suber descrive l'open review nel modo seguente:
Open review makes submissions OA [open access], before or after some prepublication review, and invites community comments. Some open-review journals will use those comments to decide whether to accept the article for formal publication, and others will already have accepted the article and use the community comments to complement or carry forward the quality evaluation started by the journal12.
Recentemente, nell'ambito di una ricerca finanziata dal progetto europeo OpenAIRE, Tony Ross-Hellauer ha individuato nella letteratura internazionale ben centoventidue definizioni di open peer review13 riconducibili a una molteplicità di modelli di revisione paritaria aperta.
Emily Ford, ad esempio, elenca otto diverse tipologie di open peer review14, mentre Ross-Hellauer ne individua sette15:
Abbiamo esaminato in precedenza quali sono i limiti delle forme tradizionali di revisione (single e double-blind).
Quali sono, di contro, i vantaggi di adottare un sistema di revisione aperta?
In primo luogo, grazie alla pubblicazione dei reports e/o dei commenti in rete, sussiste una totale trasparenza del processo di revisione.
Secondo, i tempi del processo di revisione si mantengono rigorosi e molto più veloci: «Perhaps the most convincing pro argument for OPR [open peer review] asserts that OPR processes allow for quicker publication and dissemination of scientific findings»19.
Il workflow di pubblicazione diventa sostenibile anche rispetto alla crescente mole di articoli da valutare, in quanto un articolo rifiutato, teoricamente, non potrebbe più essere sottoposto a una seconda rivista.
I report sono pubblici e i contenuti diventano riutilizzabili: «the main benefits of this measure [open reports] is in the making available for re-use of currently invisible but potentially useful scholarly information»20.
Da ultimo ma non per ultimo, i revisori possono vedere riconosciuto pubblicamente e apprezzato il proprio lavoro.
Questo è, secondo chi scrive, uno dei principali nodi da risolvere per raggiungere una valutazione quanto più possibile olistica dell'attività intellettuale del singolo ricercatore, ma anche per garantire all'editoria accademica la disponibilità di un numero adeguato di revisori.
Non mancano nel mondo dell'editoria scientifica forme piuttosto blande di riconoscimento del lavoro dei revisori.
Ad esempio, alcune riviste open access (Veruscript e Collabra)21 scelgono di ricompensare le revisioni effettuate assegnando ai revisori dei crediti per pubblicare; altre riviste (Molecular ecology)22 pubblicano un elenco dei migliori revisori dell'anno. Altre ancora (Digital medievalist) citano in un colophon i nomi dei revisori dell'articolo.
Nel 2015 un'indagine relativa alla peer review condotta dall'editore Wiley su circa 3.000 ricercatori aveva messo in evidenza come il tema del riconoscimento del lavoro di revisione sia decisamente sentito tra le comunità di ricerca23.
As of today, peer review is poorly acknowledged by practically all research assessment bodies, institutions, granting agencies, as well as publishers. Wiley's survey reports that 80% of researchers agree that there is insufficient recognition for peer review as a valuable research activity and that researchers would actually commit more time to peer review if it became a formally recognized activity for assessments, funding opportunities, and promotion24.
Per affrontare il problema del riconoscimento sono state lanciate di recente nuove piattaforme digitali di aggregazione dei contenuti e delle revisioni. Un esempio a noi geograficamente vicino è quello di Reviewer credits25.
Concepita da due ricercatori dell'Università Milano Bicocca, si tratta di una banca dati di revisori, di articoli e di revisioni: «il meccanismo mediante il quale vengono accettate e poi pubblicate le peer review online è certificato, scientificamente solido, aperto, trasparente»26.
Reviewer credits incorpora il Reviewer index, uno strumento realizzato per contare il numero di revisioni effettuate e certificate e quantificare così il lavoro degli scienziati.
Come Reviewer credits anche Publons27 pubblica revisioni28. La piattaforma offre dei meccanismi semi-automatici per assegnare dei crediti per le revisioni e mantiene una classifica annuale dei migliori e più assidui revisori.
Una forma di riconoscimento indiretto viene realizzata anche dalle piattaforme di pubblicazione F1000Research e Science open che utilizzano un DOI per identificare le revisioni, rendendole così più facilmente tracciabili e citabili.
Rendendo pubblico il lavoro di revisione si consolida, quindi, il credito e il riconoscimento per i revisori.
Oltre alla trasparenza, alla velocizzazione dei tempi di revisione e al riconoscimento per i revisori, l'open peer review offre numerosi altri vantaggi. Boldt e Pöschl29, ad esempio, sostengono che sia più semplice identificare i casi di plagio, Ford sottolinea come l'open peer review rafforzi la relazione e lo scambio di idee tra autori, revisori e comunità di pratica:
when combining into one process multiple open peer review characteristics - editor mediation, crowd-sourcing and disclosure - open peer review can enable discussions between reviewers, authors and an entire community30.
Maharg e Duncan sostengono che tra i vantaggi dell'open peer review vi è anche quello di rendere più democratico il giudizio tra pari annullando di fatto le distinzioni gerarchiche tra accademici di prima fascia e ricercatori31.
Il cambio di prospettiva a favore dell'open peer review potrebbe anche implicare che, in futuro, le revisioni possano essere inserite nei curricula32 come titoli per l'avanzamento nella carriera accademica:
In spite of this the outcome is most likely to be dependent on whether funding agencies and those in charge of tenure, hiring and promotion will use peer review activities to help evaluate candidates33.
Infine, alcuni studi sembrano dimostrare una superiore valenza qualitativa dell'open peer review rispetto al modello tradizionale.
Ad esempio, Lutz Bornmann et al. prendono in esame il caso della rivista open access Atmospheric chemistry and physics (ACP) che dal 2001 adotta un sistema di revisione paritaria aperta.
Gli autori riescono a dimostrare che gli articoli pubblicati da ACP dopo il processo di revisione aperto si collocano tra quelli più citati nell'ambito scientifico della chimica atmosferica34
.
Nel 2015 anche Biomed Central, editore open access del segmento biomedico, realizza uno studio comparativo per valutare la qualità dei report forniti secondo i due principali modelli di revisione tra pari: quello tradizionale "cieco" adottato dalla rivista BMC microbiology e quello aperto adottato dal titolo BMC infectious diseases. Lo studio aveva preso in esame i giudizi realizzati da duecento revisori per ciascuna delle due riviste. I risultati dimostrano che la qualità dei report prodotti dai revisori secondo il modello aperto era più elevata che non quella dei report pubblicati secondo il modello di revisione anonimo.
Infine, Daniel Herron realizza un modello matematico che dimostra che l'accuratezza del modello di open participation è superiore a quella di un numero esiguo di revisioni, a fronte però di un numero di commenti pari o superiore ai cinquanta35.
Ulteriori ricerche dimostrano la superiorità della qualità formale dell'open peer review: le revisioni pubblicate in rete sono più lunghe e accurate.
Bormann, Wolf e Hans-Dieter, ad esempio, conducono un'analisi linguistica parallela sulle revisioni effettuate da due riviste di chimica, la prima - Atmospheric chemistry and physics (ACP) - che rende pubblici i report dei revisori in uno spazio di discussione aperta, la seconda - Angewandte Chemie - che utilizza un sistema di revisione cieco.
I risultati dell'analisi dimostrano che i commenti elaborati dai revisori secondo il modello della revisione paritaria aperta sono caratterizzati da un superiore stile cognitivo. Il processo di revisione ne beneficerebbe risultando nel complesso più elaborato e curato.
To summarize, the language patterns indicate that Public Peer Review (PPR) and ACP adds a new quality to the peer review process. In our study, the language use in PPR was characterized by a more open and tentative as well as cognitively elaborated style as compared to Closed Peer Review (CPR). This might be due to the fact that the reviews are open to the interested audience and thus themselves subject to evaluation. This might lead to a more careful and elaborated peer review process36.
Altri studi danno, in realtà, risultati meno favorevoli. Ad esempio, Van Rooyen, Delamothe ed Evans dimostrano che la peer review aperta conduce a un elevato tasso di rifiuto da parte dei revisori, non influisce in modo sensibile, né in negativo, né in positivo, sulla qualità dei report, ma concludono che «the ethical arguments in favour of open peer review more than outweigh these practical disadvantages»37.
Le analisi sopra descritte non esprimono ancora un verdetto definitivo. Non esiste, ad oggi, una massa critica di articoli pubblicati secondo i modelli aperti di revisione paritaria; gli studi fino ad oggi realizzati sono stati curati per lo più dai sostenitori dell'open peer review e tendono a dimostrare l'efficacia e il valore aggiunto del modello.
È ragionevole immaginare che l'accuratezza formale di ciò che viene pubblicato in rete spinga i revisori a una maggiore attenzione nello svolgimento del proprio lavoro. Tuttavia l'accuratezza formale è, o dovrebbe essere, solo uno dei parametri di valutazione del giudizio di qualità.
Anche l'equazione proposta da Bornmann et al. tra citazioni e qualità è contestata da parte degli studiosi che assumono posizioni critiche verso la bibliometria38.
Tuttavia, sotto un profilo più generale, va riconosciuto che le pratiche e i modelli dell'open science migliorano diversi aspetti della comunicazione scientifica. L'open peer review e il dibattito che ne è scaturito in seno alle comunità di ricerca favoriscono un innalzamento della qualità complessiva del processo di revisione, anche qualora si adottino modelli non aperti, e un livello più elevato di accuratezza e coerenza formale.
Nonostante i vantaggi sopra discussi, come tutte le pratiche della scienza aperta in fase di sperimentazione, anche l'open peer review non è esente da critiche e presenta alcuni limiti.
La principale perplessità espressa dalle comunità scientifiche riguarda il modello dell'open identities39: la revisione cieca (blind review), infatti, offrirebbe ai revisori una maggiore libertà nell'esprimere le proprie opinioni e argomentazioni scientifiche: «vi sono posizioni contrarie all'open peer review [...] l'anonimato è l'unica barriera che renderebbe i revisori liberi di esprimere giudizi poggiati esclusivamente sulle evidenze scientifiche»40.
Non meno sensata appare la critica di chi sostiene che l'open peer review è efficace per migliorare gli articoli di medio e buon livello. Creerebbe, invece, maggiori problemi nel caso un revisore debba rifiutare e/o criticare pubblicamente tesi e articoli di livello insufficiente o mediocre.
«Tuttavia» - scrive Bonaria Biancu nel suo intervento a Milano al convegno dell'Associazione Biblioteche oggi - «non esiste altra soluzione se non quella di migliorare il processo, incoraggiare i giovani ricercatori ad accettare la sfida [...], aiutare le riviste ad irrobustire la procedura di referaggio»41.
La terza obiezione critica viene rivolta alle tipologie di revisione paritaria aperte alla collaborazione in rete (open participation). Non sempre, infatti, gli articoli pubblicati in rete riescono a catturare l'attenzione dei potenziali revisori o a suscitare un dibattito pubblico sui temi proposti.
Infatti, nonostante l'ampia diffusione di alcuni temi, prevalentemente quelli di pertinenza dell'ambito umanistico e delle scienze sociali, non è immediato, né scontato ricevere commenti per gli articoli pubblicati in rete. Solo gli argomenti mainstream danno una certa garanzia in merito alla partecipazione alla discussione. Una soluzione proposta è quella di invitare gli esperti di una materia o di un tema a intervenire42.
Nel caso si scelga di aprire la revisione ai commenti della rete emerge un quarto tema, decisamente più delicato e rilevante nella discussione sulla valutazione, e cioè quello della robustezza scientifica dei commenti "postati" in rete: «crowd-sourcing is problematic in that the validity of crowd-sourced reviewers' merits could be questioned»43.
Più che configurarsi come una vera e propria revisione tra pari, la revisione aperta prende, in questo caso, la forma di una discussione in rete e viene utilizzata in modo parallelo e complementare a forme di revisione più tradizionali44.
È altresì possibile selezionare i revisori attraverso la richiesta di credenziali che dimostrino la loro appartenenza al mondo accademico (ad esempio, l'esistenza di un profilo ORCID); in questo caso la revisione, pur essendo aperta, viene ricondotta nel perimetro ristretto dei pari.
Un esempio di revisione pubblica secondo il modello dell'open participation viene offerto dalle pubblicazioni di MediaCommons Press, la casa editrice che, negli anni, lo ha sperimentato per alcune monografie e numeri di riviste. È il caso dell'esperimento di open crowd review lanciato per un fascicolo speciale della rivista Postmedieval dedicato alla comicità medievale. Di fatto, i sei articoli selezionati per il numero erano già stati accettati dal curatore (editor) per la pubblicazione45. L'open crowd review è concepita come un secondo livello di revisione, esterna al circuito editoriale e non formale, il cui scopo è aiutare gli autori (e gli editori) a rafforzare le proprie pubblicazioni sotto il profilo metodologico e teorico.
L'invito a partecipare alla revisione aperta è rivolto a un ampio pubblico di amatori e professionisti, specialisti e non.
Simile e ancora più recente è l'esperimento della studiosa statunitense Kathleen Fitzpatrick il cui ultimo libro, Generous thinking: the University and the Public good, è accessibile in bozza in rete e pubblicamente commentabile46.
La scelta di aprire il testo ai commenti della rete si inserisce sempre in un percorso editoriale concepito congiuntamente dall'autore e dall'editore e realizzato ad hoc. Per la monografia accademica di ricerca, raramente sottoposta al giudizio dei pari, l'open participation incarna un modello di revisione estremamente funzionale; consente, infatti, di sottoporre i singoli capitoli di una monografia a uno scambio di riflessioni e approfondimenti. L'accesso aperto alla pubblicazione è il prerequisito essenziale di queste sperimentazioni.
In Italia un esperimento di revisione paritaria aperta è stato proposto dal Bollettino telematico di filosofia politica nel maggio 2017 per due articoli pubblicati dalla rivista sul tema della valutazione della ricerca47.
Appare evidente che per potersi affermare l'open peer review deve riuscire ad affrontare alcune sfide.
Come sovente accade nel mondo digitale, la sfida più semplice è quella della tecnologia che continua a evolversi. Nel 2015, ad esempio, nell'ambito del progetto europeo OpenAIRE è stato bandito un concorso per selezionare soluzioni tecnologiche innovative per la sperimentazione dei modelli di revisione paritaria aperta. Vincitrice del bando è risultata la piattaforma aperta The Winnower, in grado di gestire la review post-pubblicazione.
Meno semplice è sollecitare il cambiamento culturale che può condurre alla diffusione dei diversi modelli di revisione paritaria aperta. Tutte le comunità scientifiche possono trarre benefici dall'adozione di modalità di revisione aperta ma ognuna dovrà trovare un suo modello funzionale di open peer review.
Anche il livello di adozione degli strumenti dell'open science varierà tra una comunità di ricerca e un'altra e all'interno della stessa comunità.
I ricercatori che sono più inclini a sostenere il paradigma della scienza aperta appaiono anche più favorevoli a sperimentare le diverse forme di revisione paritaria aperta. È quanto emerge, ad esempio, dall'indagine sull'open peer review realizzata nel 2016 nell'ambito del progetto europeo OpenAIRE alla quale hanno risposto più di tremila tra curatori, autori e revisori48.
Quello che sembra ragionevole immaginare per il prossimo futuro è, da un lato, una crescita non uniforme delle diverse tipologie di open peer review che affiancheranno i modelli più tradizionali di revisione tra pari. D'altro canto è verosimile immaginare che diverse funzioni nella comunicazione scientifica vengano a scindersi dal contenuto, lasciando spazio alla progressiva affermazione di piattaforme digitali dedicate all'offerta di servizi editoriali avanzati: dalla revisione di articoli e monografie, alla misurazione e valutazione attraverso l'utilizzo delle webmetrics e delle altmetrics, fino alla conservazione digitale.
Ultima consultazione siti web: 4 aprile 2018.
[1] In italiano alcuni contributi sulla revisione paritaria aperta di Maria Chiara Pievatolo sono pubblicati sul Bollettino telematico di filosofia politica, https://btfp.sp.unipi.it/it/tag/open-peer-review/.
[2] Stevan Harnad, The invisible hand of peer review, «Nature», 5 November 1998 [shorter version], http://helix.nature.com/webmatters/invisible/invisible.html.
[3] È impossibile dare conto della vastissima letteratura sul tema della bibliometria. Numerosi i contributi e documenti che mettono in evidenza i limiti degli indici bibliometrici. Tra gli altri: Yves Gingras, Les dérives de l'évaluation de la recherche. Du bon usage de la bibliométrie. Paris: Raisons d'agir éditions, 2014.
In Italia per una panoramica sui limiti della bibliometria si leggano: Alberto Baccini, Valutare la ricerca scientifica: uso e abuso degli indicatori bibliometrici. Bologna: Il Mulino, 2010. Sui limiti della bibliometria applicata alle scienze umane e sociali: Chiara Faggiolani; Giovanni Solimine, La valutazione della ricerca, la bibliometria e l'albero di Bertoldo, «AIB studi», 52 (2012), n. 1, p. 57-63, http://aibstudi.aib.it/article/view/6290; Paola Galimberti, Le citazioni nelle scienze sociali ed umane: qual è il problema?, «ROARS», 30 dicembre 2011, https://www.roars.it/online/le-citazioni-nelle-scienze-sociali-ed-umane-qual-e-il-problema/; Paola Galimberti, Valutazione e scienze umane: limiti delle attuali metodologie e prospettive future, «Astrid rassegna», 191 (2013), http://eprints.rclis.org/20773; Alberto Baccini, L'ANVUR e la valutazione nelle scienze umane e sociali, «ROARS», 9 gennaio 2012, https://www.roars.it/online/lanvur-e-la-valutazione-nelle-scienze-umane-e-sociali/; Antonio Banfi, Apples and oranges? Spunti per una discussione sulla valutazione della ricerca nelle scienze umane e sociali, «ROARS», 24 agosto 2012, https://www.roars.it/online/apples-and-oranges-sulla-valutazione-della-ricerca-nelle-scienze-umane-e-sociali/. Sulle problematiche delle banche dati WoS e Scopus anche il recente articolo di Nicola De Bellis, Shut up and dance: l'universo morale della bibliometria tra principi universali e banalità del fare, «ESB Forum», 21 febbraio 2017, http://www.riccardoridi.it/esb/fdo2016-debellis.htm#2.
Dichiarazioni e manifesti:
Institut de France. Académie des sciences, On the proper use of bibliometric to evaluate individual researchers. Report presented on 17th january 2011 to the Minister of higher education and research, 2011, http://www.academie-sciences.fr/pdf/rapport/avis170111gb.pdf.
A dicembre 2012 alcuni editori e ricercatori riunitisi in un convegno a San Francisco hanno firmato e pubblicato la San Francisco Declaration On Research Assessment (DORA)
Il Leiden Manifesto for research metrics, pubblicato nel 2014 http://www.leidenmanifesto.org/ mette in guardia contro l'abuso degli indici bibliometrici. Sul Leiden Manifesto si leggano: Diane Hicks [et al.], Bibliometrics: The Leiden Manifesto for research metrics, «Nature», 520 (2015), n. 7548, p. 429-431, https://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351; in italiano l'articolo di Chiara Faggiolani, Contro le unanticipated consequences della valutazione quantitativa della ricerca: il Leiden Manifesto for research metrics, «AIB studi» 55 (2015), n. 3, p. 427-438 e quello di Simona Turbanti, Un Manifesto contro l'"ossessione della misura", «Biblioteche oggi», 54 (2014), n. 6, p. 19-22.
Tra i pochi contributi favorevoli alla bibliometria, anche nella sua applicazione alle scienze umane e sociali: Andrea Bonaccorsi, Potenzialità e limiti dell'analisi bibliometrica nelle aree umanistiche e sociali: verso un programma di lavoro, 2012, Andrea Bonaccorsi, Ancora sulla valutazione nelle aree umanistiche e sociali. In: Valutare la ricerca? Capire, applicare, difendersi, a cura di Paolo Miccoli, Adriano Fabris. Pisa: ETS, 2012; Maria Cassella, Bibliometria si, bibliometria no: la valutazione della ricerca nelle scienze umane e sociali al bivio, «AIB studi» 54 (2013), n. 2 /3, p. 295-304.
[4] L'articolo recita: «Costituiscono tra l'altro oggetto della valutazione di cui alla lettera a) del comma 1: a) [omissis]; b) la qualità dei prodotti della ricerca, valutati principalmente tramite procedimenti di valutazione tra pari.»
[5] Si tratta delle aree 1-8ing, 9 e 11psi. I GEV (gruppi di esperti di valutazione) che hanno utilizzato per la valutazione gli indicatori bibliometrici hanno selezionato un campione casuale di dimensione pari a circa il 10% degli articoli valutati bibliometricamente e li hanno sottoposti alla valutazione tra pari. Gli esiti di questo confronto sono stati pubblicati dall'ANVUR nel documento: Il confronto tra valutazione peer e valutazione bibliometrica, 2017, http://www.anvur.it/rapporto-2016/parteQuattro/AppendiceB_Confronto_peer_review.pdf.
[6] Ad esempio, secondo quanto scrive Michael Malinconico, il numero di nuovi titoli di riviste pubblicati annualmente aumenta di più del doppio ogni sette anni. Cfr. Michael Malinconico, Biblioteche digitali: prospettive e sviluppo, «Bollettino AIB», 38 (1998), n. 3, p. 275-301, http://bollettino.aib.it/article/view/8394/7498.
[7] Eclatante è il caso del premio Nobel Albert Einstein, descritto da Francesco Sylos Labini. Nel 1905 Einstein aveva pubblicato sulla rivista Annalen der Physik quattro lavori, compreso quello nel quale il fisico aveva introdotto la teoria della relatività. Quest'ultimo articolo non seguiva nessun canone accademico, non citava alcuna letteratura. Oggi un articolo di questo genere difficilmente sarebbe valutato positivamente in un percorso di revisione tra pari. Cfr. Francesco Sylos Labini, Rischio e previsione: cosa può dirci la scienza sulla crisi. Roma; Bari: Laterza, 2016.
[8] Lorenzo Magris, La concorrenza nella ricerca scientifica: il caso dell'economia. Milano: Bompiani, 2012, p. 67.
[9] F. Sylos Labini, Rischio e previsione cit., p. 168.
[10] Maria Teresa Biagetti, Valutare la ricerca nelle scienze umane e sociali. Milano: Editrice bibliografica, 2017, p. 32.
[11] Alberto Baccini, Valutare la ricerca scientifica: uso ed abuso degli indicatori bibliometrici. Bologna: Il Mulino, 2010, p. 41.
[12] Peter Suber, Open access. Cambridge: The MIT Press, 2012, p. 104.
[13] Tony Ross-Hellauer. What is open peer review? A systematic review, «F1000Research», Version 2, 31 August 2017, https://f1000research.com/articles/6-588/v2. Il dataset delle centoventidue definizioni di open peer review individuate da Ross-Hellauer è liberamente scaricabile da Zenodo alla URL: https://zenodo.org/record/438024#.WsNC9ohuaUk.
[14] Più precisamente Ford elenca come tipologie di open peer review: signed review, disclosed review, editor-mediated review, transparent review, crowdsourced review, prepublication review, synchronous review e post-publication review. Cfr. Emily Ford, Defining and characterizing open peer review: a review of the literature, «Journal of scholarly publishing», 44 (2013), n. 4, p. 311-326, DOI: https://doi.org/10.3138/jsp.44-4-001.
[15] Tony Ross-Hellauer, Defining open peer review: part two: seven traits of OPR, «OpenAIRE Blog», 2 November 2016, https://blogs.openaire.eu/?p=1410.
[16] Un overlay journal è una rivista costruita applicando la peer review ai preprint archiviati nei repository. Il Bollettino telematico di filosofia politica è un esempio di overlay journal costruito sull'Archivio "Giuliano Marini" dell'Università di Pisa. Nel 2016 nell'ambito del progetto europeo OpenAIRE è stata finanziata la realizzazione di un modulo che consente di costruire un overlay journal a partire dai preprint archiviati nei repository. Il modulo è un plugin di DSpace. Una proposta di overlay journal costruito sul contenuto di ArXiv è contenuta nell'articolo di Alex Boldt, Extending ArXiv.org to achieve open peer review and publishing, «Journal of scholarly publishing», 42 (2011), n. 2, p. 238-242.
[17] In un certo senso questo tipo di revisione paritaria aperta mette in discussione il concetto stesso di pubblicazione che diventa "fluida". Esempi di pubblicazioni "fluide" sono le riviste del pacchetto Living reviews che consentono agli autori di modificare gli articoli già pubblicati.
[18] Esempi di piattaforme che offrono agli autori servizi di peer review sono: Peerage of science e RUBRIQ.
[19] Emily Ford, Open peer review at four STEM journals: an observational overview, «F1000Research», 4 (2015), n. 6, https://f1000research.com/articles/4-6/v1.
[20] Tony Ross-Hellauer, Defining open peer review: part two: seven traits of OPR cit.
[21] https://www.veruscript.com/about/who-we-are, https://www.collabra.org/about/our-model/.
[22] http://www.molecularecologist.com/2015/04/mol-ecols-best-reviewers-2015/.
[23] Verity Warne, Rewarding reviewers: sense or sensibility? A Wiley study explained, «Learned publishing», 29 (2016), n. 1, p. 41-50, http://onlinelibrary.wiley.com/doi/10.1002/leap.1002/full.
[24] Jonathan P. Tennant [et al.], A multi-disciplinary perspective on emergent and future innovation in peer review, «F1000Research», Version 2, 1 November 2017, https://f1000research.com/articles/6-1151/v1#ref-238.
[25] https://www.reviewercredits.com/.
[26] Bonaria Biancu, Peer review recognition e comunicazione scientifica: nuovi modelli di accountability. In: La biblioteca aperta: tecniche e strategie di condivisione, Milano 16-17 marzo 2017. Milano: Editrice bibliografica, 2017, p. 102.
[27] https://publons.com/awards/.
[28] La pubblicazione del testo completo delle revisioni è sempre soggetta al duplice consenso dell'autore e dell'editore.
[29] Axel Boldt, Extending ArXiv.org to achieve open peer review and publishing, «Journal of scholarly publishing», 42 (2011), n. 2, p. 238-242, DOI:10.1353/scp.2011.0001; Ulrich Pöschl, Interactive open access peer review: the Atmospheric chemistry and physics model, «Against the grain», 21 (2009), n.3, p. 26-32.
[30] E. Ford, Defining and characterizing open peer review: a review of the literature cit., p. 318.
[31] Paul Maharg; Nigel Duncan, Black box, Pandora's box or virtual toolbox? An experiment in a journal's transparent peer review on the web, «International review of law, computers & technology», 21 (2007), n. 2, p. 109-128, http://www.tandfonline.com/doi/abs/10.1080/13600860701492104?journalCode=cirl20, DOI:10.1080/13600860701492104.
[32] Timidi tentativi in questa direzione sono stati fatti in Gran Bretagna dalla charity Sense about science. La charity è impegnata da anni in un dialogo pubblico sui benefici della peer review per la scienza e per la società. Partecipa alla Peer review week.
[33] Jonathan P. Tennant [et al.], A multi-disciplinary perspective on emergent and future innovations in peer review, cit., 2017, p. 12.
[34] Lutz Bornmann [et al.], Is interactive open access publishing able to identify high-impact submission? A study on the predictive validity of atmospheric chemistry and physics by using percentile rank classes, «Journal of the Association for Information Science and Technology», 62 (2011), n. 1, p. 61-71, https://doi.org/10.1002/asi.21418.
[35] Daniel M. Herron, Is expert peer review obsolete? A model suggests that post-publication reader review may exceed the accuracy of traditional peer review, «Surgical endoscopy» 26 (2012), p. 2275-2280.
[36] Lutz Bornmann; Markus Wolf; Daniel Hans-Dieter, Closed versus open reviewing of journal manuscripts: how far do comments differ in language use? «Scientometrics», 91 (2012) n. 3, p. 843-856: 854.
[37] Susan Van Rooyen; Tony Delamothe; Stephen J. W. Evans, Effect on peer review of telling reviewer that their signed reviews might be posted on the web: randomised controlled trial, «BMJ», 341 (2010), c5729, https://www.bmj.com/content/bmj/341/bmj.c5729.full.pdf, DOI:10.1136/bmj.c5729.
[38] Cfr. Alberto Baccini; Giuseppe De Nicolao, Do they agree? Bibliometric evaluation and informed peer review in the Italian research assessment exercise, «Scientometrics», 108 (2016), n. 3, p. 1651-1671.
[39] Confronta i risultati dell'indagine realizzata da OpenAIRE nel 2016. La maggioranza dei ricercatori che ha risposto all'indagine, infatti, dichiara di essere contraria all'open identities. Il 74% crede sia necessario lasciare liberi i revisori di rivelare o meno pubblicamente la propria identità, così come è prassi per alcune riviste (es. PLOS ONE e PeerJ). Cfr. Tony Ross- Hellauer; Arvid Deppe; Birgit Schmidt, OpenAIRE survey on open peer review: attitudes and experience amongst editors, authors and reviewers, May 2017, p. 26, https://zenodo.org/record/570864#.WvFxF6SFNhF.
[40] B. Biancu, Peer review recognition e comunicazione scientifica: nuovi modelli di accountability cit., p. 101.
[41] Ibidem.
[42] Un esperimento di questo tipo è descritto da Maharg e Duncan per un numero speciale della rivista The Law Teacher. Cfr. Paul Maharg; Nigel Duncan, Black box, Pandora's box or virtual toolbox? cit.
[43] E. Ford, Defining and characterizing open peer review: a review of the literature cit., p. 320.
[44] Cfr. Tony Ross-Hellauer, Defining open peer review: part two: seven traits of OPR cit.
[45] In precedenza, nel 2010, un esperimento di open peer review in ambito umanistico era stato condotto anche dalla rivista Shakespeare quarterly per un numero speciale dedicato a Shakespeare e i nuovi media. I tre articoli selezionati da un guest editor per il numero in uscita erano stati resi disponibili sul sito della rivista e aperti ai commenti della rete. Si veda: https://publicationethics.org/blogs/open-peer-review-experiment-shakespeare-quarterly.
[46] Il volume Generous thinking di K. Fitzpatrick è accessibile alla URL: https://generousthinking.hcommons.org/.
[47] Si tratta dell'articolo di Roberto Caso, Una valutazione (della ricerca) dal volto umano: la missione impossibile di Andrea Bonaccorsi, http://commentbfp.sp.unipi.it/?page_id=1352 e di quello di Maria Chiara Pievatolo, La bilancia e la spada: scienza di stato e valutazione della ricerca, http://commentbfp.sp.unipi.it/?page_id=1372.
[48] Cfr. Tony Ross-Hellauer; Arvid Deppe; Birgit Schmidt, OpenAIRE survey on open peer review: attitudes and experience amongst editors, authors and reviewers, May 2017, p. 26, URL: https://zenodo.org/record/570864#.WV4ot1FLeUk.