di Maria Cassella
La citazione è da diversi anni lo strumento di misurazione quantitativa più discusso e applicato nella valutazione della ricerca. In tutte le discipline, ormai anche nelle scienze umane e sociali, ovvero in quelle che tradizionalmente sono definite aree non bibliometriche, si discute animatamente del significato della citazione nella valutazione della ricerca. La domanda fondamentale intorno alla quale si incentra il dibattito sulla valutazione della ricerca è: può la citazione dare conto della qualità e, quindi, dell'impatto della ricerca? Le risposte a questa domanda sono molteplici, ma è generalmente riconosciuto che non sia possibile approssimare la citazione all'impatto e l'impatto alla qualità della ricerca1. La citazione è comunque uno strumento polivalente al quale nel corso dei decenni sono stati attributi, secondo le scuole di pensiero, significati tra loro molto diversi.
In una recente monografia sulla valutazione, Andrea Bonaccorsi ha riassunto egregiamente il dibattito sociologico e filosofico sulla teoria della quantificazione della ricerca scientifica e sulla citazione come strumento di valutazione2. Si distinguono, nell'analisi di Bonaccorsi, posizioni contrapposte circa il significato della citazione. Ad esempio quella del sociologo statunitense Robert K. Merton, che assegna un significato costruttivo e relazionale alla citazione partendo da un interesse personale dello scienziato, quello del riconoscimento del proprio lavoro di ricerca:
ecco il ruolo essenziale della citazione: se lo scienziato non cita correttamente gli autori precedenti, non viene riconosciuto il suo contributo. Ogni scienziato è obbligato nel suo stesso interesse a citare i colleghi […] perché omettere la citazione può essere fatale ai fini della pubblicazione dei propri risultati3.
Soprattutto nelle scienze dure citare significa, quindi, fare riferimento a tutta la letteratura precedentemente pubblicata sul tema che si vuole sviluppare.
Su posizioni opposte, scrive sempre Bonaccorsi, sta il sociologo inglese Nigel Gilbert, secondo il quale la citazione «non ha un significato di riconoscimento del credito scientifico, ma viene avanzata allo scopo di rafforzare la posizione dell'autore che cita, aumentandone l'autorevolezza e il potere di convinzione»4. La critica di Gilbert tende quindi, in ultima analisi, a rigettare l'utilizzo della citazione per fini valutativi5.
Perché si cita? In uno studio pubblicato alla metà degli anni Ottanta, Terrence Brooks evidenzia sette motivazioni che spingono i ricercatori di diverse discipline a citarsi tra loro6:
Dall'analisi effettuata da Brooks emerge che la persuasione (persuasiveness), ovvero l'esigenza di motivare le proprie teorie e di sostenerle, è la principale motivazione che induce gli autori, sia di area scientifica che di area umanistica, a citare i lavori altrui.
Al di là dei motivi personali, professionali, in parte istituzionali che spingono i ricercatori a citarsi, sembra comunque molto diverso anche l'uso delle citazioni tra il segmento delle scienze dure e quello delle scienze umane. Nel primo caso, infatti, la citazione viene utilizzata per sostenere o confutare una teoria: uno studioso delle discipline scientifiche deve inevitabilmente fare riferimento a tutti quei contributi che rendono verificabile e ripetibile la sua teoria; le citazioni hanno quindi vita breve nel tempo. Nelle scienze umane, invece, il valore semantico delle citazioni è di «ricapitolazione, di nuova sintesi di contributi anche lontani nel tempo»7. Nelle aree umanistiche la funzione della citazione può essere influenzata in modo negativo anche dal pluralismo epistemologico e metodologico che caratterizza le scienze umane. Tale pluralismo rappresenta infatti una ricchezza per gli umanisti, un valore da tutelare, ma può sollecitare una certa segmentazione nelle citazioni e comportamenti faziosi a favore di un filone di pensiero piuttosto che di un altro. È frequente, infatti, che i membri di una scuola si citino tra loro ma non citino chi appartiene a scuole di pensiero contrapposte. Il meccanismo si rivela particolarmente perverso per gruppi di ricerca di piccole dimensioni, che si scoprono svantaggiati sia dalla logica quantitativa delle citazioni che dall'impossibilità di adottare una peer review realmente anonima e imparziale8.
Grazie all'intuizione di Eugene Garfield, che negli anni Cinquanta intravide l'applicazione degli indici citazionali alla valutazione della ricerca, proponendola in un sintetico articolo pubblicato su Science9, la citazione è diventata negli anni un potente strumento di valutazione della ricerca10. Potente, abusato, controverso11, ma relativamente semplice da misurare12, economico e utile. Nel mondo analogico esistevano – e ancora esistono – due strade complementari nella valutazione della ricerca, se pur concettualmente dicotomiche13: la peer review, ovvero la valutazione tra pari di tipo qualitativo, e la valutazione quantitativa, centrata sulla bibliometria e, quindi, sulla citazione. Nel mondo digitale cambia il paradigma della ricerca scientifica. Cambia la natura e il modo di fare ricerca. Cambiano (e si diversificano) i contenuti della ricerca scientifica. Cambia la veste esteriore dei prodotti della ricerca. Questo nuovo corso nella produzione di conoscenza è denominato "Modo 2" (Mode 2).
Quali sono le caratteristiche della scienza prodotta in versione "Modo 2"? La scienza "Modo 2" è socialmente distribuita, orientata all'applicazione, trans-disciplinare e soggetta a molteplici tipi di rendicontazioni e valutazioni. La trasformazione del paradigma della scienza non è un risultato diretto del passaggio al digitale, anche se il nuovo canale, con le sue infinite potenzialità, ha reso possibile l'adozione di nuovi metodi e strumenti per produrre e comunicare la scienza. Secondo Nowotny, Scott e Gibbons14 il nuovo corso della scienza è legato a molteplici fattori:
Così da un lato l'esercizio della valutazione è tra le cause del cambiamento, dall'altro va preso atto che se cambia la scienza anche i modelli e i metodi della valutazione possono risultare obsoleti e devono trasformarsi, dal momento che i criteri per misurare la qualità non sono più chiari e immutabili:
First, in Mode 2 knowledge scientific peer can no longer be reliably identified, because there is no longer a stable taxonomy of codified disciplines from which peers can be drawn. Second reductionist forms of quality control can not easily be applied to much more broadly-framed research questions […]. Third, and most disturbingly, clear and unchallengable criteria, by which to determine quality, may no longer be available15.
Le altmetrics16, ovvero metriche alternative, sono una batteria di metriche – basate sui download dell'articolo o derivate dal Web sociale, come le citazioni in Connotea, CiteUlike e/o Mendeley, i commenti e le valutazioni di vario tipo disponibili nei blog scientifici17 o sui social network18 – che si affiancano agli indicatori di tipo citazionale, tratti da Scopus, Web of science, PubMed central o CrossRef, per pesare la diffusione e l'uso di una pubblicazione in rete e il suo possibile impatto sulla ricerca.
Lin e Fenner19 classificano le metriche alternative in cinque gruppi:
Le altmetrics sono, tuttavia, molto di più di una batteria di metriche di valutazione. È del 2010, infatti, la pubblicazione in rete del manifesto sulle metriche alternative20. Nel contesto digitale, scrivono gli autori del manifesto, i tradizionali filtri di valutazione non riescono più a reggere il passo con la velocità, il volume e la crescita esponenziale della letteratura scientifica. Gli ideatori21 propongono quindi lo studio e l'utilizzo delle metriche derivate dal web (i download dell'articolo) e, in modo particolare, di quelle derivate dal Web 2.0: tra queste, le citazioni e i commenti dei blog, le citazioni contenute negli strumenti di social reference management (Mendeley, CiteULike, Zotero) o nei wiki (Wikipedia) per valutare l'impatto di un articolo in rete. In tal modo, sostengono gli autori del manifesto, è possibile migliorare il processo di revisione tra pari aprendo la letteratura scientifica ai commenti degli utenti della rete, ma soprattutto è possibile giudicare in modo più granulare, veloce e ampio la produzione scientifica di un ricercatore. Per ultimo, ma non ultimo, le altmetrics rappresentano anche un nuovo segmento di mercato per gli editori, gli aggregatori e i fornitori di servizi che lavorano nel settore della comunicazione scientifica22.
Quali sono i reali vantaggi delle altmetrics? Le nuove metriche superano la tradizionale distinzione dicotomica tra valutazione qualitativa e quantitativa: i download di un articolo in rete sono una misura di quantità, così come le citazioni in PubMed o nelle bibliografie create e condivise attraverso Mendeley o CiteULike, mentre i commenti nei blog o i tweet rappresentano una metrica di tipo qualitativo. Oltre a combinare quantità e qualità, le altmetrics hanno una serie di evidenti vantaggi, soprattutto quando vengono applicate a pubblicazioni di ricerca liberamente accessibili in rete:
Questa varietà rappresenta un punto di forza delle altmetrics rispetto alle metriche tradizionali, in quanto disegna un quadro olistico dell'impatto in rete di una pubblicazione; può tuttavia rappresentare anche un punto di debolezza, dal momento che «apre il campo a una maggiore aleatorietà nell'interpretazione di informazioni desunte da strumenti con caratteristiche e solidità differenti»28. A ciò si aggiunga che le "fortune" degli strumenti del Web sociale sono altalenanti e soggette ad una rapida evoluzione e altrettanto rapida obsolescenza.
Se è vero che le altmetrics hanno punti di forza innegabili ma anche "drammatiche" debolezze, ancora più rilevante sembra essere la questione di cosa misurino esattamente. Le dimensioni del significato delle altmetrics sono multiformi e ancora non del tutto esplorate: numerosi studi sottolineano il "valore" delle altmetrics come misura della diffusione in rete di una pubblicazione e della popolarità di un ricercatore ma, così come ci siamo chiesti in precedenza per le citazioni, è possibile anche approssimarle all'impatto e alla qualità della ricerca scientifica?
La misurazione dell'impatto è una questione oltremodo complessa. In primo luogo l'impatto presuppone un cambiamento: di stato, di mentalità, di metodologia, di processi ecc. Per questo motivo non è misurabile se non attraverso complessi e talvolta costosi e lunghi approcci metodologici29. Esistono diverse tipologie di impatto: accademico, sociale, economico, culturale, ambientale ecc. Le tipologie di impatto che interessano la scienza sono quelle dell'impatto accademico e dell'impatto sociale.
Il tema dell'impatto sociale della ricerca, in realtà, è stato portato in auge dall'affermazione della scienza "Modo 2": «in Mode 2 the expectation is that research will produce "socially robust" knowledge»30. La misurazione dell'impatto sociale della ricerca è tuttavia un esercizio articolato, sul quale ci si interroga da tempo. Secondo Ben Martin31 la problematicità di queste misurazioni è legata a diversi fattori, sintetizzabili in quattro tipologie:
Che tipo di relazione esiste tra qualità della ricerca e impatto sociale? Per il momento tra le due entità sembra esistere un rapporto molto debole:
high scientific quality of research groups is not necessarily related to increase societal quality of research groups, additional activities are needed.
Therefore societal quality is not simply the consequence of high scientific quality32.
Riassumendo: le metriche alternative hanno una propria validità in relazione alla valutazione del singolo ricercatore, ne rappresentano la popolarità in rete, misurano la diffusione e il grado di attenzione che si catalizza intorno ad una pubblicazione. Tuttavia non riescono, per limiti intrinseci ed estrinseci, ad essere anche un parametro di valutazione della qualità della ricerca. Quanto all'impatto sociale è indubbio che, così come il Web sociale, anche le altmetrics siano "socialmente' utili e robuste: «since the social web is widely used outside of science, it may have the potential to inform about societal impact»33. Riescono a dare una misura dell'interesse che si aggrega in rete intorno a una pubblicazione di ricerca. Questo interesse, tuttavia, è ancora poco accademicamente rilevante, in quanto non proviene da una cerchia di pari34. Per questo motivo, non senza risvolti paradossali, alcuni studi stanno cercando di ricondurre le altmetrics nella sfera più autorevole delle metriche tradizionali.
Una delle domande più interessanti e attuali che si pongono gli esperti di valutazione della ricerca in relazione alle altmetrics è se siano predittive delle citazioni. Numerosi articoli discutono della correlazione tra citazioni tradizionali e metriche del Web; tra i primissimi studi vi sono quelli che esplorano la relazione tra i download di un articolo35 e le citazioni. Henk Moed36 dimostra che esiste una relazione, per quanto debole, tra i download degli articoli della rivista Tetrahedron Letters dell'editore Elsevier e le citazioni ottenute dagli stessi articoli nel Science Citation Index. Nei due anni successivi alla pubblicazione dell'articolo, questa relazione è di una citazione ogni 100 download. Il limite della metodologia utilizzata da Moed è di concentrarsi su una rivista di tipo commerciale che, in quanto tale, non riesce a sfruttare in pieno l'effetto aggregante della rete. Come discuteremo in seguito, l'accesso aperto esalta, invece, le potenzialità delle altmetrics. Brody, Harnad e Carr37 mettono a punto un algoritmo matematico - lo Usage/Citation Impact Correlator - che dimostra una significativa e moderatamente ampia correlazione tra i download degli articoli archiviati come e-print nel repository ArXiv.org e le citazioni ottenute dagli stessi articoli nel database citazionale Citebase.
In seguito si sono diffusi gli studi che hanno trattato della correlazione tra i singoli strumenti del Web sociale e le citazioni. Gunther Eysenbach38, ad esempio, dimostra un rapporto positivo tra i tweet e le citazioni ottenute da 55 articoli pubblicati tra il 2009 e il 2010 sulla rivista Journal of medical internet research: gli articoli maggiormente "tweetati" avevano una probabilità 11 volte superiore alla media di essere citati. Successivamente Thelwall [et al.], in un articolo pubblicato su PLoS ONE39, hanno esplorato la correlazione esistente tra undici tipi di metriche alternative e le citazioni ottenute dal set di articoli di area biomedica selezionati per lo studio misurate in Web of Science. Gli autori rilevano che sei tipi di metriche alternative su undici (e cioè i post su Facebook, gli highlights di ricerca, le citazioni e i commenti dei blog di ricerca, le citazioni pubblicate in rete sui portali dei principali periodici e quotidiani e i post dei forum di ricerca) sono correlati in modo positivo con le successive citazioni ottenute dagli articoli. Costas, Zahedi e Wouters40 scoprono, invece, una relazione positiva, per quanto debole, tra le altmetrics e le citazioni: le due metriche che si correlano maggiormente con le citazioni sono i tweet e le citazioni sui blog41. Una correlazione positiva viene riscontrata anche tra il numero di metriche alternative utilizzate e le citazioni: «There is a clear positive relation between the number of altmetrics and the average citation impact and JCS of the publications, in a way that publications with more altmetrics also tend to have more citations»42. Infine, Waltman e Costas43 studiano la relazione tra gli articoli pubblicati in biomedicina nel periodo 2006-2009 che ricevono una raccomandazione in Faculty100044 (mediamente il 2% delle pubblicazioni biomediche) e le citazioni ottenute dagli stessi articoli in Web of science. Anche se il campione analizzato è molto piccolo, gli autori dimostrano una debole correlazione tra le raccomandazioni ottenute in Faculty1000 e le successive citazioni.
Da un lato, quindi, le altmetrics vengono invocate per superare i limiti delle metriche tradizionali; dall'altro sembrano legittimarsi solo se, e quando, messe in relazione alle più tradizionali citazioni, che pur essendo considerate una misura ancillare rispetto alla peer review e alla valutazione qualitativa della ricerca45 sono ormai consolidate grazie all'indicizzazione in due banche dati citazionali di tipo commerciale quali Web of science e Scopus. Va detto, per inciso, che anche i più entusiasti sostenitori delle metriche alternative sono consapevoli dei limiti oggettivi delle altmetrics. Sono, infatti, una misura di valutazione ancora immatura, non standardizzata46, quindi non affidabile ai fini di una valutazione di tipo accademico. Alcuni sottolineano anche l'estrema facilità di manipolazione delle metriche alternative, e se da un lato non c'è accordo sul tipo di impatto che le nuove metriche misurerebbero, dall'altro molti studiosi sono invece concordi sul fatto che le metriche alternative restano, al momento, solo complementari rispetto alle tradizionali misure di valutazione, anche se il loro potenziale è enorme. Soprattutto per le risorse ad accesso aperto.
È stata la rivista ad accesso aperto PLoS ONE ad aprire la strada all'applicazione delle nuove metriche del Web. Nel 2009, infatti, la Public library of science (PLoS) lanciava l'article-level-metrics (ALMs) per gli articoli pubblicati su PLoS ONE e, successivamente, estendeva la possibilità di aggregare le ALMs anche a tutte le altre riviste del pacchetto PLoS. Non è un caso che le metriche alternative nascano in combinazione con una rivista contenitore come PLoS ONE: da un lato, infatti, è noto che le riviste megajournals applicano una forma di revisione tra pari molto blanda (access review), per cui è giocoforza utilizzare forme di valutazione ex-post; dall'altro, l'attenzione che gli articoli pubblicati su una rivista come PLoS ONE riescono a catalizzare facilita la submission di nuovi articoli e contribuisce a rendere sostenibile la sopravvivenza stessa delle riviste OA, il cui modello economico prevalente è quello dell'autore che paga per pubblicare. Le altmetrics nascono, quindi, in ambiente open access, sono uno dei risultati dell'innovazione che le riviste ad accesso aperto hanno introdotto nel settore della comunicazione scientifica.
Il rapporto tra metriche alternative e accesso aperto è fecondo, sia per quanto riguarda la via aurea che quella verde. Quanto alla via aurea si cominciano a sottolineare i reciproci vantaggi tra pubblicazioni e altmetrics: da un lato le altmetrics riescono a misurare il grado di penetrazione e di gradimento di un articolo, la valutazione è disaggregata a livello dell'articolo che diviene la reale unità da valutare; dall'altro la possibilità di accedere ai contenuti pubblicati è condizione sine qua non per far sì che un articolo possa essere adeguatamente discusso e analizzato, la lettura dei contenuti diviene rilevante per sostenere le discussioni e le narrazioni in rete. Quanto alla via verde, appare estremamente interessante la possibilità di arricchire le statistiche sui download fornite dai repository con le informazioni derivate dalle metriche alternative. A beneficio reciproco degli autori che archiviano e di chi amministra un repository. Per gli autori accademici le altmetrics rendono disponibili dettagliate informazioni sulle citazioni ottenute, sui lettori degli articoli e sulla lettura, con possibilità di creare una fitta rete di relazioni tra ricercatori che si occupano di argomenti simili o affini. Piattaforme come ResearchGate o Academia.edu legano il proprio successo a questo tipo di informazioni e rappresentano una concorrenza per i repository di tipo più tradizionale. Oltre a offrire agli autori una vasta gamma di servizi a valore aggiunto, le piattaforme social semplificano il deposito dei documenti mediante harvesting dei metadati delle pubblicazioni grazie all'utilizzo degli identificativi persistenti. Non danno alcuna garanzia di conservazione a lungo termine e la gestione dei diritti è inesistente, ma la diffusione di una pubblicazione è immediata e viene amplificata dall'effetto partecipativo delle reti sociali. Gli amministratori e gestori di repository hanno invece a disposizione un potente strumento per dimostrare alla leadership universitaria e agli enti finanziatori il valore sociale di un archivio aperto: «using altmetrics, some repositories have been successfully able to showcase the social importance of repository content to the general public in non-academic settings»47.
Le altmetrics sono metriche giovani e innovative. Per questo ancora immature. Non tanto sotto l'aspetto tecnologico quanto sotto quello valutativo e accademico.
In primo luogo poco sappiamo delle motivazioni che spingono i ricercatori e i diversi "pubblici" della rete ad utilizzare questi strumenti del Web sociale per segnalare o commentare una pubblicazione di ricerca.
In secondo luogo i pubblici che utilizzano le altmetrics possono essere estremamente eterogenei: questo aspetto rappresenta al tempo stesso un'opportunità e un limite per chi fa ricerca. È un'opportunità in quanto il mondo accademico è spinto ad aprirsi ai contributi esterni: il riconoscimento sociale della scienza è un elemento di stimolo e di ricchezza per chi fa ricerca. Tutti gli enti finanziatori, prima tra gli altri l'Unione europea e le agenzie nazionali di valutazione (per l'Italia: l'ANVUR), spingono in modo sempre più deciso verso la misurazione dell'impatto sociale48. È un limite in quanto si annulla quasi completamente la linea di demarcazione tra pubblico accademico e non accademico. Il giudizio informale che le altmetrics assegnano non è più un giudizio tra pari.
Da ultimo, come scrivono Wouters e Costas: «none of the new social tools meet crucial requirements for data quality and indicator construction. This prevents them from currently being usable in the context of more formal research evaluation and assessment»49.
La conclusione di questo studio non può essere diversa da quella che emerge da altri lavori sull'argomento delle altmetrics, e cioè che le nuove metriche ampliano il panorama della valutazione della ricerca ma non possono essere considerate uno strumento di valutazione formale e alternativo alle metriche di tipo più tradizionale. Almeno non per il momento e non nell'ambito degli esercizi di valutazione. È necessario, infatti, poter disporre di una più ampia massa critica di dati e avere un quadro più preciso e robusto degli strumenti di valutazione alternativa esistenti e del loro preciso significato ed utilizzo da parte dei ricercatori: «New impact monitors will introduce new strategic behaviour of researchers as well as ways for manipulation of these monitors. These should be studied in tune with the development of these monitors»50.
Ultima consultazione siti web: 25 ottobre 2016.
[1] Cfr. Andrea Bonaccorsi, La valutazione possibile: teoria e pratica nel mondo della ricerca. Bologna: Il Mulino, 2015, p. 161.
[2] Si legga, in modo particolare, il capitolo uno Le critiche teoriche alla valutazione della ricerca. In: A. Bonaccorsi, La valutazione possibile cit., p. 17-66.
[3] Ivi, p. 31.
[4] Ivi, p. 33.
[5] Nigel Gilbert, Referencing as persuasion, «Social studies of science», 7 (1977), p. 113-122.
[6] Terrence A. Brooks, Public acts and private objects: an investigation of citer motivations, «Journal of the American Society of Information Science», 36 (1985), n. 4, p. 223-229: p. 225.
[7] Andrea Bonaccorsi, Ancora sulla valutazione nelle aree umanistiche e sociali. In: Valutare la ricerca? Capire, applicare, difendersi, a cura di Paolo Miccoli, Adriano Fabris. Pisa: ETS, 2012, p. 92.
[8] Cfr. Maria Cassella; Donatella Mutti, Su alcuni aspetti della valutazione della ricerca nelle scienze umane. Bibliometria e dintorni, «Spazio filosofico», 13 (2005), febbraio, p. 123-137, http://www.spaziofilosofico.it/numero-13/5310/su-alcuni-aspetti-della-valutazione-della-ricerca-nelle-scienze-umane-bibliometria-e-dintorni/.
[9] Eugene Garfield, Citation indexes for science, «Science», 122 (1955), p. 108-111. Si legge nell’articolo a pagina 109: «In effect the system would provide a complete listing, for the publications covered, of all the original articles that had referred to the article in question. This would be clearly particularly useful in historical research, when one is trying to evaluate the significance of a particular work and its impact on the literature and thinking of the period».
[10] Si noti che la fortuna della citazione, e quindi della bibliometria ai fini della valutazione della ricerca, è cresciuta nel Regno Unito a partire dagli anni Ottanta: la prima esperienza britannica di valutazione della ricerca risale infatti al 1986.
[11] Si leggano, ad esempio, i dieci principi a favore di un uso consapevole degli indici bibliometrici messi in evidenza dal Leiden Manifesto for research metrics pubblicato nel 2014, http://www.leidenmanifesto.org/. Sul Leiden Manifesto si leggano: Diane Hicks [et al.], Bibliometrics: the Leiden Manifesto for research metrics, «Nature», 520 ( 2015), n. 7548, p. 429-431, http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-research-metrics-1.17351 e, in italiano, l'articolo di Chiara Faggiolani, Contro le unanticipated consequences della valutazione quantitativa della ricerca: il Leiden Manifesto for research metrics, «AIB studi», 55 (2015), n. 3, p. 427-438, http://aibstudi.aib.it/article/view/11366, DOI: DOI: http://dx.doi.org/10.2426/aibstudi-11366, e quello di Simona Turbanti, Un Manifesto contro l'"ossessione della misura", «Biblioteche oggi», 33 (2015), n. 6, p. 19-22, http://www.bibliotecheoggi.it/rivista/article/view/354, DOI: http://dx.doi.org/10.3302/0392-8586-201506-019-1.
[12] La semplicità di calcolo è, di fatto, uno dei principali vantaggi di un indicatore bibliometrico.
[13] Si legga, ad esempio, ciò che scrive sempre A. Bonaccorsi, La valutazione possibile cit., sulla dicotomia concettuale tra qualità e quantità nella riflessione filosofica e delle scienze sociali.
[14] Helga Nowotny; Peter Scott; Michael Gibbons, “Mode 2” revisited: the new production of knowledge, «Minerva», 41 (2003), n. 3, p. 179-194, DOI: 10.1023/A:1025505528250.
[15] Ivi, p. 187. Sulla scienza Mode 2 si legga anche il contributo di Chiara Faggiolani, Research evaluation and Mode 2 science, «Lettera matematica», 1 (2014), n. 4, p. 191-197.
[16] Il termine altmetrics (alternative metrics), viene utilizzato per la prima volta in un tweet ottenendo un successo immediato e sostituisce ben presto il termine article-level-metrics, che resta per lo più utilizzato in combinazione con le metriche del pacchetto di riviste PloS.
[17] Ad esempio ResearchBlogging, Blogsline, NatureBlogs.
[18] Ad esempio il pulsante like di Facebook.
[19] Jennifer Lin; Martin Fenner, Altmetrics in evolution: defining and redefining the ontology of article level-metrics, «Information standards quarterly», 25 (2013), n. 2, p. 20-26, http://www.niso.org/publications/isq/2013/v25no2/lin/.
[20] Jason Priem [et al.], Altmetrics: a manifesto. 26 October 2010, http://altmetrics.org/manifesto.
[21] Si tratta di: Jason Priem, University of North Carolina-Chapel Hill; Dario Taraborelli, Wikimedia Foundation; Paul Groth, VU University Amsterdam; Cameron Neylon, Science and Technology Facilities Council.
[22] Ad esempio Altmetric.com, PlumX, ImpactStory e Bookmetrix offrono servizi di misurazione e visualizzazione delle altmetrics per gli editori.
[23] Cfr. J. Priem [et al.], Altmetrics: a manifesto cit.: «The speed of altmetrics presents the opportunity to create real-time recommendation and collaborative filtering systems: instead of subscribing to dozens of tables-of-contents, a researcher could get a feed of this week's most significant work in her field. This becomes especially powerful when combined with quick "alt-publications" like blogs or preprint servers, shrinking the communication cycle from years to weeks or days. Faster, broader impact metrics could also play a role in funding and promotion decisions».
[24] Heather Piwowar, Introduction altmetrics: why, what and where?, «Bulletin of the American Society for Information Science and Technology», 39 (2013), n. 4, p. 8-9.
[25] Cfr. Scott Chamberlain, Consuming article-level metrics: observations and lessons from comparing aggregator provider data, «Information standards quarterly», 25 (2013), n. 2, p. 4-13, http://www.niso.org/apps/group_public/download.php/11303/FE_Chamberlain_Consuming_ALMs_isq_v25no2.pdf: «a nice feature of digital data such as article-level metrics is the ability to trace back final article-level metrics from providers such as ImpactStory to their original source […]. This will not only provide additional insight to scholarly impact, but also provide a way to verify results and conclusions made regarding article-level metrics».
[26] Si legga: Gunther Eysenbach, Can tweets predict citation? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact, «Journal of medical internet research», 13 (2011), n. 4, http://www.jmir.org/2011/4/e123/, DOI: 10.2196/jmir.2012.
[27] «Le conversazioni online maturano molto più velocemente delle citazioni negli articoli di rivista […] l'evocazione di un documento o di un autore non è riconducibile ad una semplice unità indifferenziata (la citazione), ma si presenta in un contesto utile ad esplicitarne il senso positivo o negativo (approvazione, rifiuto, critica ecc.)». Cfr. Nicola De Bellis, Introduzione alla bibliometria: dalla teoria alla pratica. Roma: Associazione Italiana Biblioteche, 2014 (la citazione è tratta dalla versione epub del volume). Torneremo su questo punto nel capitolo successivo.
[28] Simona Turbanti, La visibilità - e l'impatto? - del Web ai tempi dei social: i principali strumenti di altmetrics, «AIB Studi», 56 (2016), n. 1, p. 41-58: p. 54, http://aibstudi.aib.it/article/view/11410/10667, DOI: 10.2426/aibstudi-11410.
[29] Ad esempio: per misurare l'impatto delle biblioteche e dei servizi culturali e ambientali si utilizza la metodologia della contingent valuation; nel caso dell'impatto sociale, invece, gli approcci metodologici prevalenti per la misurazione sono tre: gli studi econometrici, le indagini e gli studi caso.
[30] Lutz Bornmann, What is societal impact of research and how can it be assessed? A literature survey, «Journal of American Society of Information Science and Technology», 64 (2013), p. 217-233: p. 218.
[31] Ben R. Martin, Assessing the impact of basic research on society and the economy. In: “Rethinking the impact of basic research on society and the economy. WF-EST International Conference” (Vienna, 11 maggio 2007).
[32] Sebastian P. Mostert [et al.], Societal output and use of research performed by health research groups, «Health research policy and systems», 8 (2010), n. 1, p. 30, DOI: 10.1186/1478-4505-8-30/. Gli autori conducono uno studio sulle aree biomediche; è possibile, tuttavia, che coefficienti di correlazione più elevati siano riscontrabili per altre aree di ricerca.
[33] Mike Thelwall [et al.], Do altmetrics work? Twitter and ten other social web services, «PLoS ONE», 8 (2013), n. 5, http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0064841http://, DOI: 10.1371/journal.pone.0064841.
[34] Ciò non significa che l'accademia non sia vieppiù interessata al tema dell'impatto sociale, anzi. La misurazione della terza missione è la nuova frontiera nella valutazione della ricerca: sta assumendo un'importanza enorme soprattutto perché si collega strettamente alle possibilità di finanziamento della ricerca.
[35] I download in rete sono stati una delle prime metriche del Web ad essere studiate ai fini della valutazione della ricerca. Intorno a queste metriche è stato costruito anche un vero e proprio indicatore: il Journal usage factor.
[36] Henk F. Moed, Statistical relationships between downloads and citations at the level of individual documents within a single journal, «Journal of the Association for Information Science and Technology», 56 (2005), n. 10, p. 1088-1098. DOI: 10.1002/asi.20200.
[37] Tim Brody; Stevan Harnad; Leslie Carr, Earlier Web usage statistics as predictors of later citation impact, «Journal of the American Society for Information Science and Technology», 57 (2006), n. 8, p.1060-1072. DOI: 10.1002/asi.20373.
[38] Cfr. Gunther Eysenbach, Can Tweets predict citations? Metrics of social impact based on Twitter and correlation with traditional metrics of scientific impact, «Journal of medical internet research», 13 (2011), n. 4, http://www.jmir.org/2011/4/e123, DOI: 10.2196/jmir.2012. Per dare un'idea del volume di tweet esaminati, i 55 articoli selezionati dalla rivista avevano ricevuto in un anno una media di 21.2 tweet, di cui 13.9 entro la prima settimana di pubblicazione: la maggior parte dei tweet viene inviata il giorno stesso della pubblicazione dell'articolo o quello immediatamente successivo.
[39] Mike Thelwall [et al.], Do altmetrics work? cit..
[40] Rodrigo Costas; Zohreh Zahedi; Paul Wouters, Do altmetrics correlate with citations? Extensive comparison of altmetric indicators with citations form a multidisciplinary perspective, «Journal of the Association for Information Science and Technology», 66 (2014), n. 10, p. 2003-2019, https://arxiv.org/abs/1401.4321, DOI: 10.1002/asi.23309.
[41] Di fatto i blog sono sempre più utilizzati in ambito scientifico anche per comunicare i risultati negativi di una ricerca.
[42] R. Costas; Z. Zahedi; P. Wouters, Do altmetrics correlate with citations? cit., p. 2010.
[43] Ludo Waltman; Rodrigo Costas, F1000 reccommendations as a new data source for research evaluation: a comparison with citations, 2013, https://arxiv.org/abs/1303.3875.
[44] http://f1000.com/prime. Inizialmente F1000 era un portale per la raccolta di preprint e la raccomandazione di articoli scientifici di area biomedica, oggi è anche una piattaforma per la pubblicazione di articoli.
[45] Nel Regno Unito, ad esempio, l'agenzia di valutazione inglese HEFCE ha dichiarato, sulla base dei risultati di uno studio pilota, che «Bibliometrics are not sufficiently robust at this stage to be used formulaically or to replace expert review in the REF», cfr. Higher Education Funding Council of England, Report on the pilot exercise to develop bibliometric indicators for the research excellence framework.September 2009, http://webarchive.nationalarchives.gov.uk/20100202100434/http://www.hefce.ac.uk/pubs/hefce/2009/09_39/.
[46] Nel 2013 l'organizzazione statunitense NISO ha lanciato un progetto di studio per la standardizzazione delle altmetrics. Il progetto è in fase di svolgimento: a giugno 2016 risulta pubblicata sul sito NISO e aperta ai commenti la bozza del documento: National Information Standards Organization, Alternative outputs in scholarly communications: data metrics, http://www.niso.org/apps/group_public/download.php/16553/NISO%20RP-25-201x-2A%20Alternative%20Outputs%20in%20Scholarly%20Communications--Data%20Metrics.pdf.
[47] Stacy Konkiel; Dave Sherer, New opportunities for repositories in the age of altmetrics, «Bulletin of the Association for Information Science and Technology», 39 (2013), n. 4, p. 23.
[48] In diversi esercizi di valutazione nazionali sono stati proposti indicatori per la misurazione dell’impatto sociale. Ad esempio: il Research excellence framework in Gran Bretagna, gli Standard evaluation protocols in Olanda, l’Excellence in research for Australia in Australia.
[49] Interessante è la distinzione che gli autori propongono tra technologies of control e technologies of narcissism. Cfr. Paul Wouters; Rodrigo Costas, Users, narcissism and control: tracking the impact of scholarly publications in the 21st century. In: Proceedings of STI 2012 Montréal: 17th International Conference on science and technology indicators, a cura di Eric Archambault, Yves Gingras, Vincent Larivière. Montréal: Science metrix and OST, 2012, p. 847-857: p. 847, http://2012.sticonference.org/index.php?page=proc.
[50] Ivi, p. 854.