di Chiara Faggiolani e Giovanni Solimine
Scopo di queste note è quello di sottolineare l'esigenza che gli studi biblioteconomici intraprendano anche la strada, finora pressoché ignorata, dell'analisi bibliometrica, nella convinzione che essi siano in grado di fornire un apporto specifico nel campo della valutazione della ricerca scientifica in generale e soprattutto nel caso delle scienze umane che presentano non pochi tratti peculiari.
Da circa un ventennio - forse prima e più di altri comparti dei servizi pubblici del nostro paese - tutti gli aspetti del mondo universitario sono sottoposti a processi di valutazione. Si tratta di un'ovvia conseguenza delle leggi che regolamentano l'autonomia normativa, organizzativa, finanziaria e contabile, didattica e scientifica dell'università italiana1, che non hanno ancora prodotto tutti gli effetti che a cascata potrebbero provocare, tanto che, per fare solo un esempio, viene a galla periodicamente la questione del valore legale dei titoli di studio, che secondo alcuni rappresenta il più coerente esito della competizione fra gli atenei.
È forse inutile sottolineare che l'esigenza di accountability del sistema universitario, malgrado nasca dalle motivazioni sopra riportate, si collega anche alle frequenti campagne di stampa che segnalano fenomeni di nepotismo e "demeritocrazia" che spesso inquinano la vita delle nostre università.
Dopo aver doverosamente ricordato, anche se in modo estremamente sintetico, questo quadro di riferimento, del quale non è possibile dire altro in questa sede, ci si può soffermare su un aspetto sul quale in questi mesi si è concentrata l'attenzione di molti protagonisti e osservatori del mondo universitario, e cioè sulla valutazione della ricerca e sulla necessità di individuare criteri che possano oggettivamente misurare dal punto di vista quantitativo e analizzare dal punto di vista qualitativo la produzione scientifica di docenti e ricercatori e delle strutture (università e dipartimenti) in cui essi operano. Si tratta, in definitiva, di verificare lo stato di salute del sistema universitario, il rapporto fra risorse investite e risultati prodotti, la loro adeguatezza alle esigenze della società italiana. A tale scopo è stata istituita l'Agenzia nazionale di valutazione del sistema universitario e della ricerca (ANVUR)2. È attualmente in corso l'esercizio di Valutazione della qualità della ricerca (VQR) per il periodo 2004-2010, che coinvolge oltre 68.000 docenti e ricercatori delle università e degli Enti di ricerca: i risultati di questo articolato processo, che mobiliterà circa diecimila valutatori, avranno effetto a livello nazionale sulla distribuzione del fondo di finanziamento ordinario, ma potranno essere utilizzati dagli organi di governo delle singole strutture per orientare la redistribuzione interna delle risorse acquisite. Infatti, anche se da più parti ci si affanna a precisare che la VQR riguarderà le strutture e non i singoli, è impensabile che i risultati, o quanto meno le metodologie, di una così complessa e costosa macchina valutativa non vengano poi sfruttati anche per altri scopi, come il reclutamento, la progressione in carriera e la retribuzione del personale. È opportuno ricordare, per inciso, che il DPR n. 232/2011 disciplina il trattamento economico dei professori e ricercatori su base premiale.
Ciò solo per sottolineare la delicatezza della questione: siamo di fronte ad una importante occasione per razionalizzare, moralizzare, valorizzare la vita accademica italiana e ciò che essa produce. Potremmo aggiungere anche che un tale meccanismo sarebbe ancor più giustificato se il Governo mettesse a disposizione del mondo della ricerca e della formazione universitaria risorse significative, altrimenti rischieremmo di fare tanto rumore per nulla. Ma questa è un'altra storia.
Particolarmente delicato è il tema della valutazione della ricerca nell'ambito delle scienze umane e sociali.
Infatti, mentre nella comunità degli studiosi di ambito scientifico-tecnologico sono universalmente accettati, anche a livello internazionale - se pure con qualche eccezione3 - i metodi dell'analisi citazionale e alcuni indicatori bibliometrici (Impact Factor, H-Index ecc.) che misurano in termini quantitativi l'impatto della produzione scientifica (e ciò, anche se con qualche forzatura, viene considerato rappresentativo della qualità e della reputazione di un ricercatore, sebbene non siano affatto la stessa cosa), lo stesso non si può dire per le scienze umane e sociali.
La ricerca in ambito umanistico è strutturalmente diversa da quella prodotta nelle "scienze dure" e vale la pena qui ricordare almeno le principali differenze.
In primo luogo, la rivista scientifica - sulla quale tradizionalmente si basano gli indicatori di impatto - non è la forma di pubblicazione più diffusa tra gli umanisti: «[...] la monografia ha un ruolo preminente per ragioni senza dubbio riconducibili alla propria retorica specifica, alla natura cumulativa del suo approccio metodologico e alle necessarie sollecitazioni interdisciplinari»4. Facendo riferimento all'IF - il più utilizzato per la misurazione dell'impatto - è noto come la copertura delle citazioni dell'archivio ISI - Web of Science (ma non solo di esso) sia affidabile solo per quei settori disciplinari dove la forma di comunicazione prevalente è l'articolo su rivista scientifica in lingua inglese.
La prassi citazionale stessa è differente: in ambito umanistico non è sufficiente contabilizzare le citazioni, anche perché non sempre esse corrispondono ad un giudizio di merito di segno positivo. Sebbene possa sembrare un meccanismo semplice e lineare, in realtà il comportamento citazionale può essere condizionato da variabili anche di carattere "sociale" non sempre riconducibili al piano strettamente scientifico. Ad una "teoria normativa", che afferma che il conteggio delle citazioni rende conto quasi naturalmente dell'impatto e del prestigio di un lavoro scientifico5, si contrappone una "teoria socio-costruttivista" che, al contrario, suggerisce che il comportamento citazionale è condizionato da molteplici fattori che ne possono manipolare fortemente il significato6. Questa seconda interpretazione è particolarmente significativa in ambito umanistico poiché - come anticipato - se nelle scienze dure le citazioni possono dirsi piuttosto "asettiche", in campo umanistico la citazione può essere anche "critica" o "problematica", ovvero può fare riferimento al lavoro citato non solo per approvarlo e sostenerlo ma anche per confutarlo o valutarlo negativamente.
Molto meno frequente è, in ambito umanistico, l'abitudine a pubblicare scritti in collaborazione fra più autori, pratica che fa aumentare l'impatto delle pubblicazioni stesse poiché, come è noto, le opere in co-autoraggio vengono citate di più.
Un'altra sostanziale differenza è legata al fatto che molto spesso la lingua privilegiata nel campo umanistico e sociale è la "lingua madre": ciò dipende dalle tematiche di carattere "locale", oggetto di studio di queste discipline, maggiormente radicate nel loro contesto di quanto non accada nelle scienze naturali. Gli studiosi di scienze umane e sociali sono molto influenzati nelle loro scelte di ricerca da quanto accade a livello nazionale, da quelli che sono gli argomenti prevalenti in ambito pubblico e ciò influisce anche sulla lingua di pubblicazione. L'uso della lingua madre rispetto alla comunità scientifica di riferimento - locale appunto - dà garanzia di migliore comprensione e impatto sulla propria comunità scientifica7.
Inoltre, il valore scientifico di un lavoro di area umanistica è prolungato negli anni e il suo impatto è misurabile solo su un lungo periodo di tempo. Se nelle scienze naturali l'avanzamento della ricerca procede con il superamento delle ricerche precedenti, nelle scienze umane la ricerca procede per progressiva accumulazione e approfondimento. È per questa ragione che per gli indicatori bibliometrici tradizionali, che utilizzano un range temporale piuttosto stretto che va dai due ai cinque anni (come l'IF o il 5-year IF) si può parlare di mancanza di prospettiva storica che, in ultima analisi, è il tratto peculiare di ogni riflessione di carattere umanistico.
Sulla base di queste considerazioni, c'è chi rifiuta qualsiasi prospettiva di valutazione bibliometrica per le scienze storiche, filosofiche, filologico-letterarie, giuridiche, economiche, politiche e sociali.
Va invece assolutamente evitato che, col pretesto che la valutazione in area umanistica è molto difficile - il che, intendiamoci bene, è verissimo - si finisca col sostenere che essa è impossibile, accomunando così le preoccupazioni e i propositi di chi desidera individuare criteri di valutazione specificamente calibrati sulle caratteristiche degli studi nel settore umanistico e sociale con le resistenze di chi, forse per motivi inconfessabili, non intende farsi valutare. Di questi tempi, infatti, tutti affermano che la valutazione è importante e necessaria, ma molti poi dicono sostanzialmente che nessun metodo di valutazione va bene. Questo atteggiamento ricorda un po' la novella di Giulio Cesare Croce, in cui si narra dell'arguto Bertoldo, che, condannato a morte da re Alboino, chiede e ottiene di poter scegliere l'albero a cui essere impiccato: prima temporeggia, accampando pretesti e dicendo che gli alberi che gli vengono proposti non vanno bene, e alla fine sceglie una piantina appena nata, per cui occorrerà aspettare che cresca.
Infatti, pur essendo assolutamente indispensabile la condivisione dei criteri che si deciderà di adottare e dovendo quindi presupporre che i valutandi accettino il metodo di valutazione, è urgente rendersi conto che è interesse di tutti - e in particolare di chi in ambito umanistico lavora bene e responsabilmente - contribuire all'individuazione di parametri di valutazione adeguati, poiché, se così non fosse, la comunità degli studiosi delle discipline umanistiche finirebbe con l'essere emarginata, poiché non integrata in un meccanismo in cui l'assegnazione delle risorse dipende strettamente dai risultati prodotti dalla ricerca.
È infatti assolutamente condivisibile l'idea che «non esistono discipline rispetto alle quali gli indicatori bibliometrici non siano applicabili; esistono piuttosto discipline rispetto alle quali al momento attuale, ovvero con gli archivi bibliografici e citazionali al momento disponibili, gli indicatori bibliometrici risultano meno affidabili»8.
Probabilmente, i metodi bibliometrici presentano un limite intrinseco, che andrebbe comunque superato. Si tratta di un approccio quantitativo, finalizzato a valutare in termini numerici l'impatto scientifico. Ma alla valutazione della ricerca può essere applicato anche un approccio qualitativo - il cosiddetto giudizio dei pari o peer-review - che risulta ad oggi il principale metodo di valutazione della qualità (interna), intesa come riconoscimento che la ricerca è stata ben condotta in riferimento agli standard condivisi dalla comunità scientifica di riferimento in un dato momento di tempo (ad esempio originalità, rilevanza, rigore metodologico etc.).
Anche questa prassi è ancora scarsamente applicata nel contesto delle scienze umane e non è esente da pecche: specie negli ambiti più circoscritti è molto difficile che la valutazione sia immune da conflitti di interesse e da pregiudizi dovuti ad amicizie o inimicizie.
Fino ad oggi si è assistito prevalentemente ad un uso "esclusivo" di ciascuno dei due metodi, visti come contrapposti piuttosto che come complementari, sebbene andrebbe riconosciuto in fondo che la bibliometria altro non è che una forma di "peer review indiretta", in quanto la citazione di una pubblicazione è pur sempre una forma di giudizio del citante rispetto al citato.
Probabilmente la soluzione va ricercata in un approccio misto, che valuti la produttività di uno studioso in base ad indicatori quantitativi (Indicatore di produttività del singolo ricercatore in un range temporale dato, Indicatore di produttività del singolo rispetto al settore disciplinare di appartenenza, Indicatore di produttività del singolo rispetto alla struttura di appartenenza, e così via) e che si affidi invece alla peer review (il più possibile "a doppio cieco", in cui gli autori siano ignoti ai valutatori e viceversa) per un giudizio di ordine qualitativo. Su questi temi la letteratura è molto ampia9 e non può essere neppure riassunta in questa sede.
Gli studiosi di biblioteconomia e le biblioteche possono esercitare un ruolo specifico in questa partita, contribuendo alla elaborazione di criteri di valutazione rigorosi e affidabili. A differenza degli Stati Uniti e di altri paesi europei, tra i quali si segnala la Spagna, non vi è in Italia una tradizione di studi nel campo della bibliometria, e comunque non ad opera di bibliotecari e biblioteconomi: se escludiamo qualche contributo offerto anni fa da Alfredo Serrai10, dobbiamo attendere questi ultimi anni per trovare qualche segnale di interesse verso l'argomento11, anche sull'onda dello sviluppo dell'editoria digitale e del movimento open access. Neppure nelle oltre mille pagine della monumentale guida curata da Mauro Guerrini12, che copre praticamente tutto lo scibile biblioteconomico, c'è posto per la bibliometria: forse perché la guida è costruita sulla base della CDD, che non riconosce a questa disciplina un'autonoma identità. Mancano banche dati di spogli di periodici e di citazioni, né esistono indagini empiriche o studi approfonditi sulla copertura dei cataloghi e degli OPAC riguardo alle monografie prodotte in determinati settori disciplinari o da parte di determinati studiosi. Eppure ci sarebbe uno spazio nel quale inserirsi, per dare un contributo squisitamente biblioteconomico ad uno sviluppo della bibliometria in Italia: servirebbe anche per uscire dalla "riserva indiana" e mostrare l'utilità della nostra disciplina ai fini della elaborazione di una politica della ricerca. Senza voler anticipare in questa sede i possibili risultati di un itinerario di studio che è ancora tutto da percorrere, ci limitiamo ad indicare a titolo esemplificativo un filone di attività che forse andrebbe coltivato.
Se è vero, come è vero, che le pubblicazioni monografiche costituiscono il principale strumento attraverso il quale vengono comunicati i risultati della ricerca umanistica e che esse sono di conseguenza anche la principale fonte delle citazioni che figurano negli scritti degli studiosi di ambito umanistico, non si può affermare che non esistano le banche dati di riferimento: per tale finalità possono essere utilizzati i cataloghi delle biblioteche. Per la valutazione dell'impatto delle monografie alcuni studiosi propongono di adottare la LCA (Library Catalog Analysis)13, rilevando se una determinata pubblicazione è presente (e in quante copie) all'interno di un insieme selezionato di prestigiose biblioteche. La LCA è definita come «l'applicazione di tecniche informetriche e bibliometriche a un insieme di cataloghi di biblioteche ed è focalizzata sul suo valore come strumento nello studio delle scienze umane e sociali. Questo strumento propone un modello analogo alla tradizionale analisi citazionale effettuata per gli articoli dei periodici, ma applicata agli OPAC per quanto riguarda i volumi, e illustra come la tecnica di mappatura tematica possa essere messa a frutto quale potente strumento per la valutazione delle monografie come produzioni intellettuali di ricerca a livello di singolo ricercatore, di dipartimento o come intera produzione di un paese o di un editore»14.
Un nostro specifico contributo può consistere nell'individuare le biblioteche più autorevoli da assumere come riferimento per una determinata area disciplinare ed analizzare le politiche di acquisizione in uso al loro interno: la LCA, infatti, può essere considerata uno strumento affidabile se le biblioteche considerate rispettano rigorosi e trasparenti criteri di selezione e sviluppo delle raccolte, verificabili attraverso una "carta delle collezioni" resa pubblica, se esse adottano un filtro nell'accettazione dei doni, se studiosi qualificati esprimono un elevato grado di soddisfazione riguardo al livello di copertura bibliografica che tali biblioteche garantiscono, e così via.
Quelli appena citati sono tipici strumenti di lavoro delle biblioteche, che potrebbero essere messi a disposizione di una valutazione della ricerca calibrata sulle caratteristiche di un particolare settore, come è quello delle scienze umane e sociali.
[1] A partire dalla L. 168/1989 fino alla recente L. 240/2010, la cosiddetta "riforma Gelmini".
[2] Cfr. http://www.anvur.org/.
[3] Anche in queste aree non mancano le critiche. Si veda ad esempio Alessandro Figà Talamanca, L'impact factor nella valutazione della ricerca e nello sviluppo dell'editoria scientifica, in occasione del IV Seminario Sistema informativo nazionale per la matematica SINM 2000: un modello di sistema informativo nazionale per aree disciplinari. Lecce, 2 ottobre 2000, online su <http://siba2.unile.it/ sinm/4sinm/interventi/fig-talam.htm>.
[4] Giuseppe Vitiello, Il mercato delle riviste in Scienze umane e sociali in Italia: analisi quantitativa e sua evoluzione in ambito elettronico, «Biblioteche oggi», 23 (2005), n.1, p. 56-66: p. 57.
[5] Cfr. Robert King Merton, The Matthew effect in science, II. Cumulative advantage and the symbolism of intellectual property, «Isis», 79 (1988), p. 606-623, online su http://www.garfield.library. upenn.edu/merton/matthewii.pdf.
[6]Nigel G. Gilbert, Referencing as Persuasion, «Social Studies of Science», 7 (1977), n. 1, p. 113-122.
[7] Cfr. Diane Hicks, The four literatures for social science, in: Handbook of Quantitative Science and Technology Research, edited by Henk F. Moed, Wolfgang Glänzel, Ulrich Schmoch, Dordrecht: Kluwer Academic Publisher, 2004, p. 473-496.
[8] Alberto Baccini, Valutare la ricerca scientifica. Uso e abuso degli indicatori bibliometrici, Bologna: il Mulino, 2010, p. 198.
[9] Per seguire il dibattito sull'argomento si faccia riferimento a ROARS, Return on Academic Research, uno spazio online che vuole contribuire allo sviluppo di una discussione meditata e competente sui problemi dell'università e della ricerca. Cfr. www.roars.it.
[10] Cfr. Alfredo Serrai, Dai "loci communes" alla bibliometria, Roma: Bulzoni, 1984 (in particolare p. 199-229).
[11] Maria Cassella, Social peer-review e scienze umane, ovvero "della qualità nella Repubblica della scienza", «JLIS», 1 (2010), n.1, online su http://leo.cilea.it/index.php/jlis/article/download/30/35; Maria Cassella, La valutazione della ricerca nelle scienze umane, «Quaderni del CNBA», 2009, online su http://eprints.rclis.org/17801/; Maria Cassella - Oriana Bozzarelli, Nuovi scenari per la valutazione della ricerca tra indicatori bibliometrici citazionali e metriche alternative nel contesto digitale, «Biblioteche oggi», 29 (2011), n. 2, p. 66-78; Valentina Comba, La valutazione delle pubblicazioni: dalla letteratura a stampa agli Open Archives, «Bollettino AIB», 43 (2003), n. 1, p. 65-76; Antonella De Robbio, Open Archive. Per una comunicazione scientifica "free online", «Bibliotime», 5 (2002), n. 2, online su http://didattica.spbo.unibo.it/bibliotime/num-v-2/derobbio.htm; Antonella De Robbio, Analisi citazionale e indicatori bibliometrici nel modello Open Access, «Bollettino AIB», 47 (2007), n. 3, p. 257-287; Antonella De Robbio, Archivi aperti e comunicazione scientifica, Napoli: Clio Press, 2007, online su http://www.storia.unina.it/cliopress/derobbio.pdf; Antonella De Robbio, L'Open Access come strategia per la valutazione delle produzioni intellettuali, in: CIBER 1999-2009, a cura di Paola Gargiulo e Domenico Bogliolo, Milano: Ledizioni, 2009, p. 104-124, online su http://uniciber.it/index.php?id=535; Paola Galimberti, Verso un nuovo scenario per la valutazione della ricerca: potenzialità dell'Open Access e limiti imposti dal contesto, «JLIS», 1 (2010), n. 1, online su http://leo.cilea.it/index/jlis/article/viewFile/16/23; Paola Galimberti, A proposito di liste e rankings di riviste nelle scienze umane, sul sito ROARS. Return on Academic Research, online su http://www.roars.it/online/?p=2537; Tessa Piazzini, Indicatori bibliometrici: riflessioni sparse per un uso attento e consapevole, «JLIS», 1 (2010), n. 1, online su http://leo.cilea.it/index/jlis/article/ viewFile/24/38; Giuseppe Vitiello, Il mercato delle riviste in Scienze umane e sociali in Italia cit.; Mauro Guerrini, Nuovi strumenti per la valutazione della ricerca scientifica: il movimento dell'open access e gli archivi istituzionali, «Biblioteche oggi», 27 (2009), n. 8, p. 7-17; Mauro Guerrini, Gli archivi istituzionali, a cura di Andrea Capaccioni, con saggi di Antonella De Robbio, Roberto Delle Donne, Rosa Maiello e Andrea Marchitelli, Milano: Editrice Bibliografica, 2010; Nicola De Bellis, Bibliometrics and citation analysis: from the Science citation index to cybermetrics, Lanham (MD): Scarecrow Press, 2009; Anna Maria Tammaro, Qualità della comunicazione scientifica. Gli inganni dell' impact factor e l'alternativa della biblioteca digitale, «Biblioteche oggi», 19 (2001) n. 7, p. 104-107; Anna Maria Tammaro, Qualità della comunicazione scientifica - 2. L'alternativa all'impact factor, «Biblioteche oggi», 19 (2001) n. 8, p. 74-78; Ezio Tarantino, Troppo o troppo poco? Web of science, Scopus, Google scholar: tre database a confronto, «Bollettino AIB», 46 (2006), n.1/2, p. 23-34.
[12] Biblioteconomia. Guida classificata, diretta da Mauro Guerrini, Milano: Editrice Bibliografica, 2007.
[13]Daniel Torres Salinas - Henk F. Moed, Library catalog analysis as a tool in studies of social sciences and humanities: an exploratory study of published book titles in economics, «Journal of Informetrics», 3 (2009), n. 1, p. 9-26, online su eprints.rclis.org/15705.
[14] Cfr. Antonella De Robbio, L'Open Access come strategia per la valutazione delle produzioni intellettuali cit., p. 115.
CHIARA FAGGIOLANI - GIOVANNI SOLIMINE, Sapienza Università di Roma - Dipartimento di Scienze documentarie, linguistico-filologiche e geografiche, viale Regina Elena 295, 00161 Roma, e-mail chiara.faggiolani@gmail.com, giovanni.solimine@uniroma1.it.
Il contributo rispecchia globalmente le opinioni dei due autori: tuttavia, i paragrafi 1 e 3 sono stati scritti da G. Solimine e il paragrafo 2 da C. Faggiolani.