Si è svolto nel pomeriggio del 17 maggio 2012 presso l'aula Marconi del CNR di Roma il convegno "ANVUR e politiche di sistema", organizzato dalla FLC CGIL. Provo a darne un resoconto:
errori ed omissioni sono miei, mi scuso preventivamente con gli intervenuti. Molti interventi dei ricercatori presenti erano legati all'importante dibattito in corso nel CNR, soprattutto alla auto-sospensione dalla VQR nel CNR; questo tema verrà certamente affrontato in altre sedi. Voglio qui condividere con i colleghi alcuni spunti sulla logica, sulla metodologia, e anche sugli esiti che avrà la valutazione della qualità della ricerca, VQR 2004-2010, che mi sono sembrati interessanti e spero di avere colto correttamente.
Ha aperto i lavori il segretario generale FLC CGIL, Domenico Pantaleo, che ha richiamato l'importanza della valutazione e la forte volontà da parte dei ricercatori di non sottrarsi ma, al tempo stesso, di seguire la corretta logica: prima vanno valutate le istituzioni di ricerca, tenendo conto delle risorse disponibili, e solo in seguito si potrà procedere alla valutazione dei singoli all'interno di ciascuna istituzione. Si sono quindi succeduti tre interventi tecnici incentrati sulla valutazione della ricerca in Italia, analizzando le caratteristiche della VQR in confronto con i modelli dei principali paesi avanzati, sulle peculiarità e sui costi di questo complesso esercizio valutativo, e sull'utilizzo di strumenti bibliometrici.
Alberto Baccini, prof. ordinario di Economia politica presso l'Università di Siena ha introdotto la VQR, sottolineando - tra l'altro - come sebbene l'ANVUR meglio avrebbe fatto a definire i ricercatori come "soggetti interessati" piuttosto che "soggetti valutati": l'obiettivo finale è quello di fornire un ranking delle istituzioni scientifiche e non di valutare i singoli. Ha quindi messo in evidenza la commistione tra il livello della decisione politica, e quello della pianificazione e implementazione della valutazione. Alcune delle scelte più caratterizzanti della VQR, in effetti, sono state compiute direttamente dal Ministro Gelmini: la griglia di valutazione 50:10:20:20, i punteggi attribuiti alle quattro classi, 1:0.8:0.5:0, ma anche un punto assolutamente rilevante come la penalizzazione di -0.5 per ogni prodotto mancante e di -1/-2 per i non valutabili/plagi. In questo senso, ha richiamato il principio di separazione tra il livello politico, che definisce gli obiettivi, mentre la metodologia e l'attuazione devono essere in capo a un soggetto terzo, quindi un'agenzia indipendente e non un organismo esecutivo del Ministero, quale è l'ANVUR.
Passando poi al confronto con i principali modelli di valutazione che dal 1986 sono stati utizzati nei vari paesi sviluppati, ha sottolineato come a fronte di taluni aspetti in comune con la VQR, molte delle scelte che l'ANVUR ha compiuto sono inedite, in particolare la scelta di avere una grossa frazione di bibliometria sul singolo prodotto (il REF/RAE britannico analizzava i singoli prodotti ma integralmente in peer-review), o sono state esplicitamente abbandonate, come la compilazione di classifiche bibliometriche di riviste, poi apertamente sconfessata dalla valutazione australiana.
Giorgio Sirilli, dirigente di ricerca presso l'ISSiRFA del CNR, economista e statistico, ha sottolineato la scarsissima partecipazione di esperti di ricercatori CNR e in generale degli enti di ricerca tra i 249 membri dei GEV nonché il costo e la complessità dell'operazione VQR che coinvolge 58 mila ricercatori/professori universitari, 8 mila ricercatori degli Enti, per valutare oltre 200 mila prodotti. Un altro punto di forte critica è stata la scelta di richiedere 3 pubblicazioni per professore a fronte di 6 prodotti per ricercatore degli Enti, una differenza che non troverebbe giustificazione nel carico didattico in quanto anche negli Enti c'è una grossa fetta di attività che non può produrre o essere misurata con articoli scientifici.
Quali e quanti indicatori saranno l'output della VQR? Gli indicatori individuati dall'ANVUR sono 15, 7 dei quali di "area", cioè propri della disciplina, e 8 di "terza missione". Già a questo livello, il peso di ricerca e terza missione sono diversi per Università e Enti di ricerca. Una possibilità è quella di avere un unico indicatore sintetico, ovvero due, uno di area e uno di terza missione, un'altra è quella di avere un "cruscotto" con tutti gli indicatori.
Giuseppe De Nicolao, professore di Automatica presso l'Università di Pavia, ha ripreso l'analisi del prof. Baccini, sottolineando il carettere fortemente sperimentale della VQR e le scelte inedite compiute dall'ANVUR: oltre alla scelta di mandare una grossa quota di singoli prodotti in analisi bibliometrica, la scelta di avere 14 diverse bibliometrie, una per GEV e l'introduzione di indicatori mai utilizzati in precedenza, come i cosiddetti "quadrati magici" che combinano due diversi indicatori, come l'impact factor e le citazioni. L'altro aspetto sottolineato da De Nicolao, oltre a un cattivo design, a suo giudizion, della VQR, è stato l'estrema drammatizzazione di quello che sarà l'utilizzo del risultato della VQR: per punire sottraendo risorse o addirittura per chiudere sedi universitarie.
Illuminante, in questo senso, l'esempio concreto che illustra come la regola del -0.5 per le pubblicazioni mancanti abbia l'effetto che un ricercatore inadempiente ha un effetto sulla valutazione complessiva dell'Ente tanto negativo da neutralizzare - in pratica - il lavoro di un ricercatore eccellente, con un forte effetto di distorsione, poi, in fase di ridistribuzione della quota premiale dei finanziamenti.
A questi tre interventi è seguita una tavola rotonda, moderata da Anna Villari, direttrice della rivista Articolo 33, con i presidenti di ANVUR, CRUI, INGV, INFN, CNR e con il Ministro Profumo che ha seguito praticamente l'intero convegno con attenzione e partecipando attivamente al dibattito, e con Francesco Sinopoli della segreteria nazionale FLC.
Il prof. Fantoni, presidente ANVUR, ha richiamato l'apertura ai commenti e ai contributi della comunità, prima della pubblicazione del bando definitivo della VQR, ha sottolineato l'elevato profilo ed esperienza dei membri dei GEV. Nel corso del dibattito ha aperto al contributo di esperti di valutazione del CNR e al confronto con le critiche, anche aspre, del gruppo ROARS, pur sottolineando come la VQR sia oramai nella sua fase operativa e sia necessario arrivare ai risultati nei tempi previsti.
Il presidente del CNR, Nicolais, ha ribadito l'importanza di valutare le strutture di ricerca, sottolineando come in nessun modo la VQR può essere utilizzata per valutare i singoli ricercatori e che questa in ogni caso non è la volontà dell'ANVUR - come esplicitato del bando - ma anche degli Enti. E' l'Ente di ricerca che deve avere la capacità di valutare i propri ricercatori, mentre è legittimo che il livello politico chieda conto agli Enti delle risorse loro affidate, valutando i risultati. Ha anche sottolineato la necessità di rivedere le missioni degli Enti, definendole con più chiarezza.
Anche il presidente dell'INGV, prof. Gresta nel sottolineare il fatto che il settore della Ricerca e Università è praticamente l'unico a sottoporsi alla valutazione, ha espresso la netta contrarietà a utilizzare la valutazione delle strutture, qual è la VQR, per valutare i singoli. Ha poi espresso la difficoltà di inquadrare nella cornice della VQR una moltitudine di attività dell'Istituto, quali monitoraggio dei vulcani, attività di servizio verso la società, educational, di formazione per scopi di protezione civile, attività museali e molte altre.
Il presidente della CRUI, prof. Mancini, ha anche messo in evidenza l'unicità del settore della Ricerca e dell'Università, aggiungendo che i risultati della valutazione già da tempo contribuiscono ad attribuire, almeno in parte le risorse alle amministrazioni, caso unico in Italia. Ha poi espresso la necessità che, in virtù di una valutazione che è in realtà continua e molto incisiva, questo settore sia chiaramente differenziato dal resto delle pubbliche amministrazioni, anche con interventi legislativi.
Il prof. Ferroni, presidente dell'INFN, non solo si è unito nel ribadire l'importanza della valutazione, ma ha anche ricordato l'esperienza decennale di valutazione, tramite dei gruppi di lavoro permanenti e da parte di un comitato internazionale e indipendente di valutazione.
Ha poi messo in evidenza un aspetto fondamentale della VQR, cioè il ruolo assolutamente passivo cui sono costretti i ricercatori ai quali necessariamente deve essere richiesta collaborazione ma che non hanno alcuna libertà di scegliere le pubblicazioni perché altrimenti, date le regole dettate dall'ANVUR, si otterrebbe un risultato sostanzialmente random, quindi penalizzante per la valutazione dell'Ente. Le regole della VQR, quindi, ledono l'autonomia del ricercatore. E' chiaro che l'INFN non ha alcuna intenzione di utilizzare i risultati elementari della VQR per la valutazione dei ricercatori, perché non avrebbe alcun significato, ma è assolutamente necessario che questo sia affermato con molta nettezza e in modo ufficiale anche dall'ANVUR e dal Ministro.
L'INFN vuole e farà una valutazione dei suoi ricercatori e tecnologi, e anzi aspetta un aiuto da parte dell'ANVUR per predisporre questa valutazione.
Rispetto alle peculiarità della comunità scientifica dell'INFN, ha ricordato che se è vero che i grandi gruppi di ricerca che lavorano a imprese internazionali gigantesche che richiedono enormi apparati e molti anni di realizzazione (con poche pubblicazioni), poi queste collaborazioni producono risultati e pubblicazioni scientifiche a ritmo impressionante quando inizia ad operare, ad esempio, un acceleratore unico al mondo come l'LHC. Dall'altra parte, realizzazioni di straordinario impatto anche per la società, come il Centro di Adroterapia Oncologica, ricaduta della fisica degli acceleratori, vengono considerate dalla VQR, al massimo, come una singola eccellente pubblicazione. Questo chiaramente non può dare conto di quanto fa l'INFN in particolare, ma più in generale un ente di ricerca.
Il prof. Francesco Profumo, Ministro dell'Istruzione, Università e Ricerca, è intervenuto più volte nel dibattito, anche rispondendo alle domande di alcuni ricercatori e ha espresso alcuni punti molto importanti.
Ha sottolineato in modo molto netto che la VQR è e non può che essere una valutione delle istituzioni scientifiche, Università e Enti.
La VQR deve essere intepretata come una sperimentazione, un work-in-progress certamente da migliorare, che sarà uno ma non l'unico degli indicatori che servirà a attribuire le quote premiali. Anche se non ama le classifiche, il Ministro ha sottolineato di perseguire la trasparenza, e quindi che i risultati, in qualsiasi forma verranno prodotti, dovranno avere la massima pubblicità.
Il Ministro ha invitato gli Enti alla responsabilità di farsi valutare e di governare il processo di valutazione, cercando di presentare al meglio le proprie potenzialità e qualità.
L'obiettivo, comunque, non è affatto quello di mortificare le istituzioni di ricerca valutate, ma al contrario di utilizzare la valutazione per migliorare.
Un altro spunto interessante degli interventi del Ministro è stato il sottolineare il ruolo crescente che avranno le attività didattiche degli Enti, a partire dal dottorato di ricerca, e delle attività di terza missione per le università. Quindi la valutazione della ricerca non è l'unica valutazione da effettuare. Come sottolineato anche dal presidente ANVUR, sarà necessario valutare le università anche rispetto alla didattica.
La valutazione ex-post come la VQR, inoltre, ha un ruolo importante per aiutare il sistema della ricerca a migliorare anche nei casi in cui è fondamentale la valutazione ex-ante e la partecipazione a bandi per finanziamenti competitivi. Il Ministro ha sottolineato che è di fondamentale importanza migliorare il ritorno dell'investimento del nostro Paese in fondi europei per la ricerca, così come l'impiego dei fondi strutturali. Tutto questo in un quadro di accresciuto legame e sinergia tra i fondi strutturali e i fondi per la ricerca, anche in connessione con i territori.
Tra i numerosi interventi dalla platea dei ricercatori presenti, mi piace ricordare e sottolineare quello di una ricercatrice che ha sottolineato che la valutazione non può e non deve essere utilizzata per giustificare ulteriori tagli al sistema della Ricerca italiana, che in molti casi si trova già al livello - o sotto il livello - di sopravvivenza. La quota premiale fino a oggi distribuita agli enti di ricerca, per esempio, è in realtà una quota del fondo ordinario stornata per questo scopo. Non si può considerare un premio gli strumenti indispensabili al sistema della ricerca per svolgere il suo compito, non solo di avanzamento della conoscenza, ma anche di principale driver dell'innovazione e della ripresa economica.