stampa

Quello che c’è da sapere sulla classifica Agenas dei migliori ospedali

Gentile direttore,
per il terzo anno consecutivo ho reagito con un riflesso pavloviano di disapprovazione e sconforto all’uscita della classifica dei migliori ospedali d’Italia frutto del Report 2024 del Programma Nazionale Esiti. Pur avendone già parlato qui su Qs due anni fa e un anno faho voluto provare ad approfondire questa storia della classifica e a ricostruirla in modo sufficientemente approfondito per offrirla a una riflessione più consapevole.

Alcune informazioni di base sul Programma Nazionale Esiti
Il PNE (definizione mia, come tutto il resto) è un programma gestito dalla Agenzia per i Servizi Sanitari Regionali (Agenas) con il supporto del Dipartimento di Epidemiologia della Regione Lazio – ASL 1 che dal 2012 monitora l’andamento della produzione ospedaliera di tutte le strutture accreditate del Servizio Sanitario Nazionale e molto altro attraverso un corposo e crescente numero di indicatori calcolati prevalentemente sulla base dei dati contenuti nelle Schede di Dimissione Ospedaliera. Il numero di indicatori è progressivamente cresciuto dai 32 dei primi giri di prova coi dati pubblicati nel 2012 ai 205 indicatori del Report 2024 di cui: 180 relativi all’assistenza ospedaliera (70 di esito/processo, 88 di volume e 22 di ospedalizzazione) e 25 relativi all’assistenza territoriale, valutata indirettamente in termini di ospedalizzazione evitabile (14 indicatori), esiti a lungo termine (7) e accessi impropri in pronto soccorso (4).

Gli indicatori di esito riguardano i risultati clinici delle attività in esame, quelli di processo riguardano la conformità delle attività a degli standard “gestionali” in termini ad esempio di tempestività degli interventi, mentre quelli di volume verificano se la produzione dell’attività in esame supera i valori soglia previsti per erogarla in condizioni di presumibile maggiore efficacia. Gli indicatori vengono calcolati in modo, almeno così pare a me, rigorosissimo in modo da consentire confronti sia nel tempo che nelle diverse realtà geografiche (Regioni e Aziende). Ogni anno viene pubblicato un Rapporto di Sintesi e resi disponibili nel sito tutti i materiali sia in termini di metodologia che di risultati.Ci sono nel sito anche aree dedicate anche alle valutazioni di equità, alla sperimentazione di nuovi indicatori e agli audit di verifica proposti alle Aziende per un approfondimento sui dati della ultima edizione. Il sito del PNE è una cornucopia potenziale di informazioni di solito poco sfruttata rispetto alle sue potenzialità.

Breve storia del difficile rapporto iniziale tra Programma Nazionale Esiti e classifiche
Il PNE nasce all’interno del mondo della epidemiologia italiana e in particolare del Dipartimento di Epidemiologia del Servizio Sanitario Regionale del Lazio che in collaborazione con l’Agenas pubblicò su Epidemiologia e Prevenzione nel 2011 (stralcio dalla premessa dell’articolo) una guida introduttiva ai metodi epidemiologici per gli studi di valutazione comparativa di esito degli interventi sanitari. Nel 2012 il PNE emerge alla attenzione nazionale con la pubblicazione dei primi dati sulle performance degli ospedali italiani, dati che immediatamente e per certi aspetti inevitabilmente si trasformarono subito in classifiche come scrisse su Qs Cesare Fassari che titolava proprio "Guai" a chiamarla classifica. Ma invece è proprio quello che servirebbe”. Qs dedicò anche uno speciale al PNE nel maggio dello stesso anno con una analisi dei dati Regione per Regione. Sin dai primi anni del PNE era continuamente ribadito dai suoi curatori che non dovesse essere usato per fare classifiche.

Ad esempio nella Sintesi del 2014 troviamo scritto che “PNE non fornisce graduatorie, pagelle o giudizi né a livello regionale né a livello di struttura. Ogni indicatore di esito misura caratteristiche diverse del processo assistenziale e ha peso diverso in termini di rilevanza del problema e impatto sulla salute, pertanto non è possibile costruire indicatori sintetici che riassumano in un'unica misura o giudizio la qualità di un sistema regionale, di un'azienda territoriale o ospedaliera.” Questa idiosincrasia dei curatori del PNE nei confronti delle classifiche è testimoniata dal fatto che per diversi anni (sia nel 2016 che nel 2017 e 2018) nella copertina della Sintesi c’era la solita frase “PNE non produce classifiche, graduatorie, giudizi”. Non a caso i due direttori scientifici del PNE che si sono avvicendati in quel periodo in due vecchie interviste sempre su Qs hanno insistito su questo aspetto del PNE che non va usato per fare classifiche, Carlo Perucci nel 2013 e Marina Davoli nel 2014. Che cosa ha risvegliato allora negli ultimi anni l’improvviso interesse dell’Agenas nei confronti delle classifiche al punto da dare addirittura un premio ai “migliori” ospedali d’Italia? Per tentare di farsene una idea bisogna ricostruire un po’ la storia del cosiddetto treemap che è l’elaborazione alla base della classifica degli ospedali.

La storia del treemap
Ogni sistema di monitoraggio cerca di trovare il modo di rappresentare sinteticamente e visivamente i propri risultati e magari di arrivare a un “punteggio” finale complessivo e significativo. Per riuscirci il PNE ha fatto ricorso al treemap. Parlare del treemap, che in questa storia gioca un ruolo importantissimo, non è semplice perché è una elaborazione visivamente semplice, ma metodologicamente complessa. Il treemap è una novità introdotta nella Edizione del PNE del 2016, alla cui lettura si rimanda e dove (vedi Figura 1) viene molto ben descritto: “Gli ambiti assistenziali ospedalieri considerati nella valutazione sintetica riguardano 7 aree cliniche (NB: tra parentesi ho aggiunto io il numero di indicatori previsto per ciascuna area): cardiocircolatorio (6), nervoso (2), respiratorio (1), chirurgia generale (2), chirurgia oncologica (5), gravidanza e parto (3) e osteomuscolare (2). Per ogni stabilimento ospedaliero, il treemap è costruito in modo tale che l’area del rettangolo di ogni area clinica sia proporzionale al totale dell’attività complessiva delle 7 aree cliniche considerate.” Nel tempo tra l’Edizione 2016 e quella 2024 nei treemap qualcosa è cambiato e ad esempio si è aggiunta un’area clinica nel 2023, quella nefrologica. Ma l’impianto del treemap che poi verrà tradotto in una classifica c’è già tutto nella sua prima versione, in cui però di classifica non si parla proprio. Ecco i peccati originali del treemap (che coincidono in larga misura con i limiti del PNE) che lo rendono inadatto a fare classifiche generali degli ospedali:

• mancano molte aree cliniche fondamentali come quella traumatologica, quella critica, quella urologica, quella neonatologica e pediatrica, quella di molte chirurgie specialistiche (come l’oculistica, la chirurgia maxillo-facciale e l’ORL) e quella di oncologia medica;
• non viene inclusa la valutazione degli esiti sensibili all’assistenza infermieristica;
• per molte aree l’indicatore è “debole” come per quella pneumologica;
• l’attribuzione dei pesi a ciascun indicatore dentro una area clinica e i punteggi dati al valore di ciascun indicatore sono ovviamente stime discutibili anche se fondate.

Il treemap diventa una classifica
Nella edizione 2020 che analizza i dati del 2019 compare una Figura (la 2)con una elaborazione che negli anni successivi porterà alla classifica dei migliori ospedali. Nella Figura vengono riportati e tabellati i treemap di 893 strutture ospedaliere su 1385 (64%). Le strutture che sono state valutate per almeno un indicatore per ciascuna delle 7 aree sono 192; tra queste solo 4 strutture raggiungono livelli di qualità alti o molto alti per tutte le aree valutate. Ma per quest’anno non c’è ancora il “premio”.

Nella edizione 2021 quella elaborazione non c’è più, ma torna nella edizione 2022 (vedi Figura 3) che porta ai primi “vincitori”. Nella Figura non viene riportata alcuna struttura che risulta di livello 1 e 2 (quindi aderente a livello alto o molto alto) in tutte e sette le aree. Il giorno della presentazione dei dati 2021, il 6 dicembre 2022, si legge su Qs che sono stati conferiti da Agenas, per il primo anno, nel corso della presentazione del “Pne”, i Premi PNE 2021 a due strutture ospedaliere che hanno raggiunto la migliore valutazione di qualità alta o molto alta per tutte le aree cliniche considerate nell’ambito del treemap: sono l’Azienda Ospedaliera “Umberto I - G. M. - Lancisi” di Ancona e l’Irccs Humanitas Research Hospital di Rozzano (Milano). Mistero: nella Tabella nessuna struttura risulta avere avuto una valutazione di aderenza agli standard molto alta e alta in tutte le aree e sono quattro quelle che l’hanno avuta in sei su sei. E poi che premio PNE è un premio di cui il Rapporto PNE non parla e che non “giustifica”? Ad ogni buon conto dalla home del sito del PNE scompare definitivamente dopo il mio commento al premio la dicitura “PNE non produce classifiche, graduatorie, giudizi”.

L’anno successivo nell’edizione 2023 coi dati 2022 il Report del PNE riporta la stessa Tabella (vedi Figura 4), ma stavolta con un’area clinica in più. Anche in quest’anno in base alla tabella nessuna struttura raggiunge il livello 1 e 2 in tutte le aree valutate e solo una lo raggiunge in 7 su 8. Leggiamo su Qs del 26 ottobre 2023 che “Brilla un’unica stella nel panorama delle strutture con le migliori performance e in più aree: l’Istituto Clinico Humanitas di Rozzano. Mentre nel pubblico si afferma l’Azienda Ospedaliero Universitaria delle Marche.” Ancora una volta il Rapporto PNE non parla del premio PNE e dalla tabella coi dati che sintetizza i dati che dovrebbero motivarlo non si capisce da dove scappino fuori i vincitori.

Arriviamo all’edizione 2024 con la solita Tabella (vedi Figura 5) e questa volta i premiati sono tre. Leggiamo sempre da Qs che “quest’anno sul podio di Agenas troviamo l’Ao Careggi con le migliori performance e in più aree, a pari merito con l’Azienda Ospedaliero Universitaria delle Marche e poi come lo scorso anno l’Istituto Clinico Humanitas di Rozzano.” Ancora una volta Tabella e classifica “non battono paro” visto che i premiati sono tre e quelli altamente aderenti in tutte le aree sono due. Ancora una volta poi il Rapporto PNE non parla del premio PNE.

Valutazione di sintesi sulla classifica Agenas dei migliori ospedali
La scelta di usare il PNE negli ultimi tre anni per fare la classifica dei migliori ospedali è incomprensibile sul piano tecnico ed è strano che il Rapporto PNE di quegli anni non ne parli mai e che non ne chiarisca mai i criteri di attribuzione. Quello che invece risulta comprensibilissimo è l’impatto politico e mediatico di quella classifica. Sul piano politico al nuovo Governo e al nuovo Ministro appena insediatisi questa classifica piacque sicuramente moltissimo, tanto che per le Marche governate dal centrodestra questa classifica è stata addirittura utilizzata per giustificare la scelta di Ancona come sede del G7 Salute. Non si contano infatti le volte in cui i rappresentanti della Giunta della Regione Marche hanno citato e citano quotidianamente questa medaglia in modo da distogliere l’attenzione con questa classifica dai problemi enormi che vive la sanità delle Marche. L’effetto mediatico a livello nazionale è stato enorme con tutta la stampa generalista a riportare e commentare la classifica da la Repubblica, ad Avvenire, Corriere della Sera, la Nazione e via via tutti gli altri.

L’Agenas si è presa la responsabilità di avvallare una classifica che passa per scientifica della qualità degli Ospedali italiani, che scientifica non è nemmeno alla lontana. Credo che così si faccia un pessimo servizio alla sanità pubblica del nostro Paese, si svilisca l’enorme impegno che sta dietro al PNE, un granissimo contributo della epidemiologia italiana al monitoraggio e alla evoluzione del Ssn, si distolga l’attenzione dall’enorme patrimonio di dati che il PNE mette a disposizione.

Claudio Maria Maffei

Più garanti e meno garanzie?

Occorre rilanciare la lotta agli sprechi in sanità

La montagna partorisce (forse) un topolino

Il Governo ha fallito sulle questioni più importanti per la vita dei cittadini come la sanità

Il Ssn invecchia male ma non è con la propaganda che si salverà

Il mendacio non fa bene alla salute