Žebříčky nemocnic HCI – blamáž, nebo divadlo pro sponzory?

07.12.2009

„Anketa žebříčků nemocnic HealthCare Institute nedodržuje ani ty základní metodické principy, které jsou pro podobné výzkumy naprostou samozřejmostí. Pokud nějaká nemocnice poctivě pracuje na zvyšování kvality péče a zveřejnění takovéto neodborné ankety ji potom poškodí, je to ztráta pro nás, pro všechny potenciální pacienty,“ píše pro MT RNDr. Tomáš Raiter, řešitel projektu Kvalita Očima Pacientů.

Bývalý lobbista a ředitel lobbingové agentury Burton Consulting si založil neziskové sdružení, které nazval světově HealthCare Institute (HCI), a zásobuje nás žebříčky nemocnic. To není vtip! Skutečně. Člověk, který ještě nedávno nabízel na internetu lobbingové služby v oblasti průmyslu, bankovnictví, realit, telekomunikací a také zdravotnictví, dnes sděluje celému národu, která nemocnice je kvalitní a která méně. A některá média a někteří zdravotníci mu to baští. Každý, kdo někdy přišel do styku s kvalitním pacientským výzkumem, musí být zděšen.
Když „kvalitu“ dat HCI, z nichž se žebříčky sestavují, prokoukla MF Dnes a z projektu vycouvala, nechaly se letos nachytat na švestkách Hospodářské noviny. Nemějme jim to za zlé, uvěřili jen tomu, že když něco zaštítí předseda Senátu ČR, musí to být dobré. Nebylo. Dobrý byl nejspíš jen kmotr, který předsedu přesvědčil. Ale postupně.

Jak se vlastně taková nekvalitní anketa prodává?
Není to snadné, ale lobbista a mediální odborník ví, jak na to. Především nemůžete takové výsledky jen tak vzít a zveřejnit. Všichni by pátrali po tom, kde se vzaly, jak byly získány a jestli jsou opravdu spolehlivé. Když je ale zveřejníte jako zlatý hřeb večera velké a pokud možno mezinárodní konference a když pro takovou konferenci získáte záštitu Senátu ČR a vystoupí na ní významné osobnosti českého zdravotnictví, už se nikdo na původ a kvalitu výsledků ptát nebude. Budou jaksi automaticky zaštítěny těmito velikány. S takovou záštitou se navíc řečníci z oboru na konferenci jen pohrnou, tím spíše, že motto konference bude vznešené a odborníci nebudou muset platit tučný konferenční poplatek.
Řeknete si: „Dobrá, co je na tom špatného uspořádat konferenci o kvalitě a efektivitě našeho zdravotnictví?“ Je to přece téma jako hrom a každá diskuse o něm je potřebná a záslužná. A přesto to není v pořádku. Každý řečník takové konference, nejspíš vůbec netušící, čemu svým vystoupením slouží, je pak automaticky používán jako „garant“ nekvalitní ankety, na základě níž byly žebříčky nemocnic sestaveny a které jsou zveřejněny jako vrcholný akt konference.
Že nepřeháním, zjistíte, když nahlédnete do „Souhrnné zprávy – Žebříček nemocnic ČR 2009“. Místo standardních informací o metodice výběru a počtech respondentů v jednotlivých hodnocených nemocnicích zde hned v úvodu naleznete ujištění, že vyhlášení výsledků proběhlo za účasti předsedy Senátu a ředitelů a majitelů nemocnic a zdravotních pojišťoven. Jinými slovy, výsledky nekvalitní ankety o kvalitě potřebují hezkou pentli v podobě kvalitních „ručitelů“, která zakryje ten brak v jejích metodických vnitřnostech. Účast naštěstí odmítly některé odborné zdravotnické autority, jako je Ministerstvo zdravotnictví ČR a Spojená akreditační komise ČR, které si včas uvědomily, oč tu běží. Děkuji jim za projevenou soudnost.

Proč je tedy vlastně anketa, z níž HCI sestavuje žebříčky nemocnic, tak špatná?
Protože nedodržuje ani ty základní metodické principy, které jsou pro podobné výzkumy naprostou samozřejmostí. Předesílám, že nemám nic proti srovnávání výsledků hodnocení zdravotnických zařízení pacienty jako takovému. Naopak, jsem přesvědčen, že je to velmi efektivní nástroj pro informování veřejnosti a zvyšování kvality poskytovaných služeb. Je však třeba si uvědomit, že takový benchmarking je nejen efektivní, ale také velmi agresivní metodou zvyšování kvality (porovnáváme a zveřejňujeme!), a je proto velmi citlivý na dodržování etiky a korektní metodiky jak při sběru dat, tak potom při jejich interpretaci a publikování.

Deset hříchů ankety HCI Rozbor všech odborných a etických pochybení, jež anketa HCI zveřejněná na zmíněné konferenci vykazuje, by vydal na delší traktát, ale zmíním se aspoň o těch, která považuji za zřejmá na první pohled:
Nejedná se o výběrové šetření -mající zkušenost nebo spokojenost pacientů s poskytovanou péčí, za něž se anketa HCI vydává, ale jde o anketu bez dodržení metodiky sběru, jejímž výsledkem je spíše jakýsi nepřesný údaj o image nemocnic. Data pro veřejné hodnocení nemocnic nelze sbírat formou ankety bez metodických pravidel.
2. Anketa není založena důsledně na výpovědích pacientů, protože významná část „hlasů“ je sbírána prostřednictvím internetu, a soubor dotázaných je nekontrolovatelný. 3. Při zpracování se míchají dohromady výpovědi získané na internetu s dotazníky z nemocnice. Ani jeden z těchto podsouborů není reprezentativním vzorkem pacientů, natož jejich kombinace.
4. Výsledky kombinují výpovědi ambulantních pacientů s pacienty lůžkovými, čímž vzniká nesmysl, protože oba typy pacientů vnímají problematiku rozdílně a také o ní rozdílně vypovídají. Navíc nejsou zastoupeni v odpovídajícím poměru.
5. Výsledky míchají dohromady nedefinovaným způsobem výpovědi pacientů s různým časovým odstupem od hodnocené zkušenosti s poskytnutou zdravotní službou. Bylo prokázáno v kvalitních výzkumech, že výpověď pacienta při opouštění nemocnice je jiná (přísnější) než výpověď téhož pacienta o stejné zkušenosti s odstupem několika týdnů. HCI kombinuje pacienty v nemocnici s pacienty, kteří v nemocnici byli před více než třemi měsíci.
6. Protože nejsou metodicky korektně zachovány proporce pacientů různých typů v porovnávaných nemocnicích, nemůže být porovnání objektivní a znevýhodňuje některé nemocnice.
7. Celkové počty respondentů jsou naprosto nedostatečné. Sice uvádějí, že získali dvakrát více odpovědí, ale už nezdůrazňují, že za čtyřikrát delší období, takže návratnost klesla na polovinu k hodnotám hluboko pod jedno procento. Mezinárodní standardy požadují aspoň 50 až 60 procent! Toho jsou si autoři zřejmě vědomi, a proto důsledně uvádějí jen pro nezasvěceného impozantně vypadající celkový počet všech respondentů (pacienti i zaměstnanci dohromady 35 000), ale důsledně se vyhýbají uvádění počtů za jednotlivé nemocnice. Před rokem tato čísla HCI unikla a neštěstí bylo na světě. Tak jen pro zajímavost pár příkladů: FN Plzeň – 37 respondentů, Fakultní Thomayerova nemocnice – 42 respondentů, FN Brno – 81 respondentů. Letos zatím údaje zveřejněny nebyly, ale počítejme: Projektu se účastnilo „skoro třicet tisíc“ pacientů, řekněme třicet tisíc. Pacienti hodnotili 160 nemocnic. Sběr dotazníků trval osm měsíců. Z toho si snadno spočítáte, že v průměru za jeden měsíc hodnotilo jednu nemocnici asi 23 respondentů. Z nich ještě část odpovídala prostřednictvím internetu. Pokud je odečteme jako nespolehlivou výpověď, zjistíme, že sotva 20 pacientů měsíčně hodnotilo nemocnici na základě své zkušenosti. To jsou ale jen průměrná čísla, takže velká část nemocnic je na tom ještě hůře. Autoři sami uvádějí, že do zpracování zařadili nemocnice, které za osm měsíců získaly aspoň 30 respondentů, tedy necelé čtyři pacienty měsíčně, lůžkové i ambulantní dohromady. Ambulantních pacientů bývá obvykle o řád více než lůžkových. Z toho je zřejmé, že měsíčně hodnotilo průměrnou nemocnici méně než deset lůžkových pacientů. Měsíčně však takovou nemocnicí projdou stovky nebo tisíce pacientů. Každému, kdo není na hlavu padlý, musí být zřejmé, jaká je vypovídací schopnost tohoto dle Hospodářských novin unikátního projektu a co mohou taková data nemocnici přinést pro její management kvality péče.
8. U anket s takto nízkou návratností se navíc silně projevuje efekt, kdy získané odpovědi jsou převážně od respondentů s výraznou motivací vyjádřit se. Jinými slovy, odpovědí jen okrajové skupiny těch hodně naštvaných a nekriticky spokojených. Většinový „normální“ respondent v souboru chybí. Další velkou nevýhodou takto nepočetných sběrů je snadná možnost nežádoucího účelového zkreslení výsledku, zvláště pokud je tak významná část sebraných dat z internetu, tedy mimo jakoukoli kontrolu. Stačí z internetu poslat pár skvělých hodnocení měsíčně a jste nejlepší nemocnicí roku.
9. Velkým pochybením HCI je prezentace výsledků bez intervalů spolehlivosti zjištěných hodnot. Pořadí hodnocených subjektů tak nelze objektivně posoudit. Při překrytí intervalů spolehlivosti dvou nebo více hodnocených subjektů totiž nelze statisticky spolehlivě určit, který subjekt byl hodnocen lépe a který hůře. Je zřejmé, proč HCI tyto intervaly neuvádí. Pravděpodobně by se potvrdilo, že pořadí subjektů z takto nekvalitních dat vůbec nelze stanovit.
10. Nelze pominout také některé etické prohřešky, jež světové standardy výzkumu přísně zakazují, jako je záplava sponzorských reklam na všech výzkumných materiálech a elektronických dotaznících a naprosto nevyhovující úprava anonymity respondenta, kdy dotazník obsahuje požadavek na uvedení jména příjmení i adresy respondenta a nabízí mu zasílání nabídek („informace a novinky“) z oblasti zdravotnictví. To je vše v příkrém rozporu s mezinárodními etickými standardy světové asociace ESOMAR pro provádění výzkumů.
To, že někdo doběhl předsedu Senátu, to že si Hospodářské noviny nepohlídají kvalitu díla, kterému poskytnou takovou publicitu, dokonce i to, že se k propagaci připojí některé zdravotní pojišťovny, nebo dokonce odborný zdravotnický tisk, to vše by se dalo nějak vysvětlit a omluvit. Všichni jsme jen lidé a statistika není to, čím se obvykle bavíme. Za nejhorší však považuji skutečnost, že podobně nekvalitní projekty maří dlouholetou práci řady lidí ve zdravotnictví.
Pokud nějaká nemocnice poctivě pracuje na zvyšování kvality péče a investuje do zlepšení svých služeb finanční prostředky a lidské zdroje a zveřejnění takovéto neodborné ankety ji potom poškodí, je to ztráta pro nás, pro všechny potenciální pacienty. Už vůbec nemluvím o tom, že podobně nekvalitní ankety devalvují hodnotu jiných projektů v oblasti měření kvality zdravotní péče prostřednictvím zkušenosti pacientů snažících se poctivě respektovat všechny metodické principy.
Takže, pane Vavřino z HealthCare Institute, za lobbing a medializaci ankety máte jedničku s hvězdičkou, za kvalitu dat, vypovídací schopnost žebříčků a podporu kvality českého zdravotnictví je to na reparát. Nebo radši ne.
Ty, kdo by nabyli dojmu, že se jedná zas o další kritiku bez pozitivního lepšího řešení, odkazuji na portál kvality ministerstva zdravotnictví, kde naleznou informace o projektu Kvalita Očima Pacientů – měření kvality zdravotní péče prostřednictvím zkušenosti/spokojenosti pacientů. Ten na rozdíl od kritizovaného respektuje všechny mezinárodní metodické standardy kladené na tyto pacientské výzkumy.

RNDr. Tomáš Raiter, autor je řešitel projektů ve zdravotnictví Kvalita Očima Pacientů