Zusammenfassung: Der HTA Statinbericht wurde am 26.10.2020 den Stakeholdern zur Prüfung vorgelegt, wobei wir sofort einen zentralen Fehler entdeckt und interveniert haben. Der Fehler wurde korrigiert und ein neuer Report erstellt. Die Herausgabe des korrigierten Berichts wurde erst nach Intervention des VEMS an die Stakeholder weitergeleitet. Details im Folgenden.
Im Jahr 2020 vergibt das BAG einen HTA Auftrag zur Erfassung der Kosteneffektivität und zur Analyse des Budget Impact von Statinen in der medizinischen Grundversorgung.
Es wurde ein Scoping Bericht erstellt und an zahlreiche Stakeholders versandt. Das BAG hat die Antworten auf diesen Bericht online publiziert.
Anschliessend wurde der HTA Auftrag vergeben und der Bericht erstellt.
Wir haben am 27.10.2020 diesen Bericht kurz durchgeschaut und zentrale Fehler entdeckt, welche dem BAG umgehend mitgeteilt wurden: “ Von: VEMS Präsident michel.romanens@vems.ch. Gesendet: Montag, 26. Oktober 2020 17:36. An: Appenzeller Campana Katrin BAG katrin.appenzellercampana@bag.admin.ch; Walter Riesen wf.riesen@bluewin.ch. Betreff: Re: Stakeholder Konsultation zum HTA Bericht Statine in der Primärprävention. Sehr geehrte Frau Appenzeller. Besten Dank für die Zusendung des HTA Berichts zu den Statinen. Gerne werde ich dazu differenziert Stellung nehmen. Ich möchte aber jetzt schon darauf hinweisen, dass ein grundlegender Fehler gemacht wurde. Mit dem AGLA Rechner lässt sich das absolute Risiko in % berechnen, innerhalb von 10 Jahren ein tödliches Koronarereignis oder einen nicht-tödlichen Myokardinfarkt zu erleiden. Dies entspricht also dem tödlichen oder nicht-tödlichen CHD (coronary heart disease) Risiko. Im Bericht steht jedoch irrtümlicherweise mit Verweis auf die AGLA Website (Referenz Nr 79), dass der AGLA Rechner das nicht-tödliche (CHD) und das tödliche CVD (cardiovascular disease) berechnen würde (siehe Tab 3.1 und Box 1 im Bericht). Das ist falsch. Tödliche Hirnschläge sind im AGLA Rechner nicht inbegriffen. Damit ist der HTA Bericht von einer falschen Prämisse ausgegangen, was natürlich alle weiteren Berechnungen verfälscht. Ein weiteres Problem stellt die Tatsache dar, dass im CVD auch PTCA und CABG berücksichtigt werden müssen, da Statine auch solche Eingriffe verhindern. Ich denke deshalb, dass es sinnvoll wäre, wenn Sie meinen grundsätzlichen Einwand zur Prüfung an die Bericht-Ersteller weiterleiten und falls der Fehler akzeptiert wird, der Bericht nochmals komplett neu aufgesetzt wird. Denn der Fehler hat erhebliche Konsequenzen auf die damit unterschätzte Kosteneffektivität der Statine im niedrigen Risikobereich. CHD (AGLA) x 2 = CVD kann als Faustregel verwendet werden. Freundliche Grüsse. Michel Romanens“
Das BAG konnte das Problem umgehend bestätigen, und schrieb uns: „Betreff: WG: Stakeholder Konsultation zum HTA Bericht Statine in der Primärprävention. Datum: Tue, 27 Oct 2020 10:36:13. Von: Klazien.Matter-Walstra@bag.admin.ch. An: michel.romanens@vems.ch. Kopie (CC): katrin.appenzellercampana@bag.admin.ch, Mathias.Jenal@bag.admin.ch. Sehr geehrter Herr Romanens, Besten Dank für Ihre rasche und wertvolle Bemerkung zum HTA Bericht zu Statinen in der Primärversion. Wir sind daran diesen Punkt mit dem Auftragnehmer zu klären, denn wir vermuten, dass es sich um eine unkorrekte Verwendung der Abkürzung CVD anstelle von CHD handeln könnte. Selbstverständlich müsste dies im finalen Bericht korrigiert und klar gestellt werden. Wir werden weiter informieren, sobald wir detailliertere Informationen dazu haben, voraussichtlich nächste Woche. Mit freundlichen Grüssen. Klazien Matter-Walstra“
Die Bedeutung des Fehlers haben wir dann umgehend mit folgender Email an das BAG weitergeleitet: Betreff: Re: WG: Stakeholder Konsultation zum HTA Bericht Statine in der Primärprävention. Datum: Tue, 27 Oct 2020 14:01:08 +0100. Von: VEMS Präsident michel.romanens@vems.ch An: Klazien.Matter-Walstra@bag.admin.ch. Sehr geehrte Frau Matter: Gemäss Berechnung Box 1 ist AGLA 10% = Risiko 15.7% wenn man falsch rechnet, und ist 21.2% wenn man richtig rechnet (wenn fatal stroke und fatal AMI 1:1), dazu kommen noch CABG und PTCA mit relativen 36% (https://cardiologyres.org/index.php/Cardiologyres/article/view/1067), dann sind wir bei 28.9%. Das heisst, wenn man ASCVD als Stroke / AMI definiert dann AGLAx2=CVD, wenn man ASCVD als Stroke / AMI / Clinical CAD definiert, dann AGLAx3 = CVD. Ein niedriges AGLA Risiko ist kein niedriges CVD Risiko (https://www.zora.uzh.ch/id/eprint/165634/1/1-s2.0-S2211335518302754-main.pdf) im Vergleich zu SCORE. Die Kosteneffekte der Statine betreffen Stroke, / AMI / Clinical CAD. Für diese Ereignisse ist auch im primary care an der Kosteneffektivität der Statine eigentlich kein Zweifel mehr geboten. Mit freundlichen Grüssen. Michel Romanens
Am 09.11.2020 schrieb das BAG: Klazien.Matter-Walstra@bag.admin.ch, 09.11.2020, 12:59 (vor 3 Tagen)
an mich; katrin.appenzellercampana. Sehr geehrter Herr Romanens, Gerne nehmen wir Bezug auf Ihre beiden Mails zum HTA Bericht zu Statinen in der Primärprävention. Wir haben Ihre Argumente dem Auftragnehmer unverzüglich weitergeleitet. Dies wurden zur Kenntnis genommen und die fehlerhaften Berechnungen korrigiert. Anbei senden wir Ihnen als Anhang die Antwort des Auftragnehmers und Erklärungen wie die Korrekturen erfolgten und welche Konsequenzen dies für die Aussage des HTA Berichtes hat (link). Diese Korrekturen werden mit allfälligen weiteren Änderungen in die finale Version des HTA Berichtes aufgenommen. Für Ihren wertvollen Hinweis möchten wir Ihnen nochmals danken. Wir möchten Sie bei dieser Gelegenheit auch nochmals darauf hinweisen, dass der HTA-Bericht und Ihre allfällige Stellungnahme vertraulich zu behandeln sind, bis das Bundesamt für Gesundheit diese veröffentlicht hat. (NB: Der HTA Bericht soll beispielsweise auch nicht in Ihrer Stellungnahme an SRF zur Sendung Plus erwähnt werden.) Mit freundlichen Grüssen Klazien Matter-Walstra, Klazien Matter-Walstra, Dr.Phil.Nat. Biologin, Leiterin Sektion HTA
Da das BAG offensichtlich nicht beabsichtigte, den Fehler den übrigen Stakeholders mitzuteilen, haben wir erneut interveniert: Michel Romanens michel.romanens@gmail.com Mo., 9. Nov., 15:03 (vor 3 Tagen) an Klazien.Matter-Walstra. Sehr geehrte Frau Matter-Walstra. Es freut mich, dass Sie und die Auftragnehmerin diesen groben Fehler erkannt haben. Ich bin mir indes nicht sicher, ob Sie sich der Folgen des Fehlers hinlänglich bewusst sind. Die Stakeholder haben nun ja den falschen Bericht mit den falschen Zahlen bereits erhalten und unter Umständen diese Fehlinformation bereits in ihre Meinungsbildung bezüglich der präventivmedizinischen Behandlung von Herz-Kreislauf-Erkrankungen mit einbezogen. Die Folge davon könnten Verweigerungen nötiger Behandlungen sein. Damit würde das BAG seinem Auftrag zuwiderhandeln, der auf Ihrer Website wie folgt formuliert wird: «Wir setzen uns kompetent für die Gesundheit ein, fördern eine gesunde Lebensweise und sorgen dafür, dass es den Menschen in unserem Land gut geht.» Zweiter Punkt: die Antwort der Auftragnehmerin auf meine Anfrage gehört in den Review-Prozess der Stakeholder, damit diese verstehen, wo das Problem liegt. Insbesondere ist auch die Bemerkung wichtig, dass Statine bis zu einem AGLA Risiko von 1% noch kosteneffektiv sind und die Bemerkung der Auftragnehmerin, dass die Konklusionen sich durch die Fehlerkorrektur nicht ändern würden, was ich allerdings bezweifle. Genau dieser Punkt muss den Stakeholdern bewusst gemacht werden, damit diese nachvollziehen können, dass die Fehlerkorrektur wirklich keine substantielle Veränderung der Kosteneffektivität von Statinen im niedrigen Risikobereich erfahren hat. Dritter Punkt: das BAG hat die korrigierte Version der Auftragnehmerin erhalten. Ich kann nicht verstehen, warum nicht der berichtigte Bericht den Stakeholdern zur Beurteilung vorgelegt wird. Um sicherzustellen, dass eine solche Auftragsverletzung nicht geschieht, ist es unabdingbar, dass Sie: die ursprüngliche Publikation offiziell zurückziehen, dass Ihr Amt falschen Zahlen kommuniziert hat. Sollte den Bericht von Grund auf neu aufsetzen wie bereits erfolgt und die korrigierte Version an die Stakeholder versenden.
Sollte die Stakeholder darüber informieren, dass der ursprüngliche Bericht falsch war, ein neuer, korrekter Bericht erarbeitet wurde und der alte zu Vergleichszwecken verwendet werden sollte. Ich bitte Sie, mir zu bestätigen, dass das BAG diese Schritte einleiten wird. Sollten Sie mit diesem Vorgehen nicht einverstanden sein, bitte ich Sie, dies zu begründen. Mit freundlichen Grüssen, Michel Romanens.
Darauf antwortete das BAG wie folgt: Klazien.Matter-Walstra@bag.admin.ch. Mo., 9. Nov., 16:59 (vor 3 Tagen) an katrin.appenzellercampana; mich. Sehr geehrter Herr Romanens: Erst die finale Version des HTA Berichts wird veröffentlicht und der eidgenössischen Kommission vorgelegt, die es zur Überprüfung der Leistung herbeizieht. Der HTA Bericht selbst hat keine Konsequenzen im Bereich Management. Das ist die Stakeholder bekannt. Dass Stakeholder auf Grund eines Draftberichts, den sie konsultieren und ihren Inputs geben sollen, schon zur Meinungsbildung benützen, ist also sehr unwahrscheinlich. Wir haben ihnen den vorgenommenen Korrekturen zukommen lassen, um ihnen zu zeigen, dass wir den Fehler, den sie entdeckt haben, ernst genommen und korrigiert haben. Das ist nicht den normalen Ablauf unseres Stakeholderkonsultationsprozesses. Unsere Kommunikation mit Ihnen ist vertraulich. und ich möchte Sie deshalb bitten, diese Zwischenschritt als Höflichkeit an Sie persönlich und nur an Sie gerichtet zu betrachten. Die Stakeholder werden nach Beenden der Stakeholderkonsultation eine finale Version (auch mit weiteren eventuellen Anpassungen) und den dazugehörende Rückmeldungen der Autoren und BAG einsehen können. Mit freundlichen Grüssen, Klazien Matter-Walstra
Aufgrund der Verweigerung der Herausgabe des revidierten Berichts an die Stakeholder haben wir dann erneut interveniert: Michel Romanens michel.romanens@gmail.com 10.11.2020, 21:49 (vor 2 Tagen) an Klazien.Matter-Walstra Sehr geehrte Frau Matter-Walstra Sie haben am 27.10.2020 wie angekündigt den HTA Bericht zu Statinen an die Stakeholder versandt. Ich habe Ihnen postwendend eine Analyse präsentiert, wonach grundlegende Mängel im Bericht vorliegen, die Sie und Philip Klein mittlerweile umfassend bestätigt haben, Sie haben mir freundlicherweise diese Informationen zukommen lassen, ich danke Ihnen dafür und werde Ihr Vertrauen nicht missbrauchen. Die ursprüngliche Intention meiner Intervention basierte in der Auffassung, dass der Bericht komplett neu durchgerechnet werden muss, was dann auch von der Auftragnehmerin richtigerweise in kurzer Zeit erfolgt ist. Genau das hatte ich erwartet und genau deshalb habe ich den zentralen Fehler an Sie weitergeleitet. Ich war dann der Auffassung, dass das BAG den Fehler anschliessend selbstverständlich an die Stakeholder kommuniziert und den neuen Bericht mit den korrekten Zahlen in den Review-Prozess einpflegt. Dass dies nun nicht geschehen soll, ist vollkommen unverständlich und führt die Stakeholders allesamt in die Irre. Der Bericht, der jetzt bei den Stakeholdern im Review ist, ist also nicht beurteilbar, da er einen fundamentalen Grundfehler macht, der sich dann durch die gesamte Hochrechnung zieht und diese gegenstandslos macht. Es kann nicht zielführend sein, wenn das BAG von Experten einen Bericht beurteilen lässt, der gar nicht beurteilbar ist. Auch verstehe ich nicht, weshalb diese Sache der Geheimhaltung bedarf. Das BAG ist ja nicht der Nachrichtendienst. Vielmehr ist das BAG öffentlichkeitsrechtlichen Auflagen unterworfen und den Prinzipien der Transparenz und der fachlichen Professionalität verpflichtet. Ich bitte Sie deshalb noch einmal, mir und den anderen Stakeholdern den Bericht mit korrigierter Berechnung zukommen zu lassen. Mit freundlichen Grüssen, Best Regards, Michel Romanens, MD
In der Folge hat das BAG eingelenkt und die Kommentare der Auftragnehmerin an die Stakeholder, jedoch nicht den definitiven korrigierten Bericht versandt: Am 11. Nov. 2020, um 10:37, hta@bag.admin.ch schrieb: Sehr geehrte Damen und Herren. Gerne möchten wir Ihnen zur laufenden Konsultation des HTA-Berichts «Statins for primary prevention of cardiovascular events and mortality in Switzerland» noch eine ergänzende Information zukommen lassen. Einer der Stakeholder hat uns auf einen Berechnungsfehler in der gesundheitsökonomischen Analyse hingewiesen, der zwar nicht die Aussage des HTAs verändert, jedoch gewisse Anpassungen des Berichtes zur Folge haben wird. Wir möchten mit diesem Schreiben bereits jetzt allen Stakeholdern die aufgeworfenen Fragen und die Antworten der Auftragnehmer im angehängten Dokument zur Kenntnisnahme zustellen. Für Ihrer Stellungnahmen zum HTA Bericht danken wir Ihnen schon im Voraus und verbleiben Mit freundlichen Grüssen Katrin Appenzeller
Wir haben deshalb nochmals interveniert: VEMS Präsident michel.romanens@vems.ch Mi., 11. Nov., 21:48 (vor 19 Stunden) an hta; mich Sehr geehrte Frau Appenzeller Die Aufgabe der Stakeholder ist die Prüfung des HTA Berichts und daraus folgend die Formulierung von Empfehlungen, welche den HTA Bericht allenfalls noch verbessern könnten. Die Auftragnehmerin (Philipp Klein) hat auf meine Beobachtung hin reagiert und festgestellt, dass der von mir monierte Fehler tatsächlich ein Fehler ist und deshalb einen HTA Bericht neu erstellt (alle Berechnungen mussten neu erstellt werden). Das BAG kommuniziert nun korrekterweise die von mir angestossene Diskussion, behauptet aber, dass der Fehler keine Wirkung auf das Schlussresultat des HTA Berichts gehabt habe und unterlässt deshalb die Übermittlung des neuen HTA Berichts an die Stakeholder. Das ist nicht korrekt. Es ist nicht Aufgabe des BAG zu beurteilen, ob der Fehler eine Wirkung auf die Resultate und Schlussfolgerungen hat oder nicht. Das ist eben Aufgabe der Stakeholder. Wenn Sie den neuen Bericht zurückhalten, verweigern Sie den Stakeholdern eben diese Prüfung, welche auch als Glücksfall betrachtet werden kann, kann doch aus dem Vergleich beider Berichte eine Art Sensitivitätsanalyse durch die Stakeholder erfolgen, welche äusserst interessant wäre. Ich bitte Sie deshalb, nun auch noch den korrigierten HTA Bericht an die Stakeholder zu versenden. Denn tun Sie es nicht, ist die Beurteilung des unkorrigierten Berichts durch die Stakeholder eine Scheinlegitimation für das Endresultat. Auch könnte sich der eine oder andere Stakeholder durch die ungenügende Offenlegung der Fakten um diesen HTA Bericht veranlasst sehen, an anderer Stelle zu intervenieren. Freundliche Grüsse Michel Romanens
Am 12.11.2020 hat dann das BAG eingelenkt und den revidierten HTA Bericht (link) an alle Stakeholder verschickt: Sehr geehrte Damen und Herren Zur Ergänzung der gestern versandten Antwort des Auftragnehmers schicken wir Ihnen für Interessierte noch den ganzen korrigierten HTA Bericht Statine in der Primärprävention zur Kenntnisnahme. Die Eingabe der Stakeholder Kommentare wird verlängert bis 1. Dezember 2020. Mit freundlichen Grüssen Katrin Appenzeller
Am 14.06.2021 wurde dann auch auf der Website des BAG der erwähnte definitive Bericht publiziert, zusammen mit den Antworten der Stakeholders, die wir hier auch publizieren.