Gesetze und Normen (z. B. FDA, ISO 13485) verlangen „objektive Beweise“.
- Wie zuverlässig muss dieser Nachweis sein, damit Behörden und Benannte Stellen zufrieden sind?
- Wie finden Hersteller die Balance zwischen Überdokumentation und Problemen im Audit?
Dieser Artikel gibt Antworten auf diese Fragen.
1. Begriffsdefinitionen
Die FDA verwendet den Begriff objektiver Beweis (objektiver Nachweis) in 21 CFR Teil 820 (die „Qualitätssystemvorschriften“) in den Definitionen von Verifizierung und Validierung. Leider liefert die FDA keine Definition des Begriffs selbst.
IEC 60601-1 verwendet auch den Begriff „objektiver Beweis“. Es bezieht sich auf Definition 2.10 in ISO 14971:2007. Diese Norm verweist weiter auf die Definition von ISO 9000.
„Daten, die die Existenz oder Wahrheit von etwas bestätigen.“ Der Standard fügt hinzu, dass „objektive Beweise durch Beobachtung, Messung, Tests oder andere Mittel erbracht werden können“.
ISO 9000 3.8.1
Dieser Nachweis sollte daher durch Daten erbracht werden. Dies bringt die MDR auch in ihrer Definition des Begriffs „klinische Evidenz“ zum Ausdruck.
die klinischen Daten und die Ergebnisse der klinischen Bewertung eines Produkts, die quantitativ und qualitativ ausreichen, um eine qualifizierte Beurteilung darüber zu ermöglichen, ob das Produkt sicher ist und bei bestimmungsgemäßer Verwendung gemäß den Anweisungen des Herstellers den beabsichtigten klinischen Nutzen erzielt;
MDR Artikel 2 (51)
2. Regulatorische Anforderungen nach „Objective Evidence“
a) FDA
Die FDA verlangt die Bereitstellung „objektiver Beweise“, insbesondere im Rahmen der Design History Files und der Verifizierungs- und Validierungsaktivitäten, z. B. bei der Designvalidierung. Auch die Prozessvalidierung muss anhand „objektiver Beweise“ erfolgen.
b) MDR / IVDR
MDR und IVDR verlangen unter anderem Nachweise über die Konformität des Produkts, z. B. die Einhaltung grundlegender Sicherheits- und Leistungsanforderungen.
Allerdings übersetzen die EU-Verordnungen den deutschen Begriff „Beweis“ nicht mit „Beweis“, sondern mit „Beweis“. Von „Evidenz“ spricht der MDR vor allem im Zusammenhang mit „klinischer Evidenz“.
Die Art des Nachweises wird in den Vorschriften nicht näher bestimmt.
c) ISO 13485
Die englische ISO 13485 verwendet den Begriff „evidence“, jedoch ohne den Zusatz „objective“. Diese Objektivität setzt es wohl voraus. Die Norm verlangt den Nachweis von:
- Produktkonformität
- Wirksamkeit des QM-Systems
- Engagement des Top-Managements
Der Standard fordert daher „Beweise“, legt aber nicht fest, wie diese Beweise zu erbringen sind.
„Objektive Beweise“ sind nicht nur im Rahmen von Produkttests, Risikomanagement und klinischer Bewertung erforderlich, sondern auch bei Post-Market-Aktivitäten wie der Post-Market-Überwachung (z. B. Wirksamkeitsnachweis von CAPA).
3. Nachweis „objektiver Beweise“
a) Problemstellung
Viele Hersteller von Medizinprodukten sind unsicher, wie detailliert diese Nachweise dokumentiert werden müssen.
- Ebene (sehr grobkörnig)
Es gibt eine Testspezifikation, die die Testschritte und erwarteten Ergebnisse beschreibt. Der Prüfer bewertet die Prüfungsergebnisse lediglich mit „bestanden“ oder „nicht bestanden“. - Ebene
Der Tester notiert das tatsächliche Verhalten, z. B. „wie angegeben“ oder genauer „die Warnmeldung „Ungültige Daten“ erscheint“. - Ebene
Die Tests werden mit Screenshots dokumentiert, die beispielsweise die eigentliche Warnmeldung zeigen. - Level (sehr detailliert)
Der gesamte Test wird auf Video aufgezeichnet und das Video wird Teil der Testdokumentation.
Welches ist das richtige Niveau?
Das Ziel des „objektiven Nachweises“ muss sein, dass ein Prüfer anhand der Dokumente (auch ein Video zählt als Dokument) nur prüfen kann, ob die Tests im obigen Beispiel erfolgreich waren (oder nicht).
Die erste Stufe reicht hierfür nicht aus. Denn anhand des Vermerks „bestanden“ allein lässt sich nicht feststellen, ob die Prüfung tatsächlich durchgeführt wurde. Auch auf der zweiten Ebene ist die Rückverfolgbarkeit nur eingeschränkt möglich. Ab der dritten Ebene sollten Prüfer und Gutachter über ausreichende Nachweise verfügen.
b) Gedankenexperiment: Die richtige Granularität finden
Auf die Frage, welche der vier genannten Ebenen das Erfordernis eines „objektiven Nachweises“ erfüllt, lässt sich keine pauschale Antwort geben. Das folgende Gedankenexperiment hilft Ihnen, eine Antwort auf diese Frage zu finden:
Sie haben einen neuen Kollegen, der frisch von der Universität kommt. Eigentlich ein toller Kerl, sonst hätte man ihn nicht engagiert. Aber manchmal wählt er den einfachsten Weg. Nun will er „von zu Hause aus arbeiten“ und die Tests dort durchführen. Sie sind sich nicht ganz sicher, ob er das richtig macht. Und ob er überhaupt etwas tut.
Was würden Sie als Beweis erwarten, um relativ sicher zu sein, dass Ihr Kollege seine Arbeit richtig macht, dass er nicht schummelt oder dass er versehentlich Fehler macht? Die von Ihnen gewünschte Dokumentation für diesen Fall liefert „objektive Beweise“.
Es geht also nicht darum, dass jemand böswillig handelt und mit hoher krimineller Energie Daten verfälscht.
c) Spezifische Informationen
Bedarf an Screenshots
Es gibt keine gesetzliche Verpflichtung für Screenshots, auch nicht von der FDA. Inspektoren möchten nachvollziehen können, welche Verifizierungs- und Validierungsaktivitäten ein Hersteller durchgeführt hat und mit welchen Ergebnissen. Ein einfaches „bestanden/nicht bestanden“ wird daher grundsätzlich nicht akzeptiert.
Die Screenshots sind eine Möglichkeit, diesen Anforderungen gerecht zu werden, also diesen Nachweis zu erbringen. Es geht nicht darum, jeden Mausklick zu dokumentieren (bitte nur als Metapher verstehen).
Müssen sich Nutzer für die Eingabe von Daten in ein System einloggen, reicht der Nachweis, dass die Dateneingabe funktioniert. Dabei wird vorausgesetzt, dass sich die Benutzer zuvor angemeldet haben. Dies müssen Sie nicht zusätzlich dokumentieren.
Möchte der Hersteller jedoch prüfen, ob die Systemvoraussetzungen im Rahmen der Anmeldung bzw. der IT-Sicherheit erfüllt sind, müssten diese Ergebnisse und damit der Anmeldevorgang dokumentiert werden.
Das Beispiel des Logins stammt aus einem Artikel zum Thema „objektive Beweise“ eines ehemaligen FDA-Mitarbeiters.
Systemprotokoll
Je nach Test kann auch ein Systemprotokoll hilfreich sein, um „objektive Beweise“ nachzuweisen.
Ein Systemprotokoll dient dem Nachweis, dass tatsächlich Aktivitäten durchgeführt wurden. Soll die Ausgabe des Systems dokumentiert werden, müssen eine Reihe von Voraussetzungen erfüllt sein:
- Der Hersteller muss nachweisen, dass die Ausgabe (z. B. auf der Benutzeroberfläche) und im Systemprotokoll identisch sind.
- Der Hersteller muss bewerten, ob die Leistung den Anforderungen entspricht.
- Die Prozesssoftware zur Automatisierung der Tests muss validiert werden (Computerized System Validation).
- Die Protokolle sind elektronische Aufzeichnungen und müssen daher den gesetzlichen Anforderungen zur Dokumentenkontrolle und 21 CFR Teil 11 entsprechen.
Videos
Manchmal sind Videos hilfreich, z. B. wenn man eine Dynamik so dokumentieren möchte, dass „objektive Beweise“ gegeben sind. Die Nachteile von Videos sollten berücksichtigt werden:
- Ein Video dokumentiert lediglich die Umsetzung und ggf. die Ergebnisse. Es wird jedoch nicht das Ergebnis ausgewertet, also ob die zu prüfenden Produktanforderungen erfüllt sind. Die Nachbearbeitung von Videos kann zeitaufwändig sein.
- Videos sind sehr speicherintensiv. Dies muss berücksichtigt werden, wenn Hersteller die Aufzeichnungen automatisch in einem Versionsverwaltungssystem speichern möchten.
- Die Anforderungen an die Automatisierung von Videoaufzeichnungen sind hoch, was insbesondere bei Regressionstests hilfreich wäre.
Alternativen zu Screenshots und Videos
Die meisten Unternehmen lehnen Screenshots und Videos ab, weil beides mit viel Arbeit verbunden ist. Daher automatisieren professionelle Unternehmen die Verifizierung ihrer Produkte auf andere Weise:
- Die Benutzeroberfläche ist durch automatisierte UI-Tests überprüft. Auf diese Weise stellt der Hersteller die Korrektheit der Ausgabe, der Positionen und des Layouts der Benutzeroberflächen sicher.
- Ein Hersteller baut Testroboterdie Benutzeraktionen simulieren und diese zusammen mit den Systemreaktionen auswerten und dokumentieren. KI hilft bei der Auswertung dieser Reaktionen.
4. Fazit und Zusammenfassung
Es gibt unterschiedliche Meinungen darüber, wie zuverlässig die Beweise (die „objektiven Beweise“) sein müssen.
- Die Nachweise sollten so detailliert dokumentiert werden, dass ein Unbeteiligter nachvollziehen kann, was getan wurde und wie der Hersteller begründet, dass sein Produkt den Anforderungen entspricht.
- Die Granularität dieser Aufzeichnungen sollte „risikobasiert“ sein: Bei hohen regulatorischen Risiken oder Risiken für die Gesundheit von Patienten, Anwendern und Dritten sollte die Evidenz vollständig sein. Es besteht jedoch keine gesetzliche Verpflichtung, Screenshots oder Videos anzufertigen.
- Es ist hilfreich, die Beweise automatisch bereitzustellen, ebenso wie es hilfreich ist, die Tests zu automatisieren.
Das Johner Institut hilft Herstellern von Medizinprodukten und IVDs, mit dieser Evidenz die richtige Balance zu finden und so unnötigen Dokumentationsaufwand sowie regulatorische Risiken zu vermeiden.
Geschichte ändern
- 06.11.2024: Artikel weitgehend überarbeitet und neu strukturiert
- 10.02.2016: Erste Version des Artikels veröffentlicht
