Projektbedarf besprechen

KI-Validierung im GxP-Umfeld

Bewertung und Validierung von KI-Systemen im GxP-Umfeld

Eine dokumentierte Entscheidungsgrundlage für Ihren KI-Einsatz – von Datenqualität und Tests des KI-Modells über Systemvalidierung bis zu menschlicher Aufsicht und Betrieb.
Projektbedarf besprechenLeistungen ansehen

Typische Projektsituation

Ist Ihr KI-System für den GxP-Einsatz geeignet?

Tests des KI-Modells allein zeigen noch nicht, ob das gesamte System für Ihren GxP-Prozess geeignet ist. Wir bewerten Einsatz, Integration und Risiken und stimmen den erforderlichen Verifizierungs- und Validierungsumfang mit Ihnen ab.

Illustrative Szene: Zwei Fachpersonen stimmen Prozessunterlagen und Systemeinsatz ab.Einsatz

Welche Aufgabe soll Ihre KI im GxP-Prozess übernehmen – und was ist dafür zu bewerten?

Risikobasiert leiten wir aus Aufgabe, Einfluss auf Patientensicherheit, Produktqualität und Datenintegrität sowie möglichen Fehlerfolgen den erforderlichen Test- und Nachweisumfang ab.

Details anzeigenDetails schließen: Einsatz

Ausgangslage

Tests des KI-Modells oder ein Lieferantenbericht zeigen noch nicht, ob das gesamte KI-gestützte System seine Aufgabe im eigenen Prozess erfüllt. Zu klären sind die Einsatzbedingungen, mögliche Fehler und die Entscheidungen, die durch das Ergebnis beeinflusst werden.

Beitrag von QMVP

Wir dokumentieren die Einsatzbewertung und Prüfergebnisse mit Nutzungsgrenzen und offenen Risiken als Grundlage für Ihre Freigabeentscheidung.

Abstrakte Illustration: Drei getrennte Glasebenen mit unterschiedlichen Punktfeldern.Daten

Sind Ihre Daten für die Aufgabe Ihrer KI geeignet?

Wir bewerten Datenherkunft, Eignung und Unabhängigkeit der Testdaten für die tatsächlichen Einsatzbedingungen.

Details anzeigenDetails schließen: Daten

Ausgangslage

Informationen aus einem validierten Quellsystem belegen noch nicht, dass alle für die Aufgabe erforderlichen Informationen vorhanden sind. Testdaten müssen auch relevante Grenzfälle und seltene Fehler abbilden; ihre Herkunft und ihr möglicher Einfluss auf Training und Optimierung sind zu prüfen.

Beitrag von QMVP

Wir dokumentieren die Bewertung der Dateneignung und Unabhängigkeit der Testdaten, fehlende Nachweise und daraus folgende Maßnahmen und Einsatzgrenzen.

Illustrative Szene: Zwei Fachpersonen prüfen gemeinsam Dokumente anhand der Originalunterlagen.Mensch

Können Ihre Mitarbeitenden relevante KI-Fehler tatsächlich erkennen?

Menschliche Aufsicht braucht geeignete Informationen, Fachwissen und Eingriffsmöglichkeiten.

Details anzeigenDetails schließen: Mensch

Ob HITLHuman in the Loop: Ein Mensch ist in eine konkrete Entscheidung oder die Prüfung eines KI-Ergebnisses eingebunden oder HOTLHuman on the Loop, menschliche Überwachung mit Eingriffsmöglichkeit zur Aufgabe passt und wirksam ist, wird im jeweiligen Arbeitsablauf bewertet.

Ausgangslage

Eine menschliche Prüfung macht den Einsatz nicht automatisch unkritisch. Prüfende brauchen Zugang zu den maßgeblichen Originalquellen, ausreichend Zeit und die Möglichkeit, Ergebnisse zu korrigieren oder abzulehnen. Auslassungen lassen sich nicht allein anhand angezeigter Fundstellen erkennen.

Beitrag von QMVP

Wir spezifizieren die Aufgaben der Prüfenden und erproben mit realistischen Fehlerfällen, welchen Beitrag die menschliche Aufsicht zur Fehlererkennung leistet. Wir dokumentieren die Prüfergebnisse und die festgestellten Grenzen.

Abstrakte Illustration: Türkise Bahnen durchlaufen mehrere Glasrahmen und ändern ihren Verlauf.Betrieb

Bleibt Ihre KI-Anwendung geeignet, wenn Daten oder Betriebsbedingungen sich ändern?

Auch bei unverändertem Modell können Änderungen die Ergebnisse beeinflussen.

Details anzeigenDetails schließen: Betrieb

Dafür braucht es passende Überwachung und begründete Regeln für erneute Prüfungen.

Ausgangslage

Ein statisches Modell macht das KI-gestützte System nicht unveränderlich. Neue Dokumente, geänderte Suchlogik, Prompts, Zugriffsrechte oder Betriebsbedingungen können vorhandene Eignungsnachweise berühren.

Beitrag von QMVP

Wir legen Zuständigkeiten, Monitoring und Regeln für Änderungen und erneute Prüfungen fest – einschließlich Kriterien für Einschränkung, Stopp und das weitere Vorgehen bei Ausfall.

Perspektive 1 von 4: Einsatz

Ziehen oder mit den Pfeilen blättern
Einordnung und Anwendungsfälle

Was wir bewerten

Wir betrachten die beschriebene Aufgabe und Nutzung der Ergebnisse (Intended UseBeschriebene Aufgabe des Systems und Nutzung seiner Ergebnisse im konkreten Prozess) sowie die tatsächlichen Einsatzbedingungen (Context of UseCoU, konkrete Einsatzbedingungen: Prozess, Daten und beteiligte Personen). Dazu gehören Daten, KI-Teilsystem, Schnittstellen, Konfiguration, Arbeitsabläufe, menschliche Aufsicht und Betrieb.

Tests des KI-Modells und Lieferantenberichte liefern wichtige Grundlagen. Sie ersetzen weder die Bewertung der Integration noch die Validierung des gesamten KI-gestützten Systems im Prozess.

Wie wir unterstützen

Wir bestimmen mit Ihnen Anforderungen und Risiken, bewerten vorhandene Nachweise und planen und übernehmen die benötigten Verifizierungs- und Validierungsaktivitäten im vereinbarten Umfang.

Für Ihre Entscheidung

Wir dokumentieren Prüfergebnisse, offene Risiken und Nutzungsgrenzen. Damit erhalten Sie eine Grundlage für Ihre Einsatzentscheidung sowie für Maßnahmen, GuardrailsTechnische Schutzmaßnahmen, die bestimmte Eingaben, Antworten oder Aktionen begrenzen bzw. prüfen. Ihre Wirksamkeit ist im konkreten Einsatz zu bewerten und eine geeignete menschliche Aufsicht – etwa HITLHuman in the Loop: Ein Mensch ist in eine konkrete Entscheidung oder die Prüfung eines KI-Ergebnisses eingebunden oder HOTLHuman on the Loop, menschliche Überwachung mit Eingriffsmöglichkeit.

Typische Anlässe

  • Neue KI-Funktion im Bestandssystem
  • Einführung einer Wissensassistenz
  • Unvollständige Modell- oder Lieferantennachweise
  • Modellupdate oder Anbieterwechsel

ZielgruppenFür Pharma-, Biotech- und Medizintechnikunternehmen sowie deren Lieferanten.

Typische Anwendungenbildbasierte visuelle Prüfung · datenbasierte Prozessüberwachung und Auswertung · Wissensassistenz mit RAGRetrieval-Augmented Generation: Die generative KI bezieht abgerufene Quellen in ihre Antwort ein. Ob die Antwort richtig und vollständig ist, muss gesondert geprüft werden · generative Dokumentenerstellung

Unser Fachbeitrag zur Einordnung: KI im GMP-Umfeld: Was die Annex-22-Konferenz für die Praxis zeigt

Leistungsumfang

Bewertung und Validierung für Ihren KI-Einsatz.

Von der ersten Einsatzbewertung über die Prüfung vorhandener Nachweise bis zum Validierungsprojekt: Die fünf Angebote bündeln passende Dienstleistungen. Den Umfang stimmen wir anhand des Nutzungskontextes, des Systems, der Schnittstellen und der vorhandenen Unterlagen ab.

Leistungsbausteine

Unsere Dienstleistungen im Überblick

Wir bewerten Ihren KI-Einsatz, qualifizieren Daten, prüfen Modell- und Trainingsnachweise oder übernehmen ein abgestimmtes Validierungsprojekt. Wählen Sie ein Angebot, um die zugehörigen Dienstleistungen hervorzuheben.

DienstleistungKI-Validierung

GxP-Bewertung des KI-Einsatzes

Aufgabe, Nutzung der Ergebnisse und Einsatzbedingungen des Systems, GxP-Relevanz, Modelleinfluss, Entscheidungsfolgen und offene Fragen zur Datennutzung bewerten.

Mögliches Arbeitsergebnis

Use-Case-Steckbrief, Risikobewertung und begründeter Nachweis- und Maßnahmenplan.

Schwerpunkte: GxP-Bewertung des KI-Einsatzes

Wir beschreiben Intended UseBeschriebene Aufgabe des Systems und Nutzung seiner Ergebnisse im konkreten Prozess und Context of UseCoU, konkrete Einsatzbedingungen: Prozess, Daten und beteiligte Personen und grenzen den unterstützten Prozess ab. Offene Fragen zur Datennutzung benennen wir für die Abstimmung mit Datenschutz und Rechtsberatung.

DienstleistungKI-Validierung

Datenqualifizierung für KI-Systeme

Datenherkunft, Data LineageHerkunft und Verarbeitungshistorie der Daten, Repräsentativität, Ground TruthFachlich festgelegte Referenzdaten, mit denen die Ergebnisse des Modells verglichen werden und die Trennung von Trainings-, Tuning- und finalen Testdaten prüfen.

Mögliches Arbeitsergebnis

Datenqualifizierungsbericht mit Bewertung der Dateneignung und Unabhängigkeit der Testdaten sowie festgestelltem Ergänzungsbedarf. Ein Testdatenkonzept vereinbaren wir bei Bedarf gesondert.

Schwerpunkte: Datenqualifizierung für KI-Systeme

Im Rahmen der Datenqualifizierung dokumentieren wir den Raum der möglichen Eingabedaten, relevante Teilgruppen und mögliche Data LeakageInformationsüberschneidungen zwischen Entwicklung und Test, die die Aussagekraft der Prüfung verzerren können. Ein Testdatenkonzept einschließlich der Spezifikation benötigter Testdaten ist gesondert zu vereinbaren. Metriken, Stichprobenumfang und Teststrategie sind mit der Validierungsplanung abzustimmen.

DienstleistungKI-Validierung

Modell- und Trainingsnachweise prüfen

Verfügbare Entwicklungs- und Trainingsnachweise, Modellversionen, Konfigurationen und Lieferantenunterlagen gegen die Anforderungen Ihres Einsatzes prüfen.

Mögliches Arbeitsergebnis

Lieferantenbewertung, Training Verification ReportBericht zur Prüfung der Trainingsnachweise und Übersicht fehlender oder unvollständiger Nachweise. Je nach Auftrag: dokumentierter Abgleich der ausgerollten mit der geprüften Version.

DienstleistungKI-Validierung

Validierung KI-gestützter Systeme

Verifizierung des KI-Teilsystems, Bewertung der Integration und Validierung des Gesamtsystems im Prozess planen und risikobasiert durchführen.

Mögliches Arbeitsergebnis

URSUser Requirements Specification, Spezifikation der Nutzeranforderungen, Validierungsplan, Traceability MatrixZuordnungsmatrix zwischen Anforderungen und Nachweisen, Testprotokolle und Validierungsbericht.

Schwerpunkte: Validierung KI-gestützter Systeme

Modellleistung, Robustheit, Schnittstellen und Prozessleistung werden gegen vorab festgelegte Kriterien geprüft. Wir legen fest, welche Versionen, Ergebnisse und Prüfentscheidungen nachvollziehbar aufbewahrt werden. Ergebnisse, Abweichungen und Restrisiken führen wir im Validierungsbericht zusammen.

DienstleistungKI-Validierung

Menschliche Aufsicht über KI-Systeme

Aufgaben der menschlichen Aufsicht spezifizieren und mit realistischen Fehlerfällen prüfen, ob relevante Fehler erkannt und korrigiert werden können.

Mögliches Arbeitsergebnis

Review-Strategie, SOP und dokumentierte Prüfergebnisse zur Wirksamkeit und ihren Grenzen.

Schwerpunkte: Menschliche Aufsicht über KI-Systeme

Wir betrachten menschliche Prüfung einzelner Ergebnisse (HITLHuman in the Loop: Ein Mensch ist in eine konkrete Entscheidung oder die Prüfung eines KI-Ergebnisses eingebunden) oder Überwachung mit Eingriffsmöglichkeit (HOTLHuman on the Loop, menschliche Überwachung mit Eingriffsmöglichkeit) passend zur Aufgabe. Dazu gehören die verfügbaren Informationen, Kompetenz, Zeit, Möglichkeiten zum Übersteuern von Systemergebnissen und Eskalation.

DienstleistungKI-Validierung

Generative KI, RAGRetrieval-Augmented Generation: Die generative KI bezieht abgerufene Quellen in ihre Antwort ein. Ob die Antwort richtig und vollständig ist, muss gesondert geprüft werden und Schutzmaßnahmen prüfen

Fachliche Richtigkeit, Vollständigkeit und Quellenbindung evaluieren; Wissensbasis, Retrieval und GroundingAusrichtung einer KI-Antwort an bereitgestellten Quellen. Die Belege müssen darauf geprüft werden, ob sie die jeweiligen Aussagen tragen sowie bei Agenten Toolrechte und Aktionsgrenzen prüfen.

Mögliches Arbeitsergebnis

Guardrail-Testmatrix mit den Ergebnissen der Challenge-Tests zu präventiven Maßnahmen, Fehlererkennung und Schadensbegrenzung.

DienstleistungKI-Validierung

KI-Betrieb, Monitoring und Änderungsmanagement

Modell, Prompts, Wissensbasis, Tools und Prozessänderungen in die geregelte Konfigurations- und Änderungsverwaltung aufnehmen.

Mögliches Arbeitsergebnis

Monitoring für Leistung und DriftVeränderungen von Daten oder Modellleistung, Change-/Retest-Regeln sowie Übergabe-, Incident-/CAPA- und Rückfallverfahren.

Schwerpunkte: KI-Betrieb, Monitoring und Änderungsmanagement

Bei Anbieterwechsel oder Außerbetriebnahme planen wir Datenmigration, Archivzugriff und die Abschaltung von Schnittstellen.

DienstleistungKI-Validierung

KI im QMS und rollenbezogene Schulung

Bestehende QMS-/CSV-Verfahren um KI-Inventar, Rollen, Datenverantwortung, Einsatzfreigabe und SOPs ergänzen.

Mögliches Arbeitsergebnis

Rollenbezogene Schulungen mit praktischen Übungen für Fachbereiche, QA und IT.

Projektbedarf besprechen

Vorgehensweise

Unser Vorgehen

01

Einsatz klären

Aufgabe und Einsatzbedingungen, Risiken für Patientensicherheit, Produktqualität und Datenintegrität sowie anwendbare Anforderungen bestimmen.

02

Nachweise vorbereiten

Datenqualität, Trainingsnachweise, Lieferantenevidenz und Verantwortlichkeiten prüfen.

03

Kriterien festlegen und Eignung prüfen

Metriken, Akzeptanzgrenzen, unabhängige Testdaten und Teststrategie risikobasiert abstimmen. Verifizierung des KI-Teilsystems, Bewertung seiner Integration und Validierung des Gesamtsystems im Prozess aufeinander abstimmen; menschliche Aufsicht und technische Schutzmaßnahmen einbeziehen.

04

Betrieb vorbereiten

Nutzungsgrenzen, Übergabe, Monitoring und Änderungsmanagement dokumentieren.

Zusammenarbeit und Abgrenzung

Ein abgestimmter Auftrag. Klare Zuständigkeiten.

Umfang und benötigte Fachressourcen stimmen wir vor einem Angebot ab. Wir dokumentieren die vereinbarten Prüfergebnisse, offene Risiken und Nutzungsgrenzen – auch bei zusätzlichem Nachweisbedarf oder fehlender Eignung. Die fachliche und qualitätsbezogene Einsatzfreigabe verbleibt bei Ihnen; Auditoren und zuständige Behörden bewerten eigenständig.

Entwicklung und Training von Modellen gehören nicht zum Leistungsumfang. Bei Medizintechnikunternehmen stehen zunächst betriebliche Qualitäts- und Produktionssysteme im Fokus. KI als Medizinprodukt oder Produktbestandteil erfordert einen gesonderten Scope mit Regulatory Affairs. Den EU-GMP-Annex 22 berücksichtigen wir als Entwurf in seinem GMP-Geltungsbereich. Für andere GxP-Prozesse bestimmen wir den einschlägigen Rahmen gesondert.

Verwandte Leistungen

Ihre Ansprechpartner

M. Sc. Eugen Betche

CEO & Consultant

Eugen verbindet umfassende Erfahrung aus Qualitätsmanagement und Qualitätssicherung mit Anlagen- und Laborgerätequalifizierung, CSV, Data Integrity sowie Prozess- und Methodenvalidierung.

Mehr über M. Sc. Eugen Betche

Dr.-Ing. Franz Müller

Co-Founder & Consultant

Franz verbindet wissenschaftlich-technische Analyse und industrielle Prozessentwicklung mit CQV und CSV/CSA.

Mehr über Dr.-Ing. Franz Müller

FAQ

Häufige Fragen zum KI-Einsatz

Müssen wir für eine erste Bewertung auf den finalen Annex 22 warten?

Für eine erste Bewertung müssen Sie darauf nicht warten. Im GMP-Geltungsbereich sind bereits bestehende Anforderungen zu berücksichtigen. Wir ordnen Einsatz, Risiken und Nachweisbedarf mit Ihnen ein; Annex 22 beziehen wir als Entwurf ein.

Können wir vorhandene Tests des KI-Modells und Anbieterunterlagen weiterverwenden?

Vorhandene Nachweise können einbezogen werden, soweit sie zum Einsatz passen und ihre Aussagekraft nachvollziehbar ist. Bei der Prüfung der Daten-, Modell- und Trainingsnachweise bewerten wir, was nutzbar ist und welche Nachweise fehlen. Daraus ergibt sich eine Grundlage für den weiteren Validierungsumfang.

Müssen wir vor der Bewertung neue Testdaten erzeugen?

Neue Testdaten sind nicht pauschal erforderlich. Zunächst bewerten wir die Eignung und Unabhängigkeit vorhandener Daten und benennen fehlende Nachweise. Daraus leiten wir den zusätzlichen Prüfbedarf für Ihren Einsatz ab.

Reichen Human-in-the-Loop und Guardrails für einen kritischen GMP-Einsatz?

Diese Maßnahmen allein belegen die Eignung nicht. Bei der Bewertung generativer KI, RAGRetrieval-Augmented Generation: Die generative KI bezieht abgerufene Quellen in ihre Antwort ein. Ob die Antwort richtig und vollständig ist, muss gesondert geprüft werden und Agenten betrachten wir Nachweise und Nutzungsgrenzen für den Einsatz. Der Annex-22-Entwurf von 2025 sieht generative KI und LLMs für kritische GMP-Anwendungen nicht vor; HITLHuman in the Loop: Ein Mensch ist in eine konkrete Entscheidung oder die Prüfung eines KI-Ergebnisses eingebunden oder GuardrailsTechnische Schutzmaßnahmen, die bestimmte Eingaben, Antworten oder Aktionen begrenzen bzw. prüfen. Ihre Wirksamkeit ist im konkreten Einsatz zu bewerten heben diese Einschränkung des Entwurfs nicht auf.

Wie unterstützt QMVP bei der Bewertung menschlicher Aufsicht?

Wir unterstützen bei der Prüfstrategie und den vereinbarten Wirksamkeitsnachweisen für Ihren Arbeitsablauf. Die Ergebnisse dokumentieren, welchen Beitrag die menschliche Aufsicht leistet und wo ihre Grenzen liegen.

Ist unsere RAG-Lösung mit Quellenangaben bereits ausreichend abgesichert?

Quellenangaben allein zeigen noch nicht, ob eine Antwort fachlich richtig und vollständig ist. Wir bewerten die Such- und Antwortqualität im konkreten Workflow sowie vorhandene Schutzmaßnahmen. Ergebnis ist eine dokumentierte Bewertung mit offenen Risiken und Nutzungsgrenzen.

Welche Unterstützung brauchen wir bei Updates oder einem Anbieterwechsel?

Welche Nachweise erneut erforderlich sind, hängt von der Änderung und ihren Auswirkungen auf den konkreten Einsatz ab. Wir unterstützen bei der Auswirkungsbewertung sowie beim Monitoring- und Änderungskonzept. So werden Nachweisbedarf, offene Risiken und mögliche Einschränkungen für Ihre Entscheidung dokumentiert.

Was bedeutet das Ergebnis für unsere Freigabe und eine spätere Inspektion?

QMVP liefert eine fachliche Bewertung und vereinbarte Nachweise mit dokumentierten offenen Risiken und Nutzungsgrenzen. Die Einsatzfreigabe verbleibt bei Ihnen. Auditoren und zuständige Behörden bewerten die Nachweise eigenständig; einen bestimmten Ausgang eines Audits oder einer Inspektion sagen wir nicht zu.

Wissen

Fachbeiträge zum Thema

Alle Fachbeiträge

Nächster Schritt

Projektbedarf gemeinsam einordnen.

Beschreiben Sie uns Ihren Anwendungsfall und die vorhandenen System- und Lieferantennachweise. Gemeinsam bestimmen wir den erforderlichen Bewertungs- und Validierungsumfang.Projektbedarf besprechen