Projekt 1023: Prüfkriterien für Reinforcement Learning (RL-Criteria)

Es ist ein umfassender Anforderungskatalog zu erstellen, der die Sicherheit und Vertrauenswürdigkeit von KI-Anwendungen mit Reinforcement Learning bewertet. Der Katalog deckt alle RL-Techniken und -Ausprägungen ab – insbesondere Online-/Offline-RL, On-/Off-Policy, sowie RLHF und RLAIF im Kontext generativer KI.

Zu behandeln sind: IT-Sicherheit, KI-spezifische Sicherheit (Robustheit, Datenqualität, Transparenz/Erklärbarkeit, Bias/Fairness), der gesamte Lebenszyklus eines RL-Systems sowie relevante Bedrohungsszenarien. Jeder Prüfpunkt ist mit Erklärungen, begleitenden Informationen und Umsetzungshinweisen zu ergänzen.

Der Katalog wird als ergänzendes Modul zum BSI A5 gestaltet und soll kompatibel zur Stand-der-Technik-Bibliothek (SdT) des BSI sein. Er ist in einer editierbaren Form, als PDF und zusätzlich im OSCAL-Format zu liefern. Barrierefreiheit nach BITV 2.0 (PDF/UA-konform) ist sicherzustellen. Finale Sprachversionen: Deutsch und Englisch.

Projektsprache ist Deutsch; Englisch ist nach Abstimmung möglich. Der Einsatz von KI-Werkzeugen zur Bearbeitung bedarf der vorherigen Zustimmung des Auftraggebers. Alle Lieferungen erfolgen in enger Abstimmung mit dem BSI.

Das Unternehmen muss fachkundig und leistungsfähig sein und darf keine Ausschlussgründe nach §§ 123 oder 124 GWB aufweisen. Eine Selbstreinigung nach § 125 GWB ist möglich. Eine Eigenerklärung zu Artikel 5k EU-VO 833/2014 (Russland-Sanktionen) ist verpflichtend; eine Antwort NEIN führt zum Ausschluss. Eine Bestätigung der Interessenskonfliktfreiheit ist abzugeben – bei Vorliegen eines Konflikts sind dieser und ein Lösungsansatz darzulegen.

Es sind drei Referenzen aus den letzten drei Jahren nachzuweisen – je mindestens ein Projekt zu: (1) Expertise im Bereich Reinforcement Learning, (2) Sicherheit von KI-Systemen (insbesondere KI-spezifische Angriffe und Verteidigungen), (3) Prüfung von KI-Systemen (technisch, prozessorientiert, organisatorisch). Jede Referenz ist auf maximal 2 DIN-A4-Seiten darzustellen und muss Auftraggeber inkl. Fachbereich, Zeitraum, Auftragsvolumen und Auftragsgegenstand enthalten. Referenzschreiben sind nicht erforderlich.

Eine Übersicht über die technische Ausstattung ist vorzulegen; der Auftragnehmer muss in der Lage sein, die geforderten Leistungen erfolgreich zu erbringen.

Mindestens zwei Personen sind einzusetzen, darunter eine Projektleitung (PL) und eine stellvertretende Projektleitung (sPL). Alle Teammitglieder benötigen einen Hochschulabschluss in Informatik, IT-Sicherheit, Mathematik, Physik oder einem vergleichbaren Bereich und die Fähigkeit, technische/wissenschaftliche Sachverhalte verständlich darzustellen. Mindestens eine Person muss umfassende RL-Expertise (theoretische Grundlagen, Deep RL, generative KI), KI-Sicherheits-Expertise (Adversarial Attacks, Data Poisoning etc.) und Erfahrung mit KI-Prüfung mitbringen. Die PL muss erfolgreich mindestens ein vergleichbares Projekt (Umfang, Dauer) geleitet haben und Mo–Fr 9:30–15:30 Uhr erreichbar sein.

Das Verfahren ist ein offenes Verfahren. Der Zuschlag erfolgt nach Qualität. Eignungs- und Zuschlagskriterien sind getrennt zu betrachten; das benannte Personal muss im Angebot benannt und darf nur mit Zustimmung des Auftraggebers ausgetauscht werden (berechtigter Grund erforderlich). Das Angebot ist bis zum Ablauf der Bindefrist (3 Monate ab Angebotsabgabe) gültig.