Abschlussevaluation des Rahmenprogramms Gesundheitsforschung der Bundesregierung

Das Rahmenprogramm Gesundheitsforschung läuft von 2019 bis 2028; untersucht wird der Zeitraum 2019 bis 2026. Zu bewerten sind die Umsetzung der Leitlinien Der Mensch im Mittelpunkt sowie Personalisierung und Digitalisierung als Schlüssel als Querschnittsaufgaben. Die Evaluation umfasst die Wirkungen auf Forschungsprojekte, Forschungseinrichtungen und Forschungsstrukturen und wird in den Arbeitspaketen AP 1 Partizipation, AP 2 Digitalisierung und AP 3 Personalisierung bearbeitet.

Nach Zuschlag ist ein Evaluierungskonzept mit maximal 40 DIN-A4-Seiten zu erarbeiten. Es muss das methodische Vorgehen für die drei Arbeitspakete, ein Wirkungsmodell mit Indikatoren für Zielerreichung, Wirksamkeit und Wirtschaftlichkeit sowie eine zeitliche und Meilensteinplanung enthalten. Zu untersuchen sind Kosten-Nutzen, Vollzugs- und Maßnahmenwirtschaftlichkeit, Mitnahme- und Verdrängungseffekte, unbeabsichtigte Effekte sowie der Anteil von Administrations- und Begleitungskosten. Zusätzlich sind Verständlichkeit, Antragsaufwand, Verfahrensdauer, Förderberatung sowie Kohärenz und förderpolitische Einordnung zu erfassen und zu bewerten.

Für die Online-Befragung ist ein mobilkonformer Fragebogen mit einer Bearbeitungszeit von maximal 20 bis 30 Minuten zu entwickeln und abzustimmen. Er umfasst übergreifende und arbeitspaketbezogene Fragen; vorgesehen sind insgesamt etwa 5.000 Zuwendungsempfänger, bis zu zwei Nachfassrunden und eine angestrebte Rücklaufquote von mindestens 50 %. Anleitungs- und Übersendungsschreiben sind zu erstellen. Die bereitgestellte PROMO-Vorauswertung der von 2019 bis 2026 veröffentlichten Förderrichtlinien ist auszuwerten; bei Bedarf kann PROMO genutzt werden, und die zuständigen Projektträger können Finanzdaten bereitstellen.

Für 2023 bis 2026 wird Deutschland mit zehn weiteren europäischen und einigen außereuropäischen Ländern verglichen. Die Länder und Indikatoren sind vorzuschlagen. Mindestens Publikationen, Patente und klinische Studien sind zu berücksichtigen; absolute Werte sowie Werte bezogen auf Bevölkerungsgröße und BIP sind zu erfassen. Digitalisierung, Personalisierung und weitere relevante Themen sind einzubeziehen. Ergebnisse sind textlich und graphisch in den Abschlussbericht aufzunehmen.

Die Evaluation der Partizipation erfolgt partizipativ gemeinsam mit Patientenvertretenden und weiteren Partizipationsakteurinnen und -akteuren sowie quantitativ und qualitativ im Mixed-Methods-Design. Getrennt sind das Rahmenprogramm Gesundheitsforschung und die Nationale Dekade gegen Krebs zu analysieren. Zu untersuchen sind Förderschwerpunkte, die Verbindlichkeit von Partizipationsanforderungen, Beteiligungszeitpunkte, Phasen, Formate und Intensität, Diversität, Repräsentativität, Reporting in Publikationen sowie Partizipationsstrukturen und Unterstützungsangebote. Vorgesehen sind sechs halbstrukturierte Online-Fokusgruppen mit jeweils etwa 5 bis 8 Personen aus Forschenden, Patientenvertretenden, weiteren Partizipationsakteurinnen und -akteuren, medizinischem Fachpersonal und Partizipationsexpertise. Je Gruppe sind zwei Runden durchzuführen: eine ausschließlich zur Nationalen Dekade gegen Krebs und eine für die Gesundheitsforschung insgesamt. Transkripte, Auswertungen, Schaubilder und partizipative Ergebnisdiskussionen sind zu erarbeiten. Ein Stakeholder-Workshop mit etwa 35 bis 50 Personen und praxisnahe Handlungsempfehlungen schließen das Arbeitspaket ab.

Für die Medizininformatik-Initiative sind geeignete Wirkungskennzahlen zu entwickeln. Ein standardisierter Online-Fragebogen wird für Zuwendungsempfänger an allen 37 deutschen Universitätskliniken eingesetzt; vorhandene Kennzahlen aus FDPG und NUM sind zu berücksichtigen. Es sind 21 telefonische, halbstandardisierte und protokollierte Interviews mit maximal einer Stunde Dauer zu führen: vier Konsortien, vier Modul-2-Projekte, sechs konsortienübergreifende Use Cases, sechs Nachwuchsgruppenleitungen und eine Koordinierung. Ein Stakeholder-Workshop mit etwa 10 bis 15 Personen erarbeitet Handlungsempfehlungen zur Nachhaltigkeit und Weiterentwicklung von Dateninfrastrukturen, zur institutsübergreifenden Datennutzung und zum Transfer in die klinische Versorgung.

Die Fördermaßnahmen zur personalisierten Medizin und personalisierten Medizintechnik werden anhand der PROMO-Vorauswertung zu den 2019 bis 2026 veröffentlichten Förderrichtlinien ausgewertet. Indikatoren für personalisierte Medizin und personalisierte Medizintechnik sind zu entwickeln; die Bedeutung von Digitalisierung und KI ist zu untersuchen. Vorgesehen sind ein standardisierter Online-Fragebogen sowie 40 telefonische, halbstandardisierte und protokollierte Interviews mit maximal einer Stunde Dauer: etwa 25 mit Projektleitenden geförderter Verbünde und weiteren Fördermaßnahmen, etwa 5 mit Vertretern institutioneller Einrichtungen und etwa 10 mit nicht geförderten Forschenden und Stakeholdern. Ein Stakeholder-Workshop mit etwa 15 bis 20 Personen erarbeitet Handlungsempfehlungen zu internationaler Positionierung, Indikationsbereichen, Technologien, Translationskette, interdisziplinärer Zusammenarbeit, Academia-Industrie-Beziehungen, klinischer Umsetzung und Translation.

Der Auftragnehmer nimmt mit allen am Auftrag beteiligten wissenschaftlichen Mitarbeitenden am eintägigen Abstimmungsworkshop teil; für AP 1 kommen zwei Vertretende partizipativ beteiligter Personen hinzu. Der Abschlussworkshop wird konzipiert und moderiert,-results in einem etwa 30-minütigen Vortrag präsentiert und mit einer Gesamtdauer von maximal drei Stunden durchgeführt. Ergebnisse und wesentliche Handlungsempfehlungen sind zu dokumentieren und in den Abschlussbericht einzuarbeiten. Zusätzlich sind Status- und Abstimmungsbesprechungen mit bis zu fünf Online-Terminen von jeweils etwa zwei Stunden sowie bis zu sechs AP-1-Online-Meetings von jeweils etwa zwei Stunden einzuplanen. Anfragen des BMFTR sind innerhalb einer Woche oder nach gesonderter Fristabsprache zu beantworten.

Der Abschlussbericht muss die Ergebnisse aller Analysen und gesonderte Ergebnisse für die Nationale Dekade gegen Krebs enthalten. Er umfasst höchstens 80 DIN-A4-Seiten in Arial 11 pt mit einzeiligem Zeilenabstand und wird als PDF sowie in einer mit gängiger Software bearbeitbaren Datei übergeben. Anhang mit Leitfäden, Berechnungstabellen, Befragungsaufstellungen und ähnlichen Unterlagen ist beizufügen. Zusätzlich sind eine barrierefreie deutsche Zusammenfassung mit etwa 30 Seiten, eine deutsch- und englischsprachige Kurzzusammenfassung mit etwa 5 Seiten sowie ansprechende Infografiken zu erstellen. Vorgaben des BMFTR-Corporate-Designs, BITV 2.0 und DIN EN 301 549 sind einzuhalten; die Gestaltung ist vor Produktion durch das zuständige Fachreferat freizugeben. Entwurf, finaler Bericht und sämtliche Rohdaten zu allen Analysen sind zu übermitteln.

Die gesamte Leistung ist auf 13 Monate ab Zuschlag ausgelegt. Das Evaluierungskonzept ist spätesten acht Wochen nach Zuschlag vorzulegen; ein Entwurf für den Abstimmungsworkshop wird etwa acht Wochen vor dessen Termin erwartet. Der Abstimmungsworkshop und das Präsenzmeeting zur partizipativen Entwicklung der AP-1-Evaluation finden spätestens etwa zehn Wochen nach Zuschlag statt. Das BMFTR stellt geeignete Kontaktlisten spätestens acht Wochen nach Zuschlag bereit. Befragungsunterlagen, Leitfäden und Workshop-Moderationsleitfäden sind jeweils vier Wochen vor Beginn der jeweiligen Erhebung oder Veranstaltung vorzulegen. Entwurf und finaler Abschlussbericht sowie der Abschlussworkshop werden nach den in der Leistungsbeschreibung festgelegten Meilensteinen erstellt. Arbeitssprache ist Deutsch; im internationalen Umfeld wird Englisch verwendet. Die Durchführung ist nachhaltig, barrierefrei und ressourcenschonend sowie möglichst ohne Papier und unnötige Dienstreisen zu organisieren.

Die zwingenden und fakultativen Ausschlussgründe sowie die im Bieterbogen und in den Besonderen Bewerbungsbedingungen genannten besonderen Anforderungen sind zu erklären. Erforderlich sind die Eigenerklärung zum Nichtvorliegen von Ausschlussgründen, gegebenenfalls eine Selbstreinigungserklärung, die Eigenerklärung zum 5. EU-Sanktionspaket, das Bundestariftreueversprechen und die Erklärung zum Einsatz von KI-Systemen. Bei Bietergemeinschaften ist eine gemeinsame Erklärung abzugeben; bei Eignungsleihe sind die zusätzlichen Erklärungen des Eignungsverleihers einzureichen. Für unmittelbar beteiligte Unterauftragnehmer, Lieferanten oder im Rahmen der Eignungsleihe genutzte Unternehmen ist die Sanktionserklärung vorgesehen, wenn ihr Anteil am Auftragsvolumen mehr als 10 Prozent beträgt.

Soweit die Tätigkeit eine Eintragung in ein Berufs- oder Handelsregister oder ein vergleichbares Register voraussetzt, ist ein höchstens sechs Monate alter Registerauszug vorzulegen. Der Mindestumsatz beträgt 500.000 Euro pro Jahr im Schnitt der letzten drei abgeschlossenen Geschäftsjahre; nachzuweisen sind Gesamtumsatz und Umsatz im Tätigkeitsbereich des Auftrags. Bei kürzerer Unternehmensbestehensdauer sind die Angaben für die Geschäftsjahre seit Gründung und der Gründungszeitpunkt vorzulegen. Eine marktübliche Berufs- oder Betriebshaftpflichtversicherung muss spätestens zu Beginn der Leistung bestehen.

Das Unternehmen muss über mindestens vier Mitarbeiter verfügen. Für die verantwortlichen oder leitenden Mitarbeitenden sind Erfahrungen in der Evaluation staatlicher Förderprogramme, in der Gesundheitsforschung, mit mindestens zwei Jahren Führungserfahrung von Evaluationsteams und mit Partizipationsprozessen im Bereich Gesundheit und/oder Forschung nachzuweisen. Für die übrigen technischen Fachkräfte werden Erfahrungen in der Durchführung und Auswertung von Evaluationen staatlicher Förderprogramme, in Datenerhebung, Datenauswertung und Analysen, in der Gesundheitsforschung und in nationalen oder europäischen Forschungsfördersystemen verlangt. Das im Angebot in leitender Position benannte Personal ist verbindlich einzusetzen; ein Wechsel bedarf der Abstimmung und ist nur aus wichtigem Grund mit mindestens gleichwertiger Qualifikation möglich. Das Personal muss fachliche, methodische, soziale und administrative Qualifikationen sowie Kenntnisse der für die öffentliche Verwaltung geltenden Bestimmungen aufweisen. Fortbildungsmaßnahmen sind sicherzustellen.

Es sind mindestens drei verschiedene Unternehmensreferenzen aus den letzten drei Jahren einzureichen. Zusammen müssen sie Erfahrungen in der Evaluation von Bundes- oder Länderförderprogrammen, in der Gesundheitsforschung sowie in Datenerhebungen und deren Auswertung mit mehr als 100 Befragten nachweisen. Für die leitenden Mitarbeitenden sind zusätzlich personenbezogene Referenzen für die oben genannten Qualifikationsprofile vorzulegen. Mindestanzahl, Zeiträume, Auftragswerte und Vergleichbarkeitsanforderungen sind im abweichenden Stammdatenauszug nicht vollständig enthalten; maßgeblich sind die Anforderungen der Besonderen Bewerbungsbedingungen und des Bieterbogens.

Die Leistung muss den DeGEval-Standards entsprechen. Die Methodik muss wissenschaftlich fundiert und für das jeweilige Evaluierungsziel angemessen sein. Bei einem KI-Einsatz sind Informationssicherheit, externe Cloud-Dienste, der aktuelle BSI-Mindeststandard und der BSI-Kriterienkatalog für externe generative KI-Modelle zu beachten. Anbieter, Produkt, Modellversion und System Card sind offenzulegen, der KI-Einsatz nachvollziehbar zu dokumentieren und sämtliche KI-gestützten Ergebnisse vor Übermittlung zu prüfen und aktiv zu überarbeiten. Vertrauliche Informationen, Geschäftsgeheimnisse und personenbezogene Daten dürfen nicht in öffentlich zugängliche KI-Systeme eingegeben werden. Bei Verträgen mit Dritten sind die Vergabevorgaben des BMFTR einzuhalten; eine Beauftragung von Dritten bedarf einer schriftlichen Erlaubnis. Externe Kosten sind gesondert zu kalkulieren, abzurechnen und zu belegen.