KI IM BÜRO – LÄNGST REALITÄT, ABER RECHTLICH RISKANT?

Integrierte KI-Lösungen haben sich schnell und flächendeckend im Büroalltag verbreitet, weil sie als Bestandteil bestehender Softwarelösungen „mitgeliefert“ werden. Ob Microsoft Copilot, Google Gemini, Apple Intelligence oder der KI-Assistent in Zoom: Sie sparen Zeit, steigern die Produktivität – und bringen neue Herausforderungen mit sich. Vor allem im Datenschutz.

Im Fokus dieses Beitrags stehen die Anforderungen der DSGVO und des KDG, um Organisationen und kirchlichen Einrichtungen eine rechtssichere Orientierung zu bieten.

1        WAS VIELEN NICHT BEWUSST IST: DIE KI IST SCHON DA – UND ARBEITET LÄNGST MIT.

Viele Unternehmen, Vereine und Verbände glauben, Künstliche Intelligenz sei noch Zukunftsmusik – dabei ist sie längst Teil des Büroalltags. Nicht als großer Umbruch, sondern als unsichtbarer Helfer im Hintergrund: E-Mails werden zusammengefasst, Besprechungen automatisch protokolliert, Texte vorgeschlagen oder Daten auf Muster analysiert – und das alles ganz nebenbei, durch Funktionen, die mit Software-Updates eingeführt wurden.

Das Gefährliche daran: Diese KI-Systeme greifen oft tief in interne Datenbestände ein, ohne dass klar ist, welche Informationen verarbeitet, gespeichert oder analysiert werden. Und genau hier beginnt das datenschutzrechtliche Risiko: Denn mit dem Einsatz solcher Tools geht die Verantwortung für eine DSGVO-konforme Nutzung nicht an Microsoft, Google oder Zoom über – sie bleibt bei der Organisation selbst.

Damit Sie Chancen ergreifen und Risiken gezielt vermeiden können, geben wir Ihnen in diesem Beitrag einen kompakten Überblick über

•      Risiken integrierter KI im Überblick

•      Handlungsempfehlungen für die Praxis

•      Rechtlicher Rahmen im Überblick

•      Datenschutz als Wettbewerbsvorteil

2       PRIVACY BY DESIGN – WAS BEDEUTET DAS FÜR DEN EINSATZ VON KI?

Der Begriff „Privacy by Design“ stammt aus der DSGVO (Art. 25) und bedeutet: Datenschutz muss von Anfang an mitgedacht und technisch eingebaut werden – nicht erst im Nachhinein. Das gilt besonders für KI-Systeme, die tief in Datenprozesse eingreifen können.

Für Organisationen heißt das konkret:

Schon bei der Auswahl und Einrichtung von KI-Tools müssen Sie sicherstellen, dass Datenschutzstandards eingehalten werden. Das gelingt durch sogenannte technische und organisatorische Maßnahmen (TOMs), zum Beispiel:

•      Datenminimierung: Die KI darf nur auf die Daten zugreifen, die wirklich notwendig sind.

•      Pseudonymisierung: Personenbezug wird durch technische Maßnahmen reduziert, z. B. durch anonymisierte Nutzerkennungen.

•      Rollenbasierter Zugriff: Nicht jede:r Mitarbeitende darf auf alle Daten zugreifen – Zugriffsrechte müssen gezielt vergeben werden.

•      Logging-Funktionen: Es muss nachvollziehbar sein, wann und wie KI-Systeme Daten verarbeitet haben.

•      Anonymisierung: Eingabedaten werden so verändert, dass Rückschlüsse auf Einzelpersonen ausgeschlossen sind.

•      Verschlüsselung: Datenübertragung und -speicherung erfolgen verschlüsselt, um unbefugten Zugriff zu verhindern.

Diese Anforderungen sind übrigens auch Bestandteil der offiziellen KI-Checkliste des BayLDA (Bayerisches Landesamt für Datenschutzaufsicht) (HIER | externer Link) – eine hilfreiche Orientierung für alle, die KI datenschutzkonform einsetzen wollen.

3       WARUM KI-SYSTEME OFT ZU VIEL WISSEN UND DAS EIN PROBLEM IST:

Viele KI-Systeme folgen dem Prinzip: Je mehr Daten, desto besser die Ergebnisse. Dabei unterscheiden sie in der Regel nicht automatisch, ob es sich um einfache personenbezogene Daten (z.B. Name, E-Mail-Adresse) oder um besonders schützenswerte Informationen handelt – wie etwa:

·       Gesundheitsdaten

·       Religiöse oder politische Überzeugungen

·       Betriebs- und Geschäftsgeheimnisse

Doch genau diese sensiblen Daten dürfen laut DSGVO nur unter strengen Voraussetzungen verarbeitet werden. Wenn KI-Tools ungefiltert auf interne Datenbestände zugreifen, kann das zentrale Datenschutzprinzipien wie Zweckbindung, Datenminimierung und Vertraulichkeit verletzen.

Deshalb gilt:

Organisationen brauchen klare Regeln und technische Schutzmaßnahmen, um sicherzustellen, dass die KI nur auf die Daten zugreift, die sie tatsächlich braucht – und nicht darüber hinaus.

4      VERSTECKTE VORURTEILE IN DER KI: WENN ALGORITHMEN DISKRIMINIEREN

KI trifft Entscheidungen auf Basis von Daten – und genau darin liegt die Gefahr: Sind diese Daten verzerrt oder einseitig, übernimmt die KI diese Muster. Das nennt man Bias. Die Folgen können diskriminierend sein, etwa bei der Bewerberauswahl, der Kundenbewertung oder der automatischen Priorisierung von Anfragen.

Ein Beispiel: Wurde ein System hauptsächlich mit Daten männlicher Bewerber trainiert, kann es weibliche Kandidatinnen systematisch schlechter bewerten – ohne dass es jemand bemerkt.

·       Deshalb fordert die Datenschutzkonferenz (DSK), dass Organisationen: Bias-Analysen durchführen

·       klare Fairness-Kriterien festlegen

·       und ihre Systeme regelmäßig überprüfen und nachjustieren

Fazit: Künstliche Intelligenz ist nicht von Natur aus objektiv. Es ist Aufgabe der Organisation, dafür zu sorgen, dass Algorithmen fair handeln – und niemand benachteiligt wird.

5       RECHTSGRUNDLAGE FEHLT? DANN FEHLT AUCH DIE ERLAUBNIS

Die DSGVO/das KDG schreibt vor, dass jede Verarbeitung personenbezogener Daten eine klare rechtliche Grundlage braucht (Art. 6DSGVO/§ 6 KDG) – zum Beispiel Einwilligung, Vertragserfüllung oder ein berechtigtes Interesse.

Darüber hinaus ist im Beschäftigungskontext ist eine Einwilligung aufgrund von Abhängigkeitsverhältnissen oft unwirksam. Stattdessen sind § 26 BDSG und Art. 6 Abs. 1 lit. f DSGVO/§ 6 Abs. 1 lit. g KDG als Rechtsgrundlagen besonders zu prüfen.

Wenn KI-Tools besondere Kategorien personenbezogener Daten (Art. 9 DSGVO/§ 11 KDG) verarbeiten, sind zusätzlich die strengen Voraussetzungen aus Art. 9 DSGVO/§ 11 KDG zu erfüllen.

Problematisch wird es, wenn bestehende Daten plötzlich für andere Zwecke verwendet werden, etwa:

·       Mitarbeitendendaten für Leistungsbewertungen

·       Nutzungsdaten für Verhaltensanalysen

In solchen Fällen ist ein sogenannter Kompatibilitätscheck erforderlich: Passt der neue Verwendungszweck überhaupt zum ursprünglichen?

In der Praxis wird das häufig übersehen oder nicht ausreichend dokumentiert – was bei Prüfungen oder Beschwerden schnell zum Verstoß wird.

Wichtig:

Daten dürfen nicht einfach „weiterverwendet“ werden. Ohne eine klar belegte Rechtsgrundlage und dokumentierte Zweckprüfung riskieren Organisationen massive DSGVO bzw. KDG-Verstöße.

6      UNBEMERKT UND UNINFORMIERT: SO VERSTOSSEN KI-SYSTEME GEGEN DIE DSGVO BZW. DAS KD

Viele KI-Funktionen laufen im Hintergrund – ohne sichtbare Hinweise für Mitarbeitende, Kunden oder Mitglieder. Das Problem: Betroffene wissen oft nicht, dass ihre Daten analysiert, bewertet oder gespeichert werden.

Doch genau das ist laut DSGVO bzw. KDG vorgeschrieben:

·       Nach Art. 13 und 14 DSGVO bzw. § 15 und 16 KDG müssen Organisationen klar und verständlich informieren, wenn personenbezogene Daten verarbeitet werden – und auch wofür und wie.

·       Auch der EU AI Act (Art. 52) verlangt: Wenn Menschen mit KI-Systemen interagieren, muss das eindeutig erkennbar sein.

Transparenz ist Pflicht. Wer KI einsetzt, muss offenlegen, dass sie mitarbeitet – alles andere ist ein Verstoß gegen geltendes Recht.

7       WENN DIE KI ENTSCHEIDET – ABER DER MENSCH DAS LETZTE WORT HABEN MUSS

KI-Systeme können Entscheidungen treffen, die direkte Auswirkungen auf Menschen haben – etwa bei:

·       der Bewertung von Bewerbungen,

·       der Einstufung von Kundenrisiken oder

·       der automatisierten Ablehnung von Anträgen.

Laut Art. 22 DSGVO/ § 24 KDG gilt in solchen Fällen:

Betroffene dürfen nicht allein einer automatisierten Entscheidung unterworfen werden, wenn diese rechtliche Wirkung hat (z. B. Vertragsabschluss, Ablehnung) oder sie wesentlich beeinträchtigt.

Sie haben das Recht auf:

·       menschliches Eingreifen

·       eine nachvollziehbare Erklärung

·       die Möglichkeit zur Anfechtung

Art. 22 Abs. 2 DSGVO/ § 24 Abs. 2 KDG sieht Ausnahmen vor, bei denen automatisierte Entscheidungen zulässig sind (Vertragserfüllung, gesetzliche Regelung, ausdrückliche Einwilligung), aber stets mit Recht auf menschliches Eingreifen, Erläuterung und Widerspruchsrecht (Art. 22 Abs. 3 DSGVO/ § 24 Abs. 3 KDG).

Wichtig: Organisationen müssen solche Prozesse nachweislich eingerichtet haben – also dokumentieren, wie Entscheidungen zustande kommen und wie Menschen im Zweifel eingreifen können.

8      KI IN DER CLOUD – ABER WOHIN GEHEN DIE DATEN EIGENTLICH?

Viele KI-Dienste – z. B. von Microsoft, Google oder OpenAI – laufen über Cloud-Server außerhalb der EU, etwa in den USA. Dabei werden personenbezogene Daten oft in sogenannte Drittstaaten übertragen.

Die Anbieter fungieren in der Regel als Auftragsverarbeiter. Daher ist in jedem Fall ein Vertrag zur Auftragsverarbeitung gemäß Art. 28 DSGVO/§ 29 KDG abzuschließen. Viele KI-Anbieter (z. B. OpenAI für ChatGPT) bieten jedoch keinen Standard-AV-Vertrag an, sodass eine Nutzung sonst unzulässig ist.

Das Problem: In vielen dieser Länder gibt es kein mit der EU vergleichbares Datenschutzniveau. Obwohl das aktuelle Datenschutzabkommen zwischen den USA und der EU seit Juli 2023 in Kraft ist, steht das Framework rechtlich auf der Kippe. Das Data Privacy Framework könnte bald erneut, wie auch bereits sein Vorgänger vor dem EuGH gekippt werden. Das hätte zur Folge, dass Anbieter mit Cloud-Diensten in den USA oder mit US-Mutterkonzernen nur mit sehr viel technischem und organisatorischem Aufwand genutzt werden könnten.

Seit der Entscheidung des Europäischen Gerichtshofs („Schrems II“ (C-311/18)) wurde deutlich, dass  Standardvertragsklauseln (SCC) allein als Rechtsgrundlage nicht mehr reichen. Nun müssen Organisationen zusätzlich ein sogenanntes Transfer Impact Assessment (TIA) durchführen – eine Bewertung, ob der Empfängerstaat ausreichenden Schutz für die Daten bietet und daraufhin zusätzliche Schutzmaßnahmen festlegen.

Cloud-basierte KI-Dienste aus Drittstaaten erfordern eine sorgfältige Vertragsgestaltung, eine umfassende Risikoanalyse und die Umsetzung technischer sowie organisatorischer Schutzmaßnahmen, um DSGVO bzw. KDG-Konformität sicherzustellen.

9      GESPRÄCHE AUFZEICHNEN MIT KI? NUR MIT KLARER ZUSTIMMUNG

Viele moderne Tools wie Zoom, Microsoft Teams oder Copilot bieten Funktionen zur automatischen Aufzeichnung und Analyse von Gesprächen – zum Beispiel, um Protokolle zu erstellen oder Aufgaben zu erkennen.

Was viele nicht wissen:

Sobald eine Unterhaltung aufgezeichnet oder analysiert wird, handelt es sich um einen Eingriff in die Vertraulichkeit der Kommunikation. Das ist nur erlaubt, wenn alle Teilnehmenden ausdrücklich schriftlich eingewilligt haben – gemäß:

·       § 3 TDDDG (Telekommunikation-Digitale-Dienste-Datenschutz-Gesetz)

·       Art. 7 DSGVO/§ 8 KDG (Einwilligung)

·       § 201 StGB (Strafbarkeit bei unbefugter Aufzeichnung von Gesprächen)

Eine bloßes Stillschweigen oder eine mündliche Zusage der Teilnehmenden zu Beginn gilt nicht als ausreichende Einwilligung. Es muss ein aktives, nachweisbares „Ja“ eingeholt werden und entsprechend den Vorgaben einer rechtssicheren Einwilligung auch eine ausführliche Information über die Datenverarbeitung sowie deren Risiken erfolgen. Betriebsräte oder Mitarbeitervertretungen sind frühzeitig einzubinden, wenn Aufzeichnungen in Arbeitskontexten geplant sind.

Fehlt diese Zustimmung, ist die Datenverarbeitung rechtswidrig – und kann nicht nur zu Bußgeldern, sondern sogar zu strafrechtlichen Konsequenzen führen.

KI darf nicht heimlich mithören. Wer Gespräche analysieren lässt, braucht die klare Zustimmung aller Beteiligten.

10   HANDLUNGSEMPFEHLUNG FÜR DIE PRAKTISCHE ANWENDUNG VON INTEGRIERTEN KI-SYSTEMEN:

Ohne vorher durchdachte Verträge, transparente Dokumentation und technische Schutzmaßnahmen wird der Einsatz schnell zum Risiko. Wer dagegen auf fundierte Grundlagen, kontinuierliche Kontrolle und gut informierte Teams setzt, schafft die Basis für einen sicheren, verantwortungsvollen und zukunftsfähigen Umgang mit KI im Arbeitsalltag. Lesen Sie auch gerne in unserem Blogartikel unter https://www.datafreshup.de/blog/ai-act nochmal genauer nach.

10.1    BESTANDSAUFNAHME & RISIKOKLASSIFIZIERUNG

Noch bevor Sie Maßnahmen ergreifen, sollten Sie wissen, welche KI-Systeme Sie überhaupt im Einsatz haben – und wie risikoreich diese sind. Der EU AI Act unterscheidet dabei zwischen verschiedenen Risikostufen (z. B. „minimal“, „hoch“ oder „verboten“). Je höher das Risiko, desto strenger die Anforderungen an Transparenz, Kontrolle und Monitoring.

10.2   RECHTSGRUNDLAGEN PRÜFEN

Die DSGVO verlangt für jede Datenverarbeitung eine klare rechtliche Grundlage – etwa Einwilligung, Vertrag oder berechtigtes Interesse. Prüfen und dokumentieren Sie deshalb, welche Daten verarbeitet werden, zu welchem Zweck – und auf welcher Rechtsgrundlage. Berücksichtigen Sie dabei insbesondere im Bereich der Beschäftigten den § 26 BDSG bzw. § 53 KDG und die Anforderungen an besondere Datenkategorien (Art. 9 DSGVO/§ 11 KDG). Diese und weitere Maßnahmen können Sie vor Bußgeldern schützen und erhöhen die Nachvollziehbarkeit.

10.3  TRANSPARENZ GEWÄHRLEISTEN

Betroffene – z. B. Mitarbeitende, Kunden oder Mitglieder – haben ein Recht darauf zu wissen, ob und wie KI im Hintergrund arbeitet. Deshalb sollten Sie offen und verständlich informieren, etwa durch Datenschutzhinweise oder Schulungen. Wichtig: Erklären Sie auch, welche Entscheidungen die KI trifft und wie Betroffene ihre Rechte wahrnehmen können. Dokumentieren Sie alle KI-Verarbeitungen auch im Verarbeitungsverzeichnis und erstellen auf dieser Grundlage eine KI-Transparenzerklärung.

10.4  DOKUMENTATIONEN AKTUALISIEREN

Wenn Sie KI einsetzen, müssen Sie Ihre Datenschutzdokumentation anpassen. Dazu gehören unter anderem:

·       Aktualisierung des Verzeichnis der Verarbeitungstätigkeiten

·       eine Datenschutz-Folgenabschätzung (DSFA),

·       die Dokumentation möglicher Bias- oder Halluzinationsrisiken,

·       sowie Maßnahmen zur Datensicherheit (z. B. Zugriffskontrollen, Monitoring).

10.5  TECHNISCHE DOKUMENTATION ERSTELLEN

Der EU AI Act verlangt für alle eingesetzten KI-Systeme eine technische Dokumentation (Art. 11). Darin muss nachvollziehbar beschrieben werden:

·       Was das System tut (Funktionen),

·       mit welchen Daten es trainiert wurde (Trainingsdaten),

·       wie es Entscheidungen trifft (Logik),

·       und welche Risiken dabei bestehen (z. B. Fehler, Bias, Missbrauch).

Ziel: Transparenz und Prüfbarkeit – sowohl für Behörden als auch für interne Verantwortliche.

10.6  POST-MARKET-MONITORING ETABLIEREN

Wenn Ihre KI als „High-Risk-System“ eingestuft wird (z.B. in HR, Bildung, Strafverfolgung), sind Sie verpflichtet, sie auch nach dem Rollout aktiv zu überwachen (Art. 61).

Das heißt: Sie müssen regelmäßig prüfen, ob die KI im Alltag wie geplant funktioniert – und ob Risiken auftreten. Dafür braucht es:

·       Monitoring-Prozesse,

·       Protokollierung von Auffälligkeiten,

·       und klare Abläufe zur Meldung von Problemen.

10.7   AV-VERTRÄGE OPTIMIEREN

Sobald externe Anbieter (z.B. Cloud-KI-Dienste) personenbezogene Daten in Ihrem Auftrag verarbeiten, ist ein Auftragsverarbeitungsvertrag (AV-Vertrag) nach Art. 28 DSGVO/§ 29 KDG Pflicht.

Wichtig dabei:

·       Ist der Anbieter DSGVO/KDG-konform aufgestellt?

·       Werden Daten in Drittländer übertragen – und wenn ja, unter welchen Bedingungen?

·       Verfügt der Anbieter in seinen Verträgen über Standardvertragsklauseln (SCC) und ein Transfer Impact Assessment (TIA)?

·       Liegen dem AV-Vertrag Transparenzinformationen über das ursprüngliche sowie das zukünftige Training der KI vor?

10.8  SCHULUNGEN UND AWARENESS SCHAFFEN

Technik allein schützt nicht vor Datenschutzpannen. Mitarbeitende müssen wissen, wo KI eingesetzt wird, welche Risiken bestehen und wie sie im Alltag korrekt damit umgehen.

Ergänzen Sie Schulungen durch verbindliche interne Richtlinien und Nutzungsvereinbarungen für KI-Tools.

Regelmäßige Schulungen und klare Leitlinien helfen, Fehlverhalten zu vermeiden – und machen Datenschutz zu einem festen Bestandteil der Organisationskultur.

10.9  TECHNISCHE MASSNAHMEN UMSETZE

Neben organisatorischen Regeln braucht es technische Schutzmechanismen wie z. B.:

·       Datenminimierung: Nur so viele Daten wie nötig verarbeiten lassen.

·       Logging: Nachvollziehen können, wann und wie KI-Systeme Daten genutzt haben.

·       Monitoring: Verdächtige oder fehlerhafte KI-Aktivitäten frühzeitig erkennen.

·       Verschlüsselung: Prüfen, wie Datenübertragungen und -speicherungen verschlüsselt werden können.

Weiter können Audits, Regelmäßige Prüfungen zeigen, ob alles wie geplant funktioniert und ob technische oder organisatorische Risiken übersehen wurden.

10.10  SANKTIONEN UND BUSSGELDER VERMEIDE

Ein häufiger Fehler: Datenschutz wird nur „oben“ besprochen – und im Alltag vergessen. Dabei gilt: Verstöße gegen die DSGVO bzw. das KDG oder den EU AI Act können für das Organisationen teuer werden und einen enormen Vertrauensverlust bei den Betroffenen verursachen.

Organisationen sowie deren Mitarbeitende sollten daher wissen, welche Konsequenzen drohen – und wie sie mit KI verantwortungsvoll umgehen.

11     DATENSCHUTZ IST KEIN INNOVATIONSHINDERNIS – SONDERN DIE VORAUSSETZUNG FÜR VERTRAUEN

Künstliche Intelligenz kann Prozesse schneller, effizienter und intelligenter machen. Doch je mehr Daten KI-Systeme nutzen, desto wichtiger wird ein verantwortungsvoller Umgang mit diesen Informationen. 

Nur wer Datenschutz von Anfang an mitdenkt, schafft eine solide Grundlage: für rechtssichere Prozesse, für Vertrauen bei Mitarbeitenden, Kunden und Partnern – und letztlich für langfristigen Erfolg mit KI.

🚀 JETZT HANDELN: DATENSCHUTZBERATUNG ZU KI SICHERN

Möchten Sie wissen, wie Ihre KI-Tools datenschutzkonform einsetzen können? Wir unterstützen Sie bei einem KI-Datenschutz-Audit, der Bewertung aktueller Risiken und der Umsetzung rechtssicherer Maßnahmen.

📊 Termin für unverbindliches Erstgespräch vereinbaren! (externer Link)