KI-Sprachmodelle und die Wärmewende: Fakten oder Fantasie?
Seit der Einführung von ChatGPT im Herbst 2022 haben Sprachmodelle, die auf künstlicher Intelligenz beruhen, zunehmend an Aufmerksamkeit gewonnen. Die technologischen Fortschritte in diesem Bereich entwickeln sich rasant: es erscheinen beinahe täglich neue Schlagzeilen über große Tech-Unternehmen, die ihre eigenen Sprachmodelle und Chatbots vorstellen oder weiterentwickeln. Dabei werden auch immer wieder Unzulänglichkeiten deutlich, wie das Beispiel Gemini weiter unten im Beitrag illustriert. Die Funktionsweise dieser Sprachmodelle, die auf tiefen neuronalen Netzwerken (DNN) basieren, bleibt für Außenstehende weitgehend undurchsichtig, und selbst die Entwickler*innen können nicht genau nachvollziehen, was im Inneren dieser "Blackbox" geschieht. Ebenso sind die verwendeten Daten- und Textquellen sowie die beim Training der Modelle eingesetzten Regeln und getroffenen Grundannahmen weitgehend intransparent.
In jüngerer Zeit wurde einigen Chatbots ermöglicht, das Internet als Ressource zu nutzen, um ihre Antworten mit aktuellen Informationen zu ergänzen. Obwohl in einigen Fällen Quellenangaben bereitgestellt werden, bleibt es den Nutzer*innen überlassen zu entscheiden, welche Informationen aus den Trainingsdaten stammen und welche aktuell aus dem Netz gezogen wurden. Ein häufig auftretendes Problem bei Chatbots ist das sogenannte "Halluzinieren", also das Erzeugen von Antworten, die nicht auf Fakten oder echten Quellen basieren, sondern frei erfunden sind. Dieses Erfinden von Aussagen ohne Bezugnahme auf Quellen und das Verlinken nicht existierender Referenzen stellt Nutzer*innen vor die Herausforderung, die Vertrauenswürdigkeit und Faktentreue der von Chatbots gelieferten Antworten kritisch zu hinterfragen.
Faktentreue bei Umweltschutzthemen
Da die Modelle immer mehr genutzt werden und ihre Faktentreue nicht einfach zu erkennen ist, ergibt sich die Frage: Wie sehr dürfen wir den Chatbots eigentlich vertrauen? Wie richtig und faktentreu sind ihre Antworten? Und wie kann sich das auf den gesellschaftlichen Diskurs auswirken – insbesondere bei Themen, die sehr strittig sind. Im Hinblick auf Umweltschutz-relevante Fragen evaluieren Wissenschaftler*innen vom Öko-Institut im aktuellen Spendenprojekt die Antworten und bewerten die Nutzbarkeit der Chatbots mit Hilfe ihrer Expertise.
Dazu vergleichen wir im heutigen Beitrag: ChatGPT4 (openAI), Copilot (Microsoft), Gemini (Google) sowie Phind, Die Auswahl fiel auf die Bots, die das Internet zurzeit durch den Umfang ihrer Kapazitäten und Verbindung zu führenden Technologieunternehmen dominieren. Außerdem wurde mit Phind ein Chatbot gewählt, dessen zugrundeliegendes Sprachmodell Code Llama open source zur Verfügung steht.
Fragen und Antworten zur Wärmewende
Die Chatverläufe und Recherchen sind vom 21. März 2024. Im Hinblick auf die mediale Diskussion rund um die Verabschiedung des Gebäudeenergiegesetzes (GEG), die im letzten Jahr große Wellen geschlagen hat, auch aufgrund von Falschmeldungen und Dramatisierung (BILD framte es als „Habecks Heizungs-Hammer“), haben wir die folgende Frage gewählt, um die Chatbots auf ihre Aktualität, Richtigkeit und möglichen Bias zu testen:
Welche Auswirkungen hat das GEG eigentlich auf mich als Hausbesitzerin mit einem alten Gaskessel?
- Qualität der Antwort: ChatGPT4 und Phind liefern besonders umfangreiche, fundierte Antworten – diese enthalten die von uns als wichtig zu nennenden Regelungen (zeitliche Angaben und Möglichkeiten der (Weiter-)Nutzung von Gaskesseln sowie Bezug zur kommunalen Wärmeplanung und Hinweis auf bestehende Förderungen). Copilot liefert ebenfalls eine umfangreiche, richtige Antwort, allerdings knapper formuliert und durch Hervorhebungen lesefreundlich formatiert – dieser Bot gibt außerdem Vorschläge für Folgeprompts, zum Beispiel: „Was passiert, wenn ich meine alte Heizung nicht austauschen möchte?“.
Der „jüngste“ Bot Gemini halluziniert falsche Werte und Angaben und liefert zur Erwähnung des BEG (Bundesförderung für effiziente Gebäude) einen Link zum Wörterbucheintrag „to beg“.
2. Quellen-Verfügbarkeit: ChatGPT (auf Nachfrage) und Phind zitieren offizielle und aktuelle Webseiten; Copilot zitiert zwar nur aus einer Quelle (hier energie-fachberater.de vom 02.01.2024, verweist aber auf weitere Links mit passenden Informationen
Fazit: die genutzten Bots geben zum Großteil einen richtigen Einstieg in das Thema (Achtung bei Gemini); die Antworten sind entsprechend der Frage jedoch noch recht allgemein und müssen via Folgefragen spezifiziert werden.
Um die Bots in ihrer Fähigkeit zu testen, sachliche und fundierte Antworten zu liefern, haben wir mit folgender Suggestivfrage erneut nachgefragt:
Will Habeck mir meine Heizung verbieten?
Die Antworten fielen hier bereits diverser aus: Copilot und Gemini wollten die Frage nicht beantworten.
Phind und ChatGPT4 waren dagegen gesprächiger: Phind antwortet sogar einleitend mit „Ja“ und beschreibt die Regelungen im Gebäudeenergiegesetzt als von Robert Habeck persönlich veranlasst. Im Verlauf der Antwort, wird allerdings deutlich, dass Phind dabei auf Zeitungen als Quellen zugreift und zum Zeitpunkt des zitierten Artikels (März 2023) die Diskussion um das Heizungsgesetzt stark medial vertreten war und darüber sehr negativ berichtet wurde.
ChatGPT4 dagegen antwortet beschwichtigend und erklärt die zugrundeliegende politische Absicht Robert Habecks durch den allmählichen Übergang zu emissionsarmen Heizsystemen zum Klimaschutz beizutragen.
Zu Beginn der Untersuchung Anfang des Jahres zeigten die Chatbots aufgrund mangelnder Informationen zum kürzlich überarbeiteten Gebäudeenergiegesetz (GEG) und einem eingeschränkten Zugang zu Internetrecherchen noch eine hohe Fehlerquote in ihren Antworten. Die auf Anfragen hin bereitgestellten Quellen basierten hauptsächlich auf den Ergebnissen der ersten Websuchseite und waren dabei nur spärlich bzw. anhand einzelner Sätze zusammengefasst. Knapp drei Monate später, können die Antworten dagegen als überwiegend richtig eingestuft werden.
Deutlich wird auch, dass das „Prompting“, also die Formulierung der Frage sowie die Wortwahl einen starken Einfluss auf die Antworten nehmen. Hier können den Bots gegebene Rollenbilder z.B. „Energieberater“ die Detailtiefe der Antworten erhöhen. Diese Einflüsse wollen wir im Verlauf des Spendenprojekts und dieser Blogserie weiter untersuchen.
Im weiteren Projektverlauf untersuchen wir die Bots im Hinblick auf ihre Nutzbarkeit in weiteren, in der gesellschaftlichen Debatte strittigen Themen, zum Beispiel zum Ausbau der erneuerbaren Energien oder zu Fleischersatzprodukten. In unserem nächsten Beitrag beschäftigen wir uns mit dem Chatbot-Wissen zur Informations- und Kommunikationstechnologien (IKT).
Carmen Loschke ist wissenschaftliche Assistentin im Bereich Energie & Klimaschutz am Standort Freiburg und hat im Spendenprojekt den Bereich zur Wärmewende mit erarbeitet.
Weitere Informationen
In unserem aktuellen Spendenprojekt „Schreiben mit künstlicher Intelligenz – Fakten oder Fiktion? Chancen und Risiken von KI-Sprachmodellen: Wie einfach ist es für Nutzer*innen, verlässliche Informationen zu Klima- und Umweltschutzthemen zu erhalten?“ befassen wir uns mit den spezifischen Risiken, aber auch mit den Chancen der neuen Sprachmodelle auf Basis künstlicher Intelligenz.
KI-Sprachmodelle interagieren mit Nutzer*innen im Dialog und geben vertrauenswürdig erscheinende Antworten. Doch sind die Auskünfte immer richtig? Die Faktentreue der Antworten wird aktuell gesellschaftlich immer wieder diskutiert. Dabei sind Desinformationskampagnen in sozialen Medien zu Umweltthemen nicht neu. Um die Verbreitung der KI-Sprachmodelle politisch aktiv zu steuern, ist es wichtig, ihre Chancen und Risiken zu identifizieren. In unserem Spendenprojekt entwickeln wir deshalb einen Ansatz, um Antworttexte von KI-Sprachmodellen zu wichtigen klimaschutzrelevanten Themen zu prüfen und untersuchen, ob sich die Faktentreue der Antworten über einen definierten Zeitraum ändert. Zudem analysieren wir, ob umweltrelevante Informationen so einfacher zugänglich sind. Anschließend formulieren die Expert*innen aus dem Institut politische Empfehlungen für einen regulatorischen Rahmen. Darauf gehen wir in weiteren Blogbeiträgen ein.
Dafür brauchen wir Ihre Unterstützung! Fördern Sie dieses unabhängige Projekt mit Ihrer Spende!
Spendenprojekte ermöglichen auftragsfreie, unabhängige Forschung am Öko-Institut. In diesen Projekten untersuchen die Wissenschaftler*innen wichtige Grundlagen der nachhaltigen Transformation, die unser gesellschaftliches Miteinander bestimmen und geben der Politik Handlungsempfehlungen für sozial gerechte und ökologisch sinnvolle Richtungsänderungen an die Hand.
