Erschließen Sie die Leistungsfähigkeit der generativen KI für Unternehmen mit LLMOps und anderen Schlüsseln

Von: Naveen Kamat und Dennis Perpetua

Ein Mensch hat diesen Artikel geschrieben. Vor einem Jahr wäre eine solche Aussage noch unnötig, ja sogar pedantisch gewesen, aber ist sie mit dem Aufkommen der KI notwendig geworden?

Die Erwartungen hinsichtlich des Einsatzes generativer KI in Unternehmen sind optimistisch. Prognosen zufolge werden die Unternehmensausgaben für generative KI-Lösungen bis 2027 143 Milliarden US-Dollar erreichen.¹ McKinsey-Studien gehen davon aus, dass generative KI der Weltwirtschaft jährlich einen Beitrag von 2,6 bis 4,4 Billionen US-Dollar bescheren wird.² Unternehmen, die den Einstieg wagen möchten, stehen vor einer klassischen Frage: Wie lässt sich damit ein echter Mehrwert für Kunden, Mitarbeiter und Aktionäre schaffen?

Um die volle Leistungsfähigkeit der generativen KI zu entfalten, sollten sich Unternehmen unserer Meinung nach auf vier Säulen konzentrieren:

1. Eine solide Datengrundlage schaffen
2. Große Sprachmodelloperationen (LLMOps) nutzen
3. Potenzielle Schatten-KI managen
4. Wählen Sie die richtigen Anwendungsfälle aus

Eine solide Datengrundlage schaffen

Unabhängig davon, ob Sie ein vorhandenes großes Sprachmodell (LLM) wie GPT-3.5 Turbo von OpenAI oder LaMDA von Google optimieren oder Ihr eigenes Basismodell erstellen möchten, ist eine gute Datenstrategie unerlässlich. Eine gute Datenarchitektur ist entscheidend für schnellere Ergebnisse und den Beginn des KI-Zeitalters. Ihre zukünftige generative KI-Geschäftslösung muss in der Lage sein, auf Echtzeitdaten, kuratierte Dokumentenspeicher oder Vektordatenbanken zuzugreifen und innerhalb etablierter Zugriffskontrollen und Protokolle zu arbeiten, um sicherzustellen, dass die Vorschriften eingehalten werden.

Die Einrichtung einer Datenstruktur in Ihrer gesamten digitalen Umgebung und die Etablierung einer guten Datenverwaltung sind die ersten Schritte. Generative KI ist nur so gut wie ihre Daten. Eine fehlerhafte Bezeichnung oder ein Modelldrift kann zu Halluzinationen, Fehlern oder einfach zu schlechten Ergebnissen führen. Von dort aus müssen Sie architektonische Anpassungen vornehmen, die speziell auf generative KI für Unternehmen zugeschnitten sind, wie z. B. das Entwerfen von Prompt-Templates oder Prompt-Sequenzierung, abruferweiterte Generierung oder die Abstimmung von Modellparametern, um die relevantesten und optimalsten Ergebnisse zu erzielen.

Die De-Identifizierung oder Anonymisierung von Daten zum Schutz persönlich identifizierbarer Daten oder sensibler persönlicher Informationen, die von den LLMs verwendet werden, kann eine wichtige Überlegung aus Sicht der Data Governance sein.

Die Hürden bei der Datengrundlage sind nicht unüberwindbar, aber um sie zu bewältigen, bedarf es einer grundlegenden Datenstrategie. Das Hinzufügen generativer KI zu Ihrem Tech-Stack ohne Änderungen der Datenstrategie ist ein Rezept für Kostenüberschreitungen, Compliance-Probleme und mehr.

Anwendungsfall: Data Foundation und SQL-Lookups

Im Falle einer Kundendienstabteilung können Ad-hoc-Anfragen nach Berichten aus SQL-Datenbanken (Structured Query Language) für die Kundendienstteams zeitraubend sein. Das liegt daran, dass Hunderte von Berichten pro Monat erstellt werden müssen, wobei viele einzelne Berichte Stunden in Anspruch nehmen. Außerdem müssen die Agenten bei vielen Kundendienstanfragen umfangreiche Benutzerhandbücher und Dokumentationen wälzen, um eine Lösung zu finden.

Ein generativer KI-Kundendienstassistent, der anhand der SQL-Datenbank und Benutzerhandbücher eines Unternehmens trainiert wurde, kann Fragen in natürlicher Sprache in SQL-Abfragen übersetzen, die Abfragen ausführen und die Ergebnisse dann zur leichteren Verständlichkeit wieder in natürliche Sprache zurückübersetzen. Dieser Prozess kann auch auf eine ganze Bibliothek von Benutzerhandbüchern angewandt werden, was ein schnelles Nachschlagen und schnelle Antworten auf Kundenfragen ermöglicht.

Nutzen Sie Large Language Model Operations (LLMOps)

Nachdem Ihre Datenbasis eingerichtet ist, möchten Sie als Nächstes:

• Definieren, welche Basismodelle für den jeweiligen Zweck geeignet sind
• Prompt-Sequenzen oder Vorlagen für Ihre LLMs einrichten
• Vektorshops einrichten
• Verantwortungsvolle KI-Leitplanken einbringen

Die Architektur, Richtlinien und Verfahren, die diese Arbeit regeln, werden als LLMOps bezeichnet. Sie deckt den gesamten Lebenszyklus der generativen KI ab, von Compliance und Sicherheit über Drift und Bias bis hin zu Prompt Engineering und mehr.

LLMs benötigen riesige Datenpools für das Training. Eine Herausforderung besteht darin, dass die Modelle, wenn die meisten Trainingsdaten auf Englisch sind, versehentlich westliche Sichtweisen annehmen könnten. Datenverzerrungen bei generativer KI können sich auch auf andere Weise bemerkbar machen: Stellen Sie sich vor, dass ein Kundendienstbot, der ausschließlich auf Stimmen aus dem Nordosten der USA trainiert wurde, Kundenanrufe aus Südengland entgegennimmt. Es kann zu Schwierigkeiten bei der Interpretation regionaler Dialekte kommen.

Eine weitere Herausforderung bei der Interpretation kann der Kontext sein. „Ich habe mich aus meinem Büro ausgesperrt“ kann für den Wachmann eines Gebäudes etwas anderes bedeuten als für einen Mitarbeiter des Microsoft-Kundendienstes. Eine generative KI-Geschäftslösung ist möglicherweise nicht in der Lage, Absichten zu interpretieren.

Die Nutzung eines LLMOps-Rahmens hilft dabei, KI effektiv, optimal und verantwortungsbewusst einzusetzen, um sowohl den Gewinn zu steigern als auch ein Unternehmen und seine Benutzer vor potenziellen Gefahren zu schützen.

Anwendungsfall: LLMOps, Kontext und Kundenfeedback

Eine solide LLMOps-Strategie, unterstützt durch Techniken wie Retrieval Augmented Generation, kann der generativen KI den spezifischen fachlichen, kulturellen und situativen Kontext geben, den sie benötigt, um das Kundenerlebnis zu verbessern.

Nehmen Sie das Beispiel eines internationalen Flughafens in Indien, der jeden Monat Tausende von Bewertungen und Kommentaren in den sozialen Medien erhält. Die Mitarbeiter hatten das Feedback manuell verwaltet und beantwortet, was sich als äußerst zeitaufwändiger Prozess erwies. Der Flughafen hat eine KI entwickelt, die alle Social Media-Kanäle nach Kundenkommentaren durchsucht und diese nach Stimmung (z. B. zufrieden oder unzufrieden) und Absicht (z. B. Informationssuche oder Weiterempfehlung) klassifiziert. Die KI generierte dann für jede Antwort eine passende Antwort, die von den Managern vor dem Einsatz überprüft wurde. Die Lösung bietet dem Flughafen einen neuen, effizienten Weg, um Kundenprobleme zu lösen.

Potenzielle Schatten-KI managen  

In den Anfängen der Cloud war es nicht ungewöhnlich, dass Teams verschiedene Plattformen nutzten, um ihre Dokumente und Dateien zu speichern. Die abteilungsübergreifende Praxis schuf ein kompliziertes Gewirr aus virtuellen Plattformen und den damit verbundenen Sicherheitslücken.

Während die Unternehmen daran arbeiteten, Cloud-Speicher, Sicherheitspraktiken und Kosten zu rationalisieren, hielten die Mitarbeiter immer noch an ihren bevorzugten Tools und Plattformen fest, um ihre Arbeit zu erledigen, wodurch eine Schatten-IT entstand.

Unternehmen können einer ähnlichen Schatten-KI-Situation zuvorkommen, indem sie verantwortungsvolle KI-Richtlinien einführen, die überflüssige KI verhindern und Sicherheitsrisiken, die sich aus einer nicht autorisierten Nutzung ergeben könnten, mindern. Diese Richtlinien sollten flexibel genug sein, um Innovationen innerhalb der Teams zu fördern und gleichzeitig klare Leitplanken für Compliance und ethische Standards festzulegen.

Das Kostenmanagement gilt auch für ein einfaches Abwägen von Optionen. Die Architektur einer generativen KI-Lösung für Unternehmen kann ähnliche Ergebnisse erzielen wie eine andere, aber zu einem Bruchteil der Kosten. Es können auch verschiedene Optimierungstechniken eingesetzt werden, um das beste Ergebnis mit einem viel geringeren Rechenaufwand zu erzielen.

Wählen Sie die richtigen Anwendungsfälle aus

Wenn Sie über Anwendungsfälle für generative KI in Unternehmen nachdenken, suchen Sie nach Situationen, in denen die schnelle Aufnahme, Analyse und Zusammenfassung von Daten den größten Nutzen für Kunden, Mitarbeiter oder andere Nutzer bringt.

Vermeiden Sie Anwendungsfälle, die zu Unfairness und Voreingenommenheit, zur Nichteinhaltung von Vorschriften oder zu Rufschädigung führen können. Wählen Sie solche, die schnell, zuverlässig und kostengünstig umgesetzt werden können. Beginnen Sie mit Prototypen, die nach dem Proof of Concept skaliert werden können. Erfahren Sie, wie Sie den ROI messen.

Hier sind einige Bereiche, die Sie betrachten sollten, um die Macht der generativen KI in Unternehmen zu entfesseln:

• Analyse der Kosten für die Optimierung
• Automatisierung von Routineaufgaben
• Untersuchung von Kundensupportfällen auf Trends
• Personalisierung von Kundenerlebnissen

Anwendungsfall: Transkription und Zusammenfassung

Einen besonders geeigneten Anwendungsfall für generative KI stellen Contact Center mit KI-generierten Zusammenfassungen von Kundensupport-Ereignissen dar. Eine typische Kundensupport-Interaktion findet statt, wobei der Inhalt und der Kontext der Interaktion von der KI erfasst und analysiert werden.

Die KI erstellt dann eine Zusammenfassung des Ereignisses, die der Support-Agent überprüft und verifiziert. Auf diese Weise kann der nächste Support-Mitarbeiter schnell reagieren und dem Benutzer helfen, während der vorherige Support-Mitarbeiter weniger Zeit mit der Wiederholung des Anrufs verbringt.

Die Zahlen untermauern dies und zeigen viel Raum für Wachstum. In einer Studie des Stanford Digital Economy Laboratory und der MIT Sloan School of Management konnten Callcenter eine Produktivitätssteigerung von 13,8 % verzeichnen, wenn sie ein generatives KI-Assistententool einsetzten.³ Und die Marktgröße für generative KI im Kundenservice wird im Jahr 2032 auf über 2,1 Milliarden Dollar geschätzt.⁴

Die Zukunft der generativen KI in der Wirtschaft steht erst am Anfang. Wie bei jeder neuen Technologie gibt es zahlreiche Bedenken und Vorbehalte, doch mit einem soliden Fundament, einer proaktiven Strategie, Kostenoptimierung und den richtigen Anwendungsfällen kann die Zukunft rosig sein.

Naveen Kamat ist Vice President und CTO für Daten- und KI-Dienste bei Kyndryl. Dennis Perpetua ist Vice President und CTO für Digital Workplace Services.

1 IDC prognostiziert, dass die Ausgaben für GenAi-Lösungen im Jahr 2027 143 Milliarden $ erreichen werden, was einer durchschnittlichen jährlichen Wachstumsrate von 73,3 % über fünf Jahre entspricht. IDC. Oktober 2023 

2 Wirtschaftliches Potenzial der GenKI, McKinsey, Juni 2023 IDC prognostiziert, dass die Ausgaben für GenKI-Lösungen im Jahr 2027 143 Milliarden $ erreichen werden, was einer durchschnittlichen jährlichen Wachstumsrate von 73,3 % über fünf Jahre entspricht. IDC, Oktober 2023

3 Messung der Produktivitätsauswirkungen generativer KI, National Bureau of Economic Research, Juni 2023

4 Generative KI im Kundenservice-Markt im Wert von rund 2.103,0 Mio. USD bis 2032, Enterprise Apps Today, Mai 2023