LLMOpsおよびその他のツールを活用して、生成AIでビジネス成果を引き出す

著者: Naveen Kamat、Dennis Perpetua

「この記事は人が執筆しました。」という記載は、1年前には必要ありませんでした。しかし、AIによる文章作成が進む現在、「執筆者」を記載する必要があるのでしょうか？

生成AIのビジネス利用への期待は高まり、企業の生成AIソリューションへの支出は、2027年までに1,430億ドルに達すると予測されています。¹さらに、マッキンゼーの調査によると、生成AIは世界経済に年間2.6兆ドルから4.4兆ドル相当の利益をもたらすとも予測されています。²企業が生成AIの導入を検討するにあたって直面するのは、生成AIがどのように顧客、従業員、株主に真の価値をもたらすのか、という疑問です。

企業が生成AIの力を最大限に引き出すために、次の4つの柱に取り組む必要があると私たちは考えています。

1. 強固なデータ基盤の構築
2. 大規模言語モデル運用（LLMOps）の活用
3. シャドーAIの発生リスク管理
4. 適切なユースケースの選択

強固なデータ基盤の構築

OpenAIのGPT-3.5 TurboやGoogleのLaMDAなどの大規模言語モデル（LLM）を調整したり、独自の基礎モデルを作成することがあり、いずれにしても、適切なデータ戦略が欠かせません。健全なデータアーキテクチャーは、成果を加速させる上、AI時代の波に乗るために必須です。最終的な生成AIビジネスソリューションのゴールは、リアルタイムデータ、厳選されたドキュメントストアおよびベクターデータベースにアクセスできること、規制を確実に遵守するために確立されたアクセス制御とプロトコルを遵守することです。

生成AI導入にあたって、まずはデジタル環境全体にデータファブリックを構築し、優れたデータガバナンスを確立することから始めましょう。生成AIの精度を大きく左右するのはデータです。誤ったデータのラベル付けやモデルドリフト（予測性能が劣化すること）で、事実に基づかない情報の生成、誤り、単に質の悪い情報を生成する可能性があります。生成AIの精度を最大限に高めるには、プロンプトテンプレートやプロンプトシーケンスの設計、拡張生成の検索、モデルパラメータの調整など、ビジネス向けの生成AI固有のアーキテクチャー調整を行う必要があります。

LLMは、個人識別可能なデータや機密性の高い個人情報を保護するために、データを必ず非特定化、または匿名化します。このデータの非特定化と匿名化は、データガバナンスの観点から特に重視するべき点といえるでしょう。

データ基盤を導入するハードルは乗り越えられないものではありません。しかし、そのハードルを乗り越えるためには、基本的なデータ戦略が必要です。データ戦略の内容を変更しないまま、生成AIをテクノロジースタックに追加すると、コスト超過やコンプライアンス上の問題などが起こる原因となります。

ユースケース：データ基盤とSQLルックアップ

カスタマーサービス部門では、SQLデータベースからのレポートをアドホックにリクエストすると時間がかかることがあります。その理由は、月に何百件にのぼるレポートを完成させる必要があり、レポートを一つひとつ完成させるには膨大な時間がかかるためです。さらに、エージェントは多数寄せられるカスタマーサービスリクエストの解決策を見つけるため、大量のユーザーガイドやドキュメントをじっくり調べる必要があります。

企業のSQLデータベースとユーザーガイドで訓練された生成AIカスタマーサービスアシスタントは、自然言語の質問をSQLクエリに翻訳し、クエリを実行し、その結果を自然言語に翻訳してわかりやすくします。このプロセスは、ユーザーガイドのライブラリ全体にも適用されるため、顧客の疑問や不明点に対する解決策をすばやく検索し、迅速に対応することができます。

大規模言語モデル運用（LLMOps）の活用

データ基盤が確立されたら、次のステップは以下のとおりです。

• 目的に合った基礎モデルの定義
• LLM向けのプロンプトシーケンスまたはテンプレートの設定
• ベクターストアの設定
• 責任あるAIガイドの導入

この一連の作業を管理するアーキテクチャー、ポリシー、手順はLLMOpsと呼ばれます。LLMOpsは、コンプライアンスやセキュリティからデータドリフトやデータバイアス、プロンプトエンジニアリングまで、生成AIのライフサイクル全体をカバーしています。

LLMのトレーニングには、膨大なデータが必要です。そこで直面する課題の1つとして、トレーニングデータのほとんどが英語である場合、大規模言語モデルが誤って西洋の観点を想定してしまう恐れがあります。生成AIのデータバイアスは別の形でも現れます。例えば、米国北東部のアクセントの声だけで訓練されたカスタマーサービスボットで、英国南部に在住する顧客からの電話に対応するとします。その顧客は米国北東部のアクセントを聞き取れない事態も考えられます。

また、文脈の解釈も課題となることがあります。例えば、「オフィスから締め出されました」という連絡で、建物の警備員とマイクロソフトのカスタマーサービス担当者では異なる解釈をするかもしれません。このように、生成AIビジネスソリューションでは、正確な意図を解釈できない可能性があります。

LLMOpsのフレームワークを活用することで、AIを効果的、最適かつ責任を持って使用することができます。さらに、収益に貢献するとともに、企業とそのユーザーを危険なリスクから保護することができます。

ユースケース：LLMOps、コンテキスト、顧客フィードバック

検索拡張生成などの技術によってサポートされる強固なLLMOps戦略は、顧客体験を向上させるために必要な特定のドメイン、カルチャー、状況のコンテキストを生成AIに提供します。

例として、インドの国際空港を挙げます。同空港では、毎月ソーシャルメディアで何千件ものレビューとコメントが寄せられています。スタッフは手作業でフィードバックを管理し対応していましたが、これは非常に時間がかかるプロセスでした。そこで、すべてのソーシャルメディアチャネルで顧客のコメントをスキャンし、センチメント（顧客満足度など）や意図（情報収集と推奨など）で分類するAIを開発しました。その後、AIはそれぞれに対して適切な応答を生成し、マネージャーが展開前にレビューするという作業の流れを作りました。この結果、空港は新たに効率的な方法で顧客の悩みを解決することができるようになりました。

シャドーAIの発生リスク管理

クラウド初期の頃は、チームがドキュメントやファイル保存にさまざまなプラットフォームを日常的に使用していました。この慣習は部門の枠を超え、仮想プラットフォームと関連するセキュリティの脆弱性が複雑に絡み合っていました。

企業がクラウドストレージ、セキュリティ対策、コストの合理化に取り組む一方で、従業員は依然としてそれぞれ異なるツールやプラットフォームに固執して仕事をしていました。これが、シャドーITの原因となったのです。

このシャドーITを未然に防ぎ、不正使用から生じるセキュリティリスクを軽減する、責任あるAIポリシーを実施することで、同様のシャドーAIの問題に先手を打つことができます。これらのポリシーは、コンプライアンスと倫理基準の明確なガイドラインを確立しつつ、チーム内のイノベーションを促進できるほど柔軟でなければなりません。

コスト管理は、異なるオプションを直接比較する際にも適用されます。特定の生成AIビジネスソリューションのアーキテクチャーは、他のアーキテクチャーと同等の結果を少ないコストで達成することができます。さまざまな最適化手法を利用すれば、より少ないコンピューティングフットプリントでも最良の結果を得ることができます。

適切なユースケースの選択

生成AIのビジネスユースケースを検討する際には、迅速な統合、解析、要約機能が顧客、従業員、または他のユーザーに最大の価値をもたらす状況を探すことが重要です。

不公平や偏見を引き起こしたり、規制違反のリスクや評判を落とす可能性があるユースケースを避け、素早く、確実に、そして安価に導入できるユースケースを選びましょう。まずは、概念実証（PoC）がされた時点でスケールアウト可能なプロトタイプから始めることをおすすめします。今後のROIの測定方法を把握することも重要です。

ビジネスで生成AIの力を最大限に活用するために注目すべき領域は次のとおりです。

• 最適化のためのコスト分析
• 定型的なタスクの自動化
• カスタマーサポートの傾向の調査
• 顧客体験のパーソナライズ

ユースケース: 文字起こしと要約

コンタクトセンターでは、AIが生成したカスタマーサポートの要約を使用するため、生成AI活用の幅は多岐にわたります。生成AIが対話の内容とコンテキストをキャプチャーし、分析して基本となるカスタマーサポート対応を行います。

その後、生成AIがカスタマーサポートの概要を生成し、サポートエージェントが確認と検証を行います。この作業の流れで、次のサポートエージェントが迅速に対応し、ユーザーをサポートすることが可能となります。同時に、前回対応したサポートエージェントが問い合わせ内容の再確認に費やす時間を短縮できます。

生成AIによる改善の余地が十分にあることは、データで裏付けられています。スタンフォード・デジタル・エコノミー研究所とマサチューセッツ工科大学スローン経営大学院の研究では、コールセンターが生成AIアシスタントツールを導入したところ、生産性が13.8%向上しました³。また、カスタマーサービスにおける生成AIの市場規模は、2032年には21億ドルを超えると予測されています。⁴

生成AIがあるビジネスの未来は、まだ序章に過ぎません。他の新たなテクノロジーと同様、多くの懸念点や不安が残っています。しかし、強固なデータ基盤、リスクを未然に防ぐ戦略、コストの最適化、適切なユースケースがあれば、未来は明るいでしょう。

Naveen Kamatは、キンドリルのデータ&AI サービス担当バイスプレジデント兼CTOです。Dennis Perpetuaは、デジタルワークプレースサービス担当バイスプレジデント兼CTOです。

1 IDC Forecasts Spending on GenAI Solutions Will Reach $143 Billion in 2027 with a Five-Year Compound Annual Growth Rate of 73.3%. IDC. 2023年10月

2 Economic potential of generative AI, McKinsey, June 2023IDC Forecasts Spending on GenAI Solutions Will Reach $143 Billion in 2027 with a Five-Year Compound Annual Growth Rate of 73.3%. IDC、2023年10月

3 Measuring the Productivity Impact of Generative AI, National Bureau of Economic Research、2023年6月

4 Generative AI in Customer Service Market worth around USD 2,103.0 Mn by 2032, Enterprise Apps Today、2023年5月