Libere el poder de la IA generativa para los negocios con LLMOps y otras claves

Por: Naveen Kamat y Dennis Perpetua

Un humano escribió este artículo. Hace un año, tal afirmación habría sido innecesaria, incluso pedante, pero con la llegada de la IA, ¿se ha vuelto necesaria?

Las expectativas sobre el uso de la IA generativa en los negocios son alcistas. Se prevé que el gasto empresarial en soluciones de IA generativa alcance los 143 billones de dólares en 2027.¹ Una investigación de McKinsey predice que la IA generativa añadirá el equivalente de entre 2,6 y 4,4 billones de dólares anuales a la economía mundial.² Las empresas deseosas de empezar se encuentran con una pregunta clásica: ¿cómo va a generar esto un valor real para los clientes, los empleados y los accionistas?

Para liberar todo el poder de la IA generativa, sugerimos que las empresas aborden cuatro pilares:

1. Construya una base de datos sólida
2. Aproveche las operaciones de modelos de lenguaje de gran tamaño (LLMOps)
3. Gestione la posible IA en la sombra
4. Elija los casos de uso adecuados

Construya una base de datos sólida

Tanto si planea afinar un modelo de lenguaje de gran tamaño (LLM) existente, como el GPT-3.5 Turbo de OpenAI o LaMDA de Google, como si desea crear su propio modelo fundacional, es esencial contar con una buena estrategia de datos. Una buena arquitectura de datos es fundamental para acelerar los resultados y para que comience la era de la IA. Su eventual solución empresarial de IA generativa tendrá que ser capaz de acceder a datos en tiempo real, a almacenes de documentos seleccionados o a bases de datos vectoriales, y trabajar con controles de acceso y protocolos establecidos para garantizar el cumplimiento de la normativa.

Los primeros pasos son crear un data fabric en todo su entorno digital y establecer un buen gobierno de los datos. Las IA generativas son tan buenas como sus datos; una etiqueta errónea o una instancia de desviación del modelo puede crear alucinaciones, errores o simplemente malos resultados. A partir de ahí, tendrá que realizar ajustes en la arquitectura específicos de la IA generativa para empresas, como el diseño de plantillas de avisos o la secuenciación de mensajes, la generación aumentada de recuperación o el ajuste de parámetros de modelos para llegar a los resultados más relevantes y óptimos.

La desidentificación o anonimización de datos para proteger los datos de identificación personal o los datos de información personal confidencial que consumen los LLM puede ser una consideración clave desde el punto de vista del gobierno de datos.

Los obstáculos de la base de datos no son insuperables, pero requerirán una estrategia de datos fundacional para abordarlos. Añadir IA generativa a su pila tecnológica sin cambios en la estrategia de datos es el camino hacia los sobrecostes, los problemas de cumplimiento y mucho más.

Caso de uso: base de datos y Lookups de SQL

En el caso de un departamento de atención al cliente, las solicitudes ad hoc de informes a partir de bases de datos en lenguaje de consulta estructurado (SQL) pueden llevar mucho tiempo a los equipos de atención al cliente. Esto se debe a que es necesario completar cientos de informes al mes, y muchos informes individuales requieren horas. Además, muchas solicitudes del servicio de atención al cliente requieren que los agentes examinen minuciosamente grandes guías de usuario y documentación para encontrar una solución.

Un asistente de atención al cliente de IA generativa entrenado en la base de datos SQL y las guías de usuario de una empresa puede traducir las preguntas en lenguaje natural a consultas SQL, ejecutar las consultas y, a continuación, volver a traducir los resultados a lenguaje natural para facilitar su comprensión. Este proceso también puede aplicarse a toda una biblioteca de guías de usuario, lo que permite consultas rápidas y respuestas ágiles a los problemas de los clientes.

Aproveche las operaciones de modelos de lenguaje de gran tamaño (LLMOps)

Una vez establecida su base de datos, lo siguiente que querrá hacer es:

• Definir qué modelos fundacionales serán adecuados para su propósito
• Configurar secuencias o plantillas de avisos para sus LLM
• Configurar almacenes de vectores
• Introducir barandillas para la IA responsable

La arquitectura, las políticas y los procedimientos que rigen este cuerpo de trabajo se denominan LLMOps. Cubre todo el ciclo de vida de la IA generativa, desde el cumplimiento y la seguridad hasta la desviación y el sesgo, pasando por la ingeniería de prompts y mucho más.

Los LLM necesitan grandes conjuntos de datos para el entrenamiento. Uno de los retos es que si la mayoría de los datos de entrenamiento están en inglés, los modelos pueden asumir inadvertidamente puntos de vista occidentales. El sesgo de los datos en la IA generativa también puede aparecer de otras formas: imagine utilizar un robot de atención al cliente entrenado únicamente con voces del noreste de EE. UU. para atender llamadas de clientes del sur de Inglaterra. Puede tener dificultades para interpretar los dialectos regionales.

Otro reto de interpretación puede ser el contexto. "Me he quedado fuera de mi oficina" puede significar una cosa para el guardia de seguridad de un edificio y otra para un agente del servicio de atención al cliente de Microsoft. Una solución empresarial de IA generativa puede no ser capaz de interpretar la intención.

El aprovechamiento de un marco LLMOps ayuda a dar a la IA usos eficaces, óptimos y responsables, tanto en beneficio de los resultados como protegiendo a una organización y a sus usuarios de posibles peligros.

Caso de uso: LLMOps, contexto y comentarios de los clientes

Una estrategia sólida de LLMOps, respaldada por técnicas como la generación aumentada de recuperación, puede dar a la IA generativa el contexto específico, cultural y situacional que necesita para mejorar las experiencias de los clientes.

Considere el ejemplo de un aeropuerto internacional en la India, que recibe miles de reseñas y comentarios cada mes en las redes sociales. Los miembros del personal habían estado gestionando y respondiendo manualmente a los comentarios, lo que resultó ser un proceso que consumía mucho tiempo. El aeropuerto creó una IA para escanear todos los canales de redes sociales en busca de comentarios de los clientes y clasificarlos por sentimiento (por ejemplo, satisfecho frente a insatisfecho) e intención (como búsqueda de información frente a recomendación). A continuación, la IA generó respuestas adecuadas para cada uno, que fueron revisadas por los gestores antes de la implementación. La solución ofrece al aeropuerto una forma nueva y eficiente de abordar los problemas de los clientes.

Gestione la posible IA en la sombra  

En los primeros tiempos de la nube, no era raro que los equipos utilizaran distintas plataformas para almacenar sus documentos y archivos. Esta práctica, extendida a todos los departamentos, creaba una intrincada maraña de plataformas virtuales y vulnerabilidades de seguridad asociadas.

Mientras las empresas se esforzaban por racionalizar el almacenamiento en la nube, las prácticas de seguridad y los costes, los empleados seguían aferrándose a las herramientas y plataformas preferidas para realizar su trabajo, creando TI en la sombra.

Las empresas pueden adelantarse a una situación similar de IA en la sombra implementando políticas de IA responsable que se adelanten a la IA superflua y mitiguen los riesgos de seguridad que podrían derivarse de un uso no autorizado. Estas políticas deben ser lo suficientemente flexibles como para fomentar la innovación dentro de los equipos y, al mismo tiempo, establecer el camino marcado para el cumplimiento y las normas éticas.

La gestión de costes también se aplica a una simple ponderación de las opciones. La arquitectura de una solución empresarial de IA generativa puede lograr resultados similares a la de otra, pero a una fracción del coste. También pueden utilizarse diferentes técnicas de optimización para obtener el mejor resultado con una huella informática mucho menor.

Elija los casos de uso adecuados

Al considerar los casos de uso de la IA generativa en los negocios, busque situaciones en las que sus capacidades de ingesta rápida, análisis y resumen proporcionen el mayor valor a los clientes, empleados u otros usuarios.

Evite casos de uso que puedan introducir injusticias y sesgos, correr el riesgo de incumplimiento normativo o provocar daños a la reputación. Elija aquellos que puedan implementarse de forma rápida, fiable y económica. Empiece con prototipos que puedan escalarse tras la prueba de concepto. Sepa cómo medirá el ROI.

Estas son algunas áreas a tener en cuenta para liberar el poder de la IA generativa en los negocios:

• Análisis de costos para la optimización
• Automatización de tareas rutinarias
• Examen de los casos de atención al cliente en busca de tendencias
• Personalización de las experiencias del cliente

Caso de uso: transcripción y resumen

Los centros de contacto presentan un caso de uso especialmente maduro para la IA generativa con resúmenes generados por la IA de los eventos de atención al cliente. Se produce una interacción típica de atención al cliente, con el contenido y el contexto de la misma capturados y analizados por la IA.

A continuación, la IA genera un resumen del suceso, que el agente de soporte revisa y verifica. Esto permite al siguiente agente ponerse al día y atender rápidamente al usuario, a la vez que reduce el tiempo que el agente anterior dedica a hacer un resumen de la llamada.

Las cifras lo avalan y muestran un amplio margen de crecimiento. En un estudio del Stanford Digital Economy Laboratory y la MIT Sloan School of Management, los centros de atención telefónica experimentaron un aumento de la productividad del 13,8 % cuando implementaron una herramienta de asistente de IA generativa.³ Y se prevé que el tamaño del mercado de la IA generativa en la atención al cliente supere los 2.1 billones de dólares en 2032.^.4

El futuro de la IA generativa en los negocios apenas está empezando a escribirse. Como cualquier nueva tecnología, hay muchas preocupaciones y reservas, pero con una base sólida, una estrategia proactiva, optimización de costes y los casos de uso correctos, el futuro puede ser brillante.

Naveen Kamat es vicepresidente y CTO de Servicios de IA y Datos de Kyndryl.Dennis Perpetua es vicepresidente y CTO de Servicios Digitales en el Lugar de Trabajo.

1 IDC prevé que el gasto en soluciones de IA generativa alcanzará los 143  billones de dólares en 2027, con una tasa de crecimiento anual compuesto a cinco años del 73,3 %. IDC. Octubre de 2023 

2 Economic potential of generative AI [El potencial económico de la IA generativa], McKinsey, junio de 2023IDC prevé que el gasto en soluciones de IA generativa alcanzará los 143  billones de dólares en 2027, con una tasa de crecimiento anual compuesto a cinco años del 73,3 %. IDC, octubre de 2023

3 Measuring the Productivity Impact of Generative AI [Medición del impacto de la IA generativa en la productividad], National Bureau of Economic Research, junio de 2023

4 Generative AI in Customer Service Market worth around USD 2,103.0 Mn by 2032 [El mercado de la IA generativa en el servicio de atención al cliente rondará los 2103 millones de dólares en 2032], Enterprise Apps Today, mayo de 2023