De una prueba de concepto a una solución productiva

Hace algunos meses, Grac.IA era solo una prueba de concepto interna: un simple RAG (Retrieval-Augmented Generation) que extraía información de nuestro centro de ayuda para que miembros del equipo pudiesen curiosear. Tras algunas semanas de prueba, varios comenzaron a usarla regularmente. Los operadores del chat empezaron a utilizarla para complementar respuestas a los clientes, el equipo de ventas la aprovechaba para obtener ideas sobre cómo ayudar a sus prospectos y, sobre todo, los nuevos miembros del equipo la encontraban muy útil para aprender sobre nuestras funcionalidades. Este uso interno confirmó el valor de Grac.IA y nos llevó a la conclusión de que, con algunas mejoras, podría cubrir un buen porcentaje de las necesidades de nuestros clientes y optimizar la gestión del chat.

Con esta validación inicial, decidimos dar el siguiente paso: convertir a Grac.IA en un servicio productivo con los mismos estándares que aplicamos a nuestros servicios principales.

Esto implicaba garantizar seguridad, tolerancia a fallas, escalabilidad, observabilidad y herramientas de gestión y operación. La transición de una prueba de concepto a un servicio robusto implicó ajustar y fortalecer cada uno de estos aspectos para que Grac.IA pudiera operar a la altura de los servicios que ya ofrecemos en Clay.

Transformar Grac.IA en una herramienta productiva significó repensar su arquitectura y flujos operativos. Tuvimos que asegurar que el modelo fuera capaz de entender una amplia variedad de preguntas, manejar el contexto de las conversaciones y responder de manera precisa y útil. También fue necesario implementar mecanismos para que Grac.IA pudiera escalar fácilmente y funcionar de manera estable incluso durante picos de demanda.

Integración con Crisp: IA que complementa el trabajo humano

Una decisión clave fue optar por integrar Grac.IA directamente en Crisp, nuestro sistema de chat actual. Apostamos por mejorar el flujo de trabajo existente en lugar de crear una interfaz separada porque creemos que la IA debe complementar —y no reemplazar— el trabajo humano. Esta decisión llevó a que nuestro agente de IA tuviera que adaptarse al flujo operativo del servicio al cliente: debía saludar y presentarse, identificar al cliente y entender sus necesidades, abrir requerimientos a otros equipos de Clay, gestionar la actualización de información personalizada y reportar problemas relacionados con nuestros servicios o partners integrados.

También fue evidente que Grac.IA todavía está lejos de poder resolver la mayoría de los requerimientos por sí sola, por lo que diseñar un traspaso fluido y eficiente hacia un operador humano se volvió crítico. El traspaso debe ser rápido, claro y sin fricción para el cliente, pero al mismo tiempo debe permitir recopilar información clave que facilite la resolución del problema por parte del operador humano. La clave está en que Grac.IA funcione como un apoyo y no como una barrera entre el cliente y el equipo de soporte.

Lo bueno y lo malo: Grac.IA en acción

A medida que Grac.IA fue ganando terreno en nuestro flujo operativo, empezamos a notar patrones interesantes en su comportamiento. Hay respuestas que logra responder con facilidad, como Q&A sobre la funcionalidad de Clay incluyendo paso a paso:

También es muy buena para recolectar información cuando un usuario pide ayuda operando sobre sus datos. En este caso Grac.IA recopila todos los detalles necesarios para nuestros especialistas de soporte, de forma que ellos puedan ser más eficientes cuando reciben la solicitud:

Pero también ha habido momentos en que nuestro agente de IA ha fallado o se ha quedado corta en sus respuestas. Lo más grave que hemos observado es decir que hace algo que es incapaz de hacer: En la siguiente figura se ve como le dice a un cliente que está pidiendo actualizar información del registro de compra y ventas.

La observabilidad del sistema nos ha permitido identificar estos casos rápidamente, y entender su causa raíz: en este caso se debe a que cargas muy similares se han realizado justo antes en el historial de conversación, y Grac.IA interpreta que ello sucedió durante la misma conversación.

Como estos casos, hemos podido categorizar muchos otros. Esto nos recuerda que construir una IA efectiva es un proceso iterativo y dinámico.

Cada error es una oportunidad para mejorar, ajustar el modelo y refinar las instrucciones que guían a Grac.IA

La importancia de la observabilidad

Otro aspecto fundamental en el diseño de Grac.IA fue garantizar su observabilidad. Muchos de nuestros usuarios utilizan intensamente los servicios de Clay, lo que genera cientos de conversaciones diarias en el chat. Para entender cómo se comporta Grac.IA ante este volumen y su amplio rango de respuestas, decidimos priorizar la capacidad de observación y análisis de su comportamiento.

Para esto, estamos utilizando Arize (basado en Open Telemetry) para rastrear el flujo de razonamiento y las respuestas de Grac.IA en tiempo real. Esta información se integra a nuestro data warehouse y es posteriormente analizada por un agente evaluador que clasifica las conversaciones y mide la calidad de las respuestas. Esta estructura nos permite entender qué tipo de conversaciones son las más frecuentes, cómo responde nuestro agente IA ante distintas solicitudes y, lo más importante, nos da las herramientas para alinear y mejorar continuamente su comportamiento.

Este nivel de observación no solo nos permite mejorar la calidad de las respuestas de Grac.IA, sino que también nos proporciona una visión profunda de las necesidades de nuestros clientes. Ahora podemos analizar patrones en las solicitudes, identificar temas recurrentes y ajustar tanto el modelo de IA como los procesos internos para mejorar la experiencia del cliente.

La siguiente figura muestra los componentes principales del stack de Grac.IA, destacando la telemetría, no me voy a detener a detallar cada parte, pero quiero destacar como la telemetría nos ayuda a unificar la información de los distintos servicios distribuidos y darles sentido en cuanto a los objetivos de negocio.

Comentarios del equipo detrás de Grac.IA

Uno de los aspectos más valiosos de la construcción de Grac.IA fue la colaboración con personas de diversas áreas de Clay que no forman parte del equipo de ingeniería de software, pero que jugaron un papel clave en su desarrollo.

Participar en la construcción de Grac.IA desde el lado del negocio ha sido un ejercicio alucinante. El desafío era encontrar el equilibrio entre una IA que nos brindara eficiencia y escalabilidad, sin perder la humanidad y el nivel de detalle que nos caracteriza. Lo que no imaginé fue lo complejo y el tremendo reto que sería el proceso: aprender sobre datos, distintos modelos de IA, lógica (que a veces no es tan lógica) y enfrentar múltiples errores en el camino. Pero hacerlo junto a este equipo ha sido increíble. Más allá del aprendizaje técnico, construir Grac.IA me impactó a un nivel más profundo, cuestionando la manera en que hacíamos las cosas y llevándome a replantear lo que hacemos hoy. Grac.IA marca un antes y un después, tanto para Clay como para mí, porque esta experiencia ha movió las bases de mi crecimiento profesional. Vamos a por más!!

Francisca Vergara - Chief Customer Operations

Participar en el desarrollo de Grac.IA ha sido una experiencia enriquecedora, como Customer Success Manager, sin experiencia en tecnología o código, descubrir que la inteligencia artificial se entrena y que el papel humano es fundamental en ese proceso, me pareció todo un desafío. Aportar desde mi perspectiva me hizo ver que quienes no somos expertos en tecnología también podemos ayudar a darle forma a una IA más útil y cercana, con una mirada más práctica y orientada al cliente, lo que es fundamental para que nuestros agentes de IA no sean simplemente bots, si no que un interlocutor que nuestros usuarios prefieran. Además, trabajar con un equipo multidisciplinario hizo que el proceso fuera aún más entretenido, permitiéndonos combinar distintos puntos de vista para crear algo con muchas iteraciones e innovador.

Josefa Echeverría Riesco - Customer Success Manager

Construir un agente de IA fue una experiencia muy gratificante. Aunque ya había trabajado con la API de OpenAI y en prompt engineering, este proceso me permitió profundizar en su estructura. LangChain resultó clave como orquestador de los servicios que lo hacen funcionar. Además, aprendí sobre bases vectoriales para la recuperación de información y agentes evaluadores para mejorar la precisión del modelo. También comprendí la importancia de realizar pruebas antes del lanzamiento, ya que, aunque suene obvio, probar el agente durante periodos largos permite evaluar su comportamiento en distintos escenarios. Fue un aprendizaje enriquecedor que me dio una visión más clara sobre cómo optimizar agentes de IA.

Joaquín Sepúlveda - Customer Operations Leader

Riesgos y desafíos hacia el futuro

Aunque Grac.IA ha mostrado un progreso notable, también enfrentamos desafíos importantes hacia el futuro. A medida que escalemos el uso de la IA en Clay, será cada vez más difícil garantizar que Grac.IA mantenga la capacidad de entender e interpretar correctamente la misión, visión y valores éticos que distinguen a Clay.

El riesgo no está solo en la calidad técnica de las respuestas, sino también en la alineación cultural y ética. Si Grac.IA empieza a operar de manera autónoma en áreas sensibles de la empresa, asegurar que su comportamiento refleja el tono y los principios de Clay será un desafío creciente.

Esta tensión entre escalabilidad y control es una frontera creativa que estamos preparados para explorar y gestionar cuidadosamente.

Lo que viene para Grac.IA

Por ahora, Grac.IA está en pleno proceso de aprendizaje y ajuste, pero su evolución ha sido significativa en muy poco tiempo. El objetivo es que Grac.IA no solo actúa como una asistente de soporte, sino que se convierta en una herramienta estratégica para la operación de Clay, capaz de detectar patrones, anticipar problemas y mejorar la experiencia del cliente de manera proactiva.

Te invitamos a probarla y a ser testigo de cómo estamos transformando una pequeña Grac.IA escolar en una poderosa profesional de la contabilidad y las finanzas digitales. Agradecemos tu paciencia mientras seguimos afinando sus capacidades y trabajamos para que comprenda mejor el contexto y las necesidades de nuestros clientes.