En el marco del evento Prompteala, organizado por Ingenia y ArqConf y realizado en la Universidad del CEMA (UCEMA), Ulises Martins, Chief AI Officer (CAIO) de la Universidad Tecnológica Nacional (UTN), compartió los aprendizajes y dificultades que atravesó durante la puesta en producción de su chatbot en el panel “IA desde la trinchera: Lecciones aprendidas cuando vas 300K de conversaciones”.
El proyecto nació con un objetivo claro, el de atender a estudiantes y prospectos de forma más escalable, más allá de los horarios de oficina. Durante la charla, Martins destacó la importancia de contar con herramientas que permitan gestionar grandes volúmenes de interacción sin tener que sacrificar ni la calidad ni la seguridad.
Índice de temas
Lecciones aprendidas en la producción del chatbot de la UTN
El chatbot de la UTN lleva más de un año y medio en funcionamiento, y registra casi 300.000 conversaciones hasta el momento. Martins destacó que el proyecto expuso rápidamente desafíos en cuanto al manejo de la información y la interacción con los usuarios.
“Hemos llegado a tener hasta 3.000 consultas por día, más de cinco por minuto, algo que un equipo humano no podría sostener de manera constante”, detalló.
Pensar en la seguridad desde el día uno
Uno de los mensajes más contundentes fue sobre la seguridad. El equipo de la UTN implementó un agente que verifica si las consultas tienen sentido antes de procesarlas, una salvaguarda básica frente a intentos de hackeo o prompts maliciosos.
“No confíes en nadie, ni en tu prompt, ni en los usuarios, ni en ti mismo. Construye muros”, sostuvo el CAIO de la UTN, Además, subrayó la necesidad de diseñar controles desde la primera versión. La experiencia mostró que siempre habrá quienes intenten manipular el sistema, por lo que anticiparse a estos escenarios es fundamental.
El aprendizaje se reforzó con ejemplos prácticos: el equipo presenció frustraciones cómicas de usuarios que intentaban hackear al bot, pero que nunca lograron vulnerarlo. Esta experiencia dejó en claro que la seguridad debe ser un componente esencial desde el diseño inicial.
La gestión de tokens es clave para la continuidad del chatbot
La plataforma también enfrenta limitaciones relacionadas con la infraestructura y los costos de uso. Martins relató que la demanda de consultas podía superar la capacidad de tokens disponibles. “Este chat va a ser un éxito… entonces nos vamos a quedar sin”, bromeó.
La solución fue implementar mecanismos de auto-recarga y controles estrictos para evitar interrupciones. “El dinero es oxígeno”, resumió. También destacó que incluso las mejores soluciones técnicas pueden fracasar si no hay una gestión financiera adecuada.
Alucinaciones en audio y el sesgo del speech-to-text
Martins compartió ejemplos de cómo la IA puede alucinar, incluso en modos de audio. Al utilizar modelos de speech-to-text con subtítulos abiertos, el sistema generó transcripciones absurdas en algunas situaciones.
El orador golpeó el micrófono varias veces y le preguntó al auditorio como piensan que el modelo respondió ante ese sonido. “El camino del indio cuando va a la montaña. Esa fue la traducción. Eso es alucinación en audio, lo cual es fascinante”, reveló.
Esto refleja que los sistemas reproducen cualquier sonido como texto, lo que puede introducir errores en las respuestas y en los procesos de entrenamiento si no se filtra correctamente.
Además, el hallazgo también evidenció la necesidad de tener que realizar pruebas exhaustivas en entornos de producción, sobre todo cuando se integran nuevas funcionalidades que podrían afectar la calidad de las respuestas o la experiencia del usuario.
Performance y agentes en serie: el costo oculto
A medida que se añaden más agentes en serie, aumenta la latencia y la probabilidad de errores. Martins explicó que cada llamada tiene una probabilidad de alucinación, y al multiplicar las llamadas el riesgo crece. Este trade-off entre complejidad y velocidad obliga a evaluar cuidadosamente la arquitectura y el orden de ejecución de los agentes.
El resultado práctico es que soluciones más inteligentes pueden ser más lentas y confiables si no se ajusta la cantidad de pasos intermedios. Por eso, en el modelo de la UTN se priorizó medir performance y balancear rapidez con confiabilidad.
RAG y datos: la base de la inteligencia
El uso de Retrieval-Augmented Generation (RAG) necesitó de ajustes finos y pruebas constantes. Martins destacó que RAG “es una bestia que hay que ir tuerqueando” y que no siempre funciona igual con distintos volúmenes de información o idiomas.
El CAIO de la UTN comentó que probaron distintas bases vectoriales como Pinecone, y se enfrentaron a problemas de compatibilidad y latencia. Su lección: la tecnología puede ser poderosa, pero necesita de supervisión y ajustes continuos.
El manejo de los datos también fue un aspecto crítico. Martins habló sobre un ejemplo que le toco vivir en el sector bancario, en donde se encontró con duplicados de DNI, fechas imposibles y procedimientos contradictorios, y subrayó: “Los datos son tu fundación, si los datos están podridos de ahí para atrás está todo mal”.
En Inteligencia Artificial, estas imperfecciones no son triviales, ya que se amplifican y afectan directamente la precisión y confiabilidad del sistema.
Demo del chatbot de la UTN
Martins mostró varias funcionalidades que diferencian al chatbot de soluciones genéricas.
Entre ellas, destacó que el sistema puede responder de manera contextual según la página que el usuario esté visitando. Esto significa que la misma consulta podría generar respuestas distintas dependiendo del contexto específico, lo que mejora la precisión y evita errores comunes en soluciones más generales.
El chatbot también integra reproducción de audio y enlaces clicables, lo que le permite a los usuarios escuchar la respuesta y acceder directamente a recursos relacionados.
También se destacó la funcionalidad de recomendaciones y sugerencias contextuales, que no solo guían al usuario dentro de la plataforma, sino que aportan un valor agregado en términos de experiencia de usuario.
Martins cerró la demostración invitando a probar el chatbot, disponible en el sitio de UTN eLearning, y adelantó que se espera una nueva versión con mejoras en las próximas semanas.
