OpenRouter y la evaluación de IA para el trabajo industrial

El 30 de septiembre de 2026, Teseo Data Lab estuvo presente en How AI Models Learn to Do Real Work, un encuentro organizado por OpenRouter en San Francisco. La convocatoria planteó una pregunta relevante para las empresas que buscan incorporar inteligencia artificial a su operación: ¿cómo comprobar que un modelo puede realizar de forma confiable el trabajo que un negocio necesita?

El encuentro anunció una conversación entre Osvald Nitski, Head of Product de Mercor, y Chris Clark, cofundador de OpenRouter, sobre entrenamiento, evaluación y despliegue de modelos. Entre los temas figuraron los datos de expertos, los entornos de aprendizaje por refuerzo y los agentes capaces de abordar tareas cada vez más complejas.

Para Teseo, esta discusión conecta con una experiencia concreta: trabajar con datos fragmentados de sectores como concreto, bienes raíces y compras empresariales en México y Latinoamérica. También abre una pregunta sobre el siguiente uso de esa información: ¿puede convertirse en una referencia para evaluar el desempeño de la IA en tareas industriales?

Evaluar la IA a partir del trabajo que necesita la empresa

La reflexión compartida por la dirección general de Teseo después del evento pone el foco en la utilidad empresarial de las evaluaciones. Su valor está en comprobar si un modelo resuelve una tarea específica con los datos, las reglas y las restricciones del negocio, más allá de su posición en una clasificación general.

Un benchmark permite comparar capacidades bajo determinadas condiciones de prueba. Para decidir cómo incorporar un modelo a una operación, hace falta relacionar esas capacidades con resultados verificables: clasificar correctamente una empresa, extraer información de una fuente o identificar cuándo la evidencia es insuficiente.

Las evaluaciones de IA, conocidas como evals, son pruebas que contrastan la respuesta o el resultado de un sistema con criterios de éxito definidos. En agentes que utilizan herramientas y ejecutan varios pasos, también importa comprobar el resultado final de la tarea. Esta distinción forma parte de la metodología de evaluación descrita por Anthropic.

En un contexto industrial, una respuesta bien redactada debe poder sostenerse con información comprobable. Confundir una oficina comercial con una planta productiva, por ejemplo, puede alterar una lectura de cobertura o una decisión de prospección.

Los datos industriales como referencia para comprobar resultados

Los datos que Teseo ha estructurado podrían adquirir un uso adicional como ground truth, es decir, información validada que sirve de referencia para comprobar respuestas. La oportunidad señalada por su dirección consiste en transformar conocimiento sectorial en criterios para evaluar qué tan bien entienden los modelos el trabajo industrial.

Esto requiere distinguir entre tener información organizada y contar con una referencia confiable. Para utilizar un registro en una evaluación, conviene precisar qué se verificó, con qué evidencia, en qué fecha y bajo qué definición.

Por ejemplo, una ficha de una empresa puede reunir ubicación, actividad, flota y capacidad. Cada campo plantea una exigencia diferente: confirmar que una instalación existe, interpretar correctamente una categoría o conservar la diferencia entre un dato observado y una estimación.

El conocimiento del sector ayuda a definir qué cuenta como una respuesta correcta. También permite reconocer los casos en que la respuesta adecuada es señalar que no hay evidencia suficiente.

Qué podría evaluarse en la industria del concreto

La industria del concreto ofrece tareas específicas para explorar este enfoque: localizar instalaciones, clasificar empresas y extraer información operativa. En su reflexión, la dirección de Teseo identificó estos ejemplos como posibles usos de los datos estructurados alrededor de productos como ConcreteOS. Los siguientes criterios ilustran cómo podrían convertirse en pruebas.

Un ejemplo sería pedir a varios modelos que analicen la misma información sobre una empresa. La revisión podría comprobar si distinguen una sucursal de una planta, si atribuyen correctamente los equipos y si reconocen la ausencia de datos sobre capacidad productiva.

Así, la comparación tendría un significado operativo: mostraría en qué tareas cada modelo aporta resultados útiles y dónde necesita revisión.

ConcreteOS y la conexión con los procesos del negocio

ConcreteOS aporta un contexto de aplicación a esta reflexión. La plataforma desarrollada por Teseo Data Lab presenta soluciones para empresas concreteras, entre ellas cotización, gestión comercial y análisis de costos. Esa cercanía con la operación ayuda a formular preguntas específicas sobre el uso de IA.

La visión compartida por la dirección propone una secuencia: partir de datos industriales, construir referencias validadas, diseñar evaluaciones, seleccionar modelos por tarea y explorar su integración en agentes y procesos de negocio.

Bajo este enfoque, una futura evaluación tendría que considerar tanto la calidad de la respuesta como las condiciones de uso. Un resultado podría ser preciso y, aun así, requerir ajustes por su costo, su tiempo de ejecución o la revisión humana que demanda.

La selección del modelo estaría vinculada a un trabajo definido y a un nivel de exigencia verificable. Esta es una dirección de desarrollo planteada por Teseo, cuya aplicación requiere construir y probar cada componente.

La oportunidad para Teseo en inteligencia industrial

La oportunidad que identifica Teseo consiste en convertir su experiencia con datos y sectores productivos en una base para evaluar la confiabilidad de la IA. Esto supone conectar fuentes, criterios de validación y conocimiento del negocio para decidir qué tareas pueden incorporarse a un proceso y con qué controles.

Esta visión amplía el papel de la inteligencia de mercado industrial: la información que ayuda a entender un mercado también podría servir para comprobar si un sistema de IA lo interpreta correctamente.

La presencia de Teseo en el encuentro de OpenRouter dejó una línea de reflexión concreta para su desarrollo: acercar la evaluación de modelos al trabajo cotidiano de las empresas, con datos del sector y resultados que puedan revisarse.

¿Qué tarea de su empresa valdría la pena evaluar antes de automatizarla? Converse con Teseo Data Lab sobre sus datos, sus procesos y los criterios que necesita para explorar una aplicación de inteligencia artificial.