¿Qué es un registro de esquemas para telemetría industrial?

Contratos con Avro y Protobuf

En una tubería de streaming el productor y el consumidor nunca hablan directamente; intercambian mensajes a través de un broker y pueden desplegarse, reiniciarse, y actualizarse de forma independiente. Ese desacople es poderoso pero elimina el lugar natural donde dos sistemas acuerdan un formato de mensaje. Un registro de esquemas restaura ese acuerdo conteniendo el esquema canónico de cada stream, así que un productor registra la forma que escribe y un consumidor busca la forma que debe esperar, y ambos trabajan a partir de la misma definición en lugar de de una suposición compartida que deriva en silencio.

Avro y Protobuf son los formatos usuales para estos contratos porque son codificaciones binarias compactas con un esquema explícito y legible por máquina, a diferencia del JSON de forma libre donde la estructura vive solo en el código que resulta leerla. Con un registro, cada mensaje en el cable lleva un pequeño identificador de esquema en lugar del esquema completo, así que el consumidor puede obtener la definición exacta que produjo los bytes y deserializarlos correctamente. Esto mantiene los mensajes pequeños al tiempo que garantiza que el lector siempre tenga el plano correcto, aun para un mensaje viejo escrito por un productor que ya se actualizó.

El contrato también hace los datos autodescriptivos de una forma que la telemetría llana rara vez es. Los nombres de campo, tipos, valores por defecto, y documentación viven en el esquema registrado, así que un nuevo consumidor o una herramienta de analítica puede descubrir qué contiene un stream sin ingeniería inversa a partir de mensajes de muestra. Para la telemetría industrial, donde una sola tubería puede llevar lecturas de muchos tipos de dispositivo durante muchos años, esta definición duradera y versionada del payload es lo que mantiene los datos usables mucho después de que los ingenieros que los diseñaron primero se han ido.

Evolución compatible de esquemas conforme aparecen tags

Los sistemas industriales nunca son estáticos: nuevos sitios entran en línea, se agregan nuevos sensores, y un stream que empezó con un puñado de tags crece con el tiempo. El registro maneja este crecimiento versionando cada esquema y verificando cada nueva versión propuesta contra una regla de compatibilidad antes de permitirla. Las dos reglas que más importan son la compatibilidad hacia atrás, que significa que un nuevo esquema todavía puede leer datos escritos bajo el viejo, y la compatibilidad hacia adelante, que significa que un consumidor viejo todavía puede leer datos escritos bajo el nuevo. La compatibilidad completa satisface ambas.

La razón por la que esto se hace cumplir en lugar de dejarlo a las buenas intenciones es que productores y consumidores se actualizan en sus propios calendarios. Si un productor empieza a enviar un campo nuevo antes de que los consumidores estén listos, la compatibilidad hacia adelante asegura que los consumidores viejos simplemente ignoren lo que no entienden en lugar de caerse. Si un consumidor se actualiza primero y espera un campo nuevo, la compatibilidad hacia atrás con un valor por defecto asegura que todavía pueda procesar mensajes viejos que carecen de él. En la práctica esto significa que los cambios aditivos con valores por defecto son seguros, mientras que eliminar un campo requerido o cambiar el tipo de un campo es un cambio rompedor que el registro rechazará.

Este es exactamente el comportamiento que un conjunto de tags en evolución necesita. Agregar una nueva medición opcional a un esquema de telemetría, darle un valor por defecto sensato, y registrar la nueva versión permite a los productores empezar a emitirla de inmediato mientras cada consumidor existente sigue funcionando sin tocar, actualizándose solo cuando de verdad quiera el dato nuevo. El registro convierte lo que de otro modo sería un cambio coordinado de un día fijo a través de toda la tubería en una adición incremental y de bajo riesgo, lo cual es esencial cuando la tubería abarca muchos productores y consumidores mantenidos de forma independiente.

Evitar que un productor malo envenene a los consumidores

Sin un registro, nada evita que un productor empiece a emitir mensajes malformados o cambiados de forma incompatible, y el daño aterriza en los consumidores. Un solo campo mal configurado, un tipo cambiado en silencio de número a cadena, o una clave renombrada puede hacer que cada lector aguas abajo falle la deserialización, y como los mensajes malos se sientan en el mismo stream que los buenos, pueden estancar o caer a los consumidores por toda la tubería. Diagnosticar esto después del hecho, a partir de una avalancha de errores de análisis, es doloroso y lento.

Un registro mueve esa falla hacia la izquierda, atrapándola en el momento en que se propone el esquema malo en lugar de después de que los mensajes venenosos ya están en el stream. Cuando un productor registra un nuevo esquema, el registro lo valida contra las reglas de compatibilidad de ese stream y lo rechaza de plano si rompería a los consumidores existentes, así que el cambio incompatible nunca llega al broker en primer lugar. El productor obtiene un error inmediato y claro en tiempo de despliegue, que es mucho más fácil de arreglar que una interrupción aguas abajo rastreada a través de horas de datos.

Para una plataforma como Merobix que consolida telemetría en streaming de muchos orígenes de campo en una tubería común, esta protección es lo que hace segura la evolución de la tubería a escala. Nuevos tipos de dispositivo y nuevos tags pueden agregarse de forma continua, cada uno como una versión de esquema compatible, con el registro garantizando que ningún origen individual pueda introducir una forma que rompa los tableros, las alertas, y el almacenamiento que leen de los mismos streams. El resultado es una tubería que crece de forma constante sin las rupturas periódicas que vienen de cambios de payload no administrados y ad hoc.

Preguntas frecuentes