Infraestructura y Redes

Observabilidad en producción: cómo diseñar alertas que detecten fallos relevantes

Aprende a convertir síntomas de usuario y objetivos de servicio en alertas accionables, reducir el ruido y definir responsables y runbooks para responder a fallos en producción.

Observabilidad en producción: cómo diseñar alertas que detecten fallos relevantes

Una API puede seguir respondiendo con códigos HTTP exitosos mientras una parte importante de los usuarios no logra completar una compra. También puede ocurrir lo contrario: un proceso interno registrar miles de errores técnicos sin producir un impacto visible para el negocio. En ambos casos, el problema no es únicamente la falta de métricas, sino la dificultad para convertir señales técnicas en decisiones operativas.

Diseñar buenas alertas implica relacionar los síntomas que experimentan los usuarios con los objetivos de servicio y con las acciones que el equipo puede ejecutar. En este artículo veremos cómo distinguir métricas de diagnóstico de señales que deben despertar al equipo, cómo elegir ventanas y umbrales sin depender de valores universales y cómo documentar la respuesta mediante responsables y runbooks.

Qué problema debe resolver una alerta operativa

Una alerta no debería ser simplemente una notificación de que una métrica cambió. Su propósito es indicar que existe una condición que requiere atención humana o una acción automatizada con un nivel de urgencia determinado.

Para evaluar si una alerta es relevante, conviene responder cuatro preguntas:

  • ¿Qué impacto puede estar ocurriendo? Por ejemplo, usuarios que no pueden iniciar sesión, pagar o consultar información.
  • ¿La condición requiere intervención ahora? No toda anomalía necesita despertar a una persona fuera del horario laboral.
  • ¿Quién debe actuar? La alerta debe tener un equipo o rol responsable, no únicamente un canal de chat.
  • ¿Cuál es la primera acción de diagnóstico? El receptor debería saber qué revisar antes de comenzar una investigación amplia.

Una alerta que solo dice “la latencia aumentó” transmite información, pero no necesariamente permite decidir. Una alerta más útil relaciona la condición con el servicio afectado: “las solicitudes de confirmación de pago superan el objetivo de latencia y pueden provocar abandonos; revisar dependencia de pagos y tasa de errores”.

Métricas de diagnóstico y señales que deben activar al equipo

La observabilidad suele apoyarse en métricas, logs y trazas. Cada señal cumple una función diferente durante una investigación, pero no todas deben convertirse en una alerta.

Métricas de diagnóstico

Las métricas de diagnóstico ayudan a entender qué está ocurriendo. Entre ellas pueden encontrarse el uso de CPU, la memoria disponible, la cantidad de conexiones a una base de datos, el tamaño de una cola, el tiempo de respuesta de una dependencia o la distribución de códigos de error por endpoint.

Estas métricas son valiosas para investigar y detectar tendencias. Sin embargo, alertar ante cada variación puede generar ruido. Un aumento breve de CPU, por ejemplo, puede ser normal durante una tarea programada y no representar un problema para los usuarios.

Señales para despertar al equipo

Una señal de escalamiento debería combinar la condición técnica con una consecuencia operativa. Algunos ejemplos son:

  • Una proporción sostenida de solicitudes fallidas en un flujo crítico.
  • Un aumento de la latencia que afecta el cumplimiento de un objetivo de servicio.
  • Una cola que crece sin capacidad de recuperación y amenaza con retrasar procesos relevantes.
  • Una saturación que reduce la capacidad disponible para atender tráfico o ejecutar tareas esenciales.
  • La ausencia de eventos esperados en un flujo donde el silencio también representa un fallo.

La diferencia clave es la intención. Una métrica responde “¿qué está pasando?”. Una alerta accionable intenta responder además “¿por qué importa ahora?” y “¿quién debe hacer algo?”.

Cómo convertir objetivos de servicio en alertas accionables

El diseño debería comenzar con los flujos importantes para el usuario y para el negocio, no con una lista de métricas disponibles en la plataforma de monitorización. En un SaaS pueden ser prioritarios el inicio de sesión, la creación de un recurso, la ejecución de una tarea o el acceso a datos. En un e-commerce, el catálogo, el carrito, el pago y la confirmación del pedido suelen tener consecuencias diferentes.

Para cada flujo, es útil definir qué significa que esté funcionando correctamente. Esa definición puede incluir varios tipos de señales:

Errores

La tasa de errores permite detectar fallos explícitos, como respuestas de servidor no exitosas, excepciones no controladas o rechazos de una dependencia. Debe analizarse en el contexto del endpoint y del flujo. Un error en una operación opcional no necesariamente tiene la misma prioridad que un error en la confirmación de una compra.

También conviene separar errores atribuibles al cliente, como solicitudes inválidas, de errores del servicio o de sus dependencias. Mezclarlos puede ocultar el deterioro real de la plataforma.

Latencia

La latencia debe observarse sobre una distribución y no únicamente mediante un promedio. Un promedio estable puede ocultar que una parte de las solicitudes está tardando demasiado. Los percentiles pueden ayudar a representar esa experiencia, siempre que el equipo comprenda qué población está midiendo y qué objetivo de servicio quiere proteger.

Una alerta de latencia debería considerar el endpoint, la operación, la región o el tipo de cliente cuando esas dimensiones cambien significativamente el impacto. Una degradación limitada a una ruta crítica puede ser más urgente que una variación mayor en una operación poco utilizada.

Saturación

La saturación describe la cercanía a un límite operativo: capacidad de procesamiento, conexiones, almacenamiento temporal, consumidores de eventos o recursos de una base de datos. Es una señal anticipada cuando todavía no existen errores visibles, pero la capacidad de recuperación ya está comprometida.

El umbral debe relacionarse con el comportamiento del sistema. No basta con afirmar que cierto porcentaje de CPU o memoria es siempre peligroso. El riesgo depende de si existe capacidad de escalamiento, de cuánto tarda en estar disponible y de qué otros recursos pueden convertirse en el cuello de botella.

Flujos críticos y señales de negocio

Algunos fallos no se detectan adecuadamente mirando únicamente infraestructura. Si una compra se inicia pero no se confirma, o si una factura no se genera después de un evento esperado, la ausencia de una transición puede ser más importante que una métrica técnica aislada.

Por eso, los flujos críticos pueden instrumentarse con eventos de inicio, progreso y finalización. La observabilidad debe permitir distinguir entre un proceso que aún está en curso, uno que falló y uno que quedó detenido sin producir una señal explícita.

Umbrales, ventanas de evaluación y reducción del ruido

No existe un umbral universal que pueda aplicarse a todos los servicios. Un valor aceptable depende del comportamiento normal, del contrato con los usuarios, de la criticidad del flujo y de la capacidad del equipo para responder.

Elegir el umbral en contexto

El punto de partida puede ser un objetivo de servicio acordado: una proporción máxima de errores, una latencia que el usuario pueda tolerar o un tiempo límite para completar un proceso. Cuando no existe suficiente historial, el equipo puede comenzar con una hipótesis explícita y revisarla después de observar el comportamiento real.

Es importante documentar si el umbral representa una condición de emergencia, una advertencia o una señal para planificar capacidad. Una única alerta no debería intentar cubrir todos esos niveles.

Usar ventanas de evaluación

Una condición breve no siempre justifica una intervención. Las ventanas de evaluación ayudan a distinguir un pico transitorio de un deterioro sostenido. La duración adecuada depende del flujo: una interrupción de pocos minutos puede ser grave para un pago, mientras que un retraso más prolongado puede ser esperable en un proceso batch que no es interactivo.

También conviene evaluar la proporción y el volumen absoluto. Un porcentaje elevado de errores sobre muy pocas solicitudes puede producir una señal inestable. En cambio, una tasa moderada sobre un flujo de gran volumen puede representar un impacto significativo. El diseño debe considerar ambas dimensiones cuando sea necesario.

Evitar alertas duplicadas

Un mismo incidente puede provocar alertas de latencia, errores, saturación y dependencia caída. Si cada señal notifica por separado, el equipo puede recibir una ráfaga de mensajes y perder de vista la causa probable.

La correlación y la agrupación ayudan a reducir este problema. Una alerta de dependencia puede complementar la alerta del flujo afectado, pero deberían existir relaciones claras entre ambas. El objetivo no es ocultar información, sino presentar el incidente con suficiente contexto para priorizar.

Ejemplo: diseñar alertas para una compra fallida

Supongamos un flujo compuesto por los siguientes pasos: el usuario confirma el carrito, el servicio de pedidos crea una orden, un servicio de pagos solicita autorización a un proveedor externo y, finalmente, se publica un evento para confirmar la compra.

Una implementación superficial podría alertar únicamente cuando aumenta la tasa de respuestas de error del servicio de pagos. Esa señal es útil, pero puede dejar fuera varios escenarios:

  • El proveedor responde lentamente y provoca expiraciones de tiempo.
  • El pago se autoriza, pero la orden no se confirma por un fallo posterior.
  • Los eventos de confirmación quedan acumulados en una cola.
  • El servicio devuelve respuestas exitosas, pero no registra correctamente la transición del pedido.

Un diseño más completo podría contemplar las siguientes señales:

Errores del flujo de pago

Medir la proporción de pagos fallidos y separar las causas conocidas permite identificar si el problema proviene de validaciones, del proveedor externo o de un fallo interno. La alerta debería incluir la operación afectada, el tipo de error dominante y el enlace al panel o consulta que permita revisar ejemplos concretos.

Latencia y expiraciones

Una dependencia lenta puede producir fallos aunque la tasa de respuestas explícitamente erróneas todavía sea baja. La alerta debe observar la latencia de la autorización y las expiraciones de tiempo, relacionándolas con el volumen de compras afectadas.

Órdenes en estado intermedio

Si una orden permanece demasiado tiempo entre “pago autorizado” y “compra confirmada”, el problema puede estar en la publicación o el consumo del evento. En este caso, la señal relevante no es solo la cantidad de mensajes en una cola, sino la existencia de órdenes que no completan una transición esperada.

Runbook de primera respuesta

El runbook asociado podría indicar:

  1. Verificar si el impacto está concentrado en el proveedor de pagos, en una región o en un tipo de operación.
  2. Comparar errores, latencia y expiraciones con el comportamiento reciente del flujo.
  3. Revisar si existen órdenes autorizadas sin confirmación y si la cola de eventos está creciendo.
  4. Comprobar cambios recientes en el servicio de pagos, consumidores de eventos o configuración de tiempos de espera.
  5. Aplicar la medida de mitigación aprobada, como desactivar temporalmente una integración, reducir tráfico hacia una dependencia o activar un mecanismo alternativo, si existe.

El runbook no tiene que describir toda la resolución posible. Debe facilitar la primera decisión y señalar cuándo escalar a otro equipo.

Responsables, severidad y mantenimiento de las alertas

Una alerta sin propietario tiende a convertirse en ruido operativo. Cada señal debería tener un equipo responsable de revisar su significado, mantener la consulta o regla y actualizar el runbook cuando cambie la arquitectura.

Asignar responsabilidad

El responsable no tiene que ser una persona concreta durante todo el tiempo. Puede ser el equipo dueño del servicio, el equipo de plataforma o el grupo que opera una capacidad compartida. Lo importante es que exista una ruta de escalamiento conocida y que el receptor inicial pueda identificar qué equipo debe involucrarse.

Definir severidad según impacto

La severidad debería reflejar la urgencia y el alcance del impacto, no únicamente la magnitud de una métrica. Una condición que bloquea un flujo central puede requerir atención inmediata aunque afecte a una parte limitada del tráfico. Una degradación sin impacto visible puede ser una advertencia para análisis durante horario laboral.

Revisar el comportamiento después de cada incidente

Las alertas deben evolucionar con la experiencia operativa. Después de un incidente, conviene preguntar:

  • ¿La alerta se activó a tiempo?
  • ¿El equipo entendió el impacto sin investigar varias herramientas?
  • ¿La señal era demasiado amplia o demasiado específica?
  • ¿Faltaba una alerta sobre una transición o síntoma importante?
  • ¿El runbook indicaba una primera acción útil?
  • ¿La alerta se activó sin requerir intervención?

Eliminar una alerta ruidosa puede ser tan importante como crear una nueva. La calidad del sistema de alertas depende de que el equipo confíe en sus señales.

Errores frecuentes al diseñar alertas de producción

  • Alertar por cada métrica técnica: genera notificaciones que no representan un impacto accionable.
  • Usar umbrales fijos sin contexto: ignora diferencias entre servicios, horarios, cargas y objetivos de negocio.
  • Medir solo infraestructura: puede dejar invisibles los fallos de flujos críticos que atraviesan varios servicios.
  • Notificar sin indicar el propietario: retrasa la respuesta y favorece la transferencia informal de responsabilidad.
  • No incluir ventanas de evaluación: convierte picos transitorios en incidentes aparentes.
  • Confundir diagnóstico con escalamiento: un panel completo no sustituye a una señal que indique cuándo actuar.
  • Dejar runbooks desactualizados: una instrucción incorrecta puede ser peor que no tener documentación.
  • Ignorar los falsos negativos: reducir el ruido no debe significar que los fallos relevantes pasen inadvertidos.

Cómo empezar a mejorar el sistema de alertas

Un enfoque práctico consiste en comenzar con los flujos que más afectan la experiencia del usuario o los compromisos del servicio. Para cada uno, documenta el resultado esperado, las señales de fallo, el equipo responsable y la primera acción de diagnóstico.

Después, clasifica las métricas existentes en dos grupos: las que sirven principalmente para investigar y las que justifican una notificación operativa. Revisa las alertas que se han ignorado, agrupado automáticamente o silenciado con frecuencia; suelen indicar un problema de diseño, de umbral o de propiedad.

Finalmente, valida cada alerta con una simulación controlada o durante una revisión operativa. El equipo debería poder entender qué significa la señal, estimar su impacto y comenzar el diagnóstico sin depender de conocimiento tribal. Los detalles concretos de configuración dependen de la plataforma de observabilidad y de la arquitectura, por lo que conviene comprobarlos contra la documentación vigente de las herramientas utilizadas.

Conclusión: una buena alerta conecta impacto, acción y responsabilidad

La observabilidad en producción no consiste en acumular métricas, sino en construir un sistema que ayude a detectar y resolver fallos relevantes. Las alertas más útiles relacionan errores, latencia, saturación o transiciones de negocio con un impacto observable; utilizan umbrales y ventanas adecuados al servicio; reducen el ruido y apuntan a un responsable con un runbook claro.

La decisión más importante no es qué valor universal utilizar como umbral, sino qué condición merece una respuesta y cómo puede reconocerla el equipo. A partir de ahí, cada señal debe revisarse con la experiencia de los incidentes reales y con los cambios de la arquitectura.

Revisa tus alertas actuales: cada una debería indicar el impacto, el responsable y la primera acción de diagnóstico. Si tu equipo necesita ordenar sus señales de producción, priorizar flujos críticos o fortalecer la estabilidad de una plataforma SaaS, este análisis puede formar parte de una iniciativa de arquitectura, performance y operación acompañada por Mentores Tech.

Siguiente paso

Diagnóstico gratis o mentoría de carrera

El diagnóstico, en unos minutos, muestra qué área mejorar primero. Las mentorías y asesorías son el acompañamiento 1:1 para el perfil, el CV o la búsqueda de empleo.

Crear cuenta

Recibe recursos puntuales por correo (paso opcional).

Whatsapp Mentores Tech