Automatización con supervisión humana: cómo reducir riesgos

En qué consiste la supervisión humana

Revisar cada resultado anula el ahorro y, además, la atención de quien revisa se agota. La supervisión consiste en decidir de antemano en qué puntos interviene una persona y con qué información. Hay tres formas habituales, que se pueden combinar:

• Una persona aprueba antes de que ocurra. El sistema propone, la persona confirma. Adecuado para decisiones con impacto (enviar un presupuesto, un reembolso, un correo importante).
• Una persona interviene por excepción. El sistema actúa solo con los casos claros y pasa a una persona los dudosos o atípicos.
• Una persona revisa una muestra. Se comprueba de forma periódica una selección de resultados ya ejecutados para detectar deriva o errores sistemáticos.

Dónde poner la supervisión

Cuatro preguntas ayudan a decidir:

1. ¿Qué pasa si se equivoca? Cuanto mayor el daño (dinero, relación con un cliente, datos personales), más cerca debe estar la persona.
2. ¿Se puede deshacer? Lo reversible admite menos control previo; lo irreversible, más.
3. ¿El caso es claro? Los casos ambiguos son donde más falla un sistema.
4. ¿Afecta a una persona de forma significativa? Es el caso que la normativa europea trata con más cautela (ver más abajo).

Los mecanismos básicos

• Umbral de confianza. Si el sistema mide su seguridad (o si el caso cumple ciertas condiciones), por debajo de cierto valor pasa a una persona.
• Cola de aprobación. Una bandeja donde las personas ven qué propone el sistema, con el motivo, y aprueban, corrigen o rechazan.
• Límites duros. Importes máximos, número máximo de acciones por hora, listas de casos que nunca se hacen automáticamente.
• Registro de actividad. Qué se hizo, cuándo, con qué datos y quién lo aprobó. Sin registro no hay forma de investigar un fallo ni de mejorar.
• Interruptor de parada. Una forma clara y rápida de pausar la automatización y de saber quién puede hacerlo.
• Revisión periódica. Cada cierto tiempo, una persona mira una muestra y las estadísticas (cuántos casos pasaron a revisión, cuántos se corrigieron).

Qué dice la normativa europea

Sin ser una guía legal, conviene conocer dos referencias:

• El RGPD (se abre en una pestaña nueva) reconoce en su artículo 22 el derecho a no ser objeto de una decisión basada únicamente en un tratamiento automatizado cuando produce efectos jurídicos o afecta significativamente de modo similar. Es una razón para que una persona intervenga en decisiones importantes sobre otras personas.
• El Reglamento (UE) 2024/1689 (se abre en una pestaña nueva) (ley de IA) exige, en su artículo 14, que los sistemas de IA de alto riesgo se diseñen para que personas puedan supervisarlos de forma efectiva: entender sus capacidades y límites, ser conscientes del riesgo de fiarse en exceso de sus resultados, poder ignorar o revertir una salida e intervenir o detener el sistema. Que una automatización sea de alto riesgo depende de para qué se use, y conviene comprobarlo. Según la Comisión Europea (se abre en una pestaña nueva), las obligaciones de los sistemas de alto riesgo se aplicarán a partir del 2 de diciembre de 2027 (un calendario más tardío que el del texto original). En cualquier caso, esos criterios son un buen listón de diseño.

Si tu caso puede entrar en esos supuestos (por ejemplo, decisiones sobre personas en empleo, crédito o acceso a servicios), consulta con un profesional del derecho.

Riesgos que la supervisión ayuda a controlar

• Errores silenciosos: el sistema falla sin avisar y nadie lo nota durante semanas.
• Exceso de confianza: la gente deja de comprobar porque «lo hace la máquina».
• Deriva: los datos cambian y el sistema sigue aplicando criterios antiguos.
• Sesgos en clasificaciones o puntuaciones automáticas.
• Fugas de datos por enviar información personal innecesaria a servicios externos.

Qué evitar

• Una aprobación de trámite: si la persona aprueba cien casos por hora sin poder mirarlos, no hay supervisión, solo un sello.
• Un solo responsable sin sustituto.
• No formar a quien supervisa en qué mirar y cuándo dudar.
• Sin criterios escritos: «revisa lo raro» no es un criterio. Define qué es raro.

Próximos pasos

1. Escoge un proceso que ya quieras automatizar y responde a las cuatro preguntas de «dónde poner la supervisión».
2. Define por escrito los umbrales, los límites duros y quién revisa la cola. La ficha de cómo documentar un proceso antes de automatizarlo te ayuda.
3. Pasa el proceso por el evaluador de automatización: el resultado indica qué partes conviene mantener bajo supervisión.
4. Registra los fallos y sus causas con la plantilla de registro de incidencias y revísala cada mes.
5. Si tu caso es de atención a clientes, mira qué automatizar y qué no en atención al cliente, y consulta el servicio de soluciones con IA para diseñarlo con apoyo.