Medir una recomendación exige separar ejecución, resultado e impacto
Imagen ilustrativa generada con IA.
Para saber si una recomendación funcionó hay que registrar qué se ejecutó, observar qué resultado cambió y evaluar cuánto de ese cambio puede atribuirse a la intervención. Son preguntas diferentes y requieren evidencia distinta. Mezclarlas puede llevar a premiar una acción que apenas se aplicó o a descartar una idea que nunca llegó a probarse.
La medición empieza antes de actuar. Un acuerdo breve sobre el indicador, el plazo y la comparación permite revisar la decisión con criterios estables, en lugar de elegir después la cifra que mejor cuenta la historia.
Primero hay que comprobar la ejecución
Una recomendación puede ser aceptada, programada, ejecutada parcialmente, modificada o suspendida. Registrar esos estados ayuda a entender lo que realmente ocurrió. La aprobación por sí sola todavía no cambia la operación.
Por ejemplo, recomendar un nuevo horario de reposición exige precisar qué establecimientos lo aplicarán, desde qué fecha y qué evidencia confirmará su uso. Si el plan también requería capacitación o cambios de inventario, conviene registrar esos componentes por separado.
El responsable debe poder explicar las desviaciones. Una sucursal sin personal suficiente, otra con restricciones de espacio y una tercera que comenzó tarde no representan la misma implementación. Esa información será necesaria para interpretar los resultados.
Definir la prueba antes de ver los resultados
Una ficha de seguimiento puede establecer:
La decisión: qué cambio concreto se propone y cuál es su mecanismo esperado.
El alcance: unidades, clientes o procesos incluidos y criterios para seleccionarlos.
El indicador principal: fórmula, fuente, denominador y frecuencia de actualización.
El horizonte: fecha de inicio, periodo de adaptación y momento de evaluación.
La comparación: qué referencia permitirá interpretar el resultado.
Los límites: costos, calidad o servicio que deben vigilarse para evitar mejoras aparentes.
También conviene conservar la versión original de la recomendación y registrar cualquier cambio. Si el equipo modifica el alcance a mitad del periodo, la revisión debe mostrarlo. La flexibilidad operativa es compatible con documentar decisiones.
Un resultado favorable admite varias explicaciones
Consideremos un ejemplo hipotético de una cadena con veinte sucursales. Se propone probar un nuevo horario de reposición en diez durante cuatro semanas y usar las otras diez como referencia. Los grupos se seleccionaron por semejanza de ventas e historial, sin asignación aleatoria.
El indicador principal es la proporción de pedidos con al menos un producto faltante. Antes del cambio era 8% en ambos grupos. Al terminar, baja a 5% en el grupo de prueba y a 6% en el grupo de referencia. De las diez sucursales previstas para la prueba, ocho documentaron la aplicación completa del horario.
El registro permite formular tres conclusiones de distinto alcance. La ejecución completa llegó a ocho de diez sucursales, es decir, 80%. El resultado observado en el grupo de prueba mejoró tres puntos porcentuales. La mejora adicional frente al grupo de referencia fue de un punto porcentual, porque este último también mejoró dos puntos.
Ese punto adicional es una comparación descriptiva útil. Todavía no demuestra el impacto causal del horario: los grupos pudieron enfrentar cambios distintos de demanda, surtido, personal o promociones. Haber empezado con el mismo 8% tampoco garantiza que hubieran seguido la misma trayectoria sin intervención.
La atribución exige una comparación defendible
J-PAL explica que evaluar impacto requiere comparar lo ocurrido con lo que habría sucedido sin el programa, un escenario que no puede observarse directamente para las mismas personas o unidades. Un grupo de comparación intenta aproximar ese escenario. Su credibilidad depende del diseño y de los supuestos.
Comparar únicamente antes y después deja abierta la influencia de estacionalidad, cambios del mercado y otras decisiones simultáneas. Cuando es viable y apropiado, asignar aleatoriamente la intervención puede fortalecer la evaluación. Aun así, importan el tamaño de muestra, el cumplimiento, la calidad de medición y la posible influencia entre unidades.
El manual La evaluación de impacto en la práctica, del Banco Mundial y el BID, presenta asignación aleatoria y otras estrategias de evaluación, además de cuestiones de muestreo y datos. La elección del método requiere revisar las condiciones del caso. Incorporar un grupo de referencia a un reporte, por sí solo, no resuelve esa elección.
Conservar la evidencia que incomoda
En el ejemplo, excluir al final las dos sucursales que no aplicaron completamente el cambio podría hacer que el resultado pareciera mejor y alteraría el grupo que se había definido. Conviene reportar la ejecución y el resultado del grupo completo; cualquier análisis de quienes sí cumplieron debe identificarse como adicional y explicar sus límites.
También hay que vigilar costos y efectos secundarios. Reducir faltantes con más horas de trabajo, más desperdicio o entregas extraordinarias puede tener un balance distinto al esperado. Una mejora operativa no se convierte automáticamente en ahorro ni en retorno financiero.
La conclusión puede ser ampliar la prueba, ajustar el horario, detenerlo o conservarlo con seguimiento. Para tomarla, el equipo debe conocer tanto la magnitud observada como la incertidumbre y el costo de seguir aprendiendo.
Una revisión que permita decidir el siguiente paso
Para la próxima recomendación, registre antes de ejecutarla un indicador principal, un responsable, un horizonte y una comparación. Al revisar, informe qué se aplicó, qué cambió, qué explicaciones siguen abiertas y qué evidencia adicional hace falta. Esa disciplina permite mejorar decisiones sin atribuirles más resultados de los que los datos pueden sostener.
