Evidence-Based Management Guide

Cómo mejorar continuamente los resultados de negocio midiendo el valor

empresarial y usando una gestión empírica.

Introducción
Las organizaciones que adoptan prácticas ágiles de entrega de productos pueden perder fácilmente de vista su
objetivo real de mejorar el valor que ofrecen, centrándose en la mejora de las actividades y outputs en lugar de
resultados de negocio.

Ser Ágil es un medio para el fin, no es un fin en sí mismo; la clave de adoptar las prácticas ágiles es mejorar el
rendimiento del negocio. Cuando las organizaciones pierden la visión de esto, los jefes realizan preguntas que
parecen sensatas, pero podrían crear consecuencias no deseadas e inintencionadas. Algunos ejemplos de esas
preguntas son:
“¿Tenemos automatizadas las subidas?”
“¿Cúal es el nivel de calidad del código?”
“¿Los estándares o convenciones de código se siguen y respetan?”
“¿Se están usando las prácticas de realizar los test primeros?”
“¿La velocidad del equipo está aumentando?
“¿Con qué frecuencia los desarrolladores integran código nuevo?”

Aunque las respuestas a esas cuestiones son interesantes, en realidad no están ayudando a la organización a
mejorar el valor que entrega, o su habilidad para entregar valor. Monitorizar sólo el uso directo de las prácticas no
dá la mejor evidencia de su efectividad; por ejemplo, registrar la velocidad de un equipo de desarrollo no nos dice
nada sobre si el equipo actualmente está entregando algo que es útil para los clientes o usuarios.

Sin medir valor, el éxito de cualquier iniciativa ágil está basado en nada más que la intuición y las asunciones. En
cambio, “la gestión basada en evidencias EBM”, aborda las métricas de valor entregado como evidencias de la
agilidad organizacional, y proporciona formas de medir y mejorar la capacidad de entregar valor. Este acercamiento
permite a las organizaciones hacerse racionales, tomar decisiones en base a hechos, eleva las conversaciones
desde las preferencias y opiniones a las evidencias empíricas y una percepción lógica.

EVIDENCE-BASED MANAGEMENT
La gestión basada en evidencias EBM, es un acercamiento empírico que proporciona a las organizaciones la
capacidad de medir el valor que entregan a los clientes y los medios por los cuales entregan ese valor, y utilizar
esas medidas para orientar las mejoras en ambos.
Cada KVA se focaliza en un aspecto diferente de cada valor, o de la habilidad de la organización de entregar valor.
Las organizaciones sin la fuerza de estos cuatro KVAs podrían entregar valor a corto plazo, pero no serán capaces
de mantenerlo en el tiempo. Entregar valor, mantener contentos a los stakeholders y tener empleados satisfechos
(Valor actual) es importante, pero las organizaciones deben igualmente mostrar que son capaces de satisfacer la
demanda del mercado con una entrega en tiempo (Time-to-market) mientras son capaces de mantener la
innovación en el largo plazo (habilidad de innovar). La inversión continua en el producto se justifica en base a
medidas de hasta el momento (Valor no realizado) que podrían realizarse si el producto posee las capacidades
correctas.

Valor actual (CV)

Revela el valor que el producto entrega a los clientes, hoy.

El objetivo de mirar un CV es maximizar el valor que una organización entrega a los clientes y stakeholders en el
momento actual; esto tienen en cuenta sólo lo que exista ahora mismo, no el valor que podría existir en el futuro.
Las preguntas que una organización necesita continuamente reevaluar sobre el valor actual son:
1. ¿Cómo de contentos están los usuarios y clientes hoy? ¿Su satisfacción está mejorando o empeorando?
2. ¿Cómo de contentos están los empleados hoy? ¿Su satisfacción está mejorando o empeorando?
3. ¿Cómo de contentos están los inversores y otros stakeholders hoy? ¿Su satisfacción está mejorando o
empeorando?
Una variedad de cosas pueden mejorar el CV: mejorar la usabilidad, mejorar el resultado para el cliente o usuario
o incluso crear un entorno de trabajo mejor. Mirar al CV desde la perspectiva de los clientes o usuarios, igual que
desde los inversores, es obvio, pero considerando las actitudes de los empleados hay que reconocer que los
empleados son en última instancia los productores de valor. Empleados comprometidos que sepan cómo mantener,
sostener y mejorar son uno de los activos más significativos de una organización y empleados felices son más
productivos.

Ejemplos de Indicadores Clave de Valor (KVMs) de cada KVA están descritos en el apéndice.
Time-to-Market (T2M)

Expresa la capacidad de la organización para entregar rápidamente nuevas

posibilidades, servicios, o productos

El objetivo de mirar el Time-to-Market es minimizar la cantidad de tiempo que le lleva a una organización entregar
valor. Con la gestión activa del Time-to-Market, la capacidad de ser sostenible en la entrega de valor a largo plazo
es desconocida. Las preguntas que las organizaciones necesitan continuamente reevaluar para el time to market
son:
1. ¿Cómo de rápido puede la organización aprender de los nuevos experimentos?
2. ¿Cómo de rápido puedes aprender de la nueva información y adaptarte?
3. ¿Cómo de rápido puedes entregar nuevo valor a los clientes?

Una variedad de cosas puede reducir el Time-to-Market: todo lo que sea reducir cuellos de botella internos en la
comunicación para mejorar la automatización de la entrega, para mejorar la mantenibilidad de la aplicación y
eliminar deuda técnica; cualquier cosas que reduzca el tiempo perdido esperando o tiempo gastado realizando el
trabajo.

Capacidad de innovación (A2I)

Expresa la capacidad de una organización de desarrollo de productos para

entregar nuevas posibilidades que podrían satisfacer mejor las necesidades de los
clientes.

El objetivo de A2I es el de maximizar la capacidad de la organización para entregar nuevas posibilidades y

soluciones innovadoras. Las preguntas que las organizaciones necesitan continuamente reevaluar para su A2I
son:
1. ¿Qué impide que la organización entregue un nuevo valor?
2. ¿Qué impide a los clientes o usuarios beneficiarse de la innovación?

Una variedad de cosas pueden impedir a un equipo ser capaz de entregar nuevas posibilidades y valor: gastar
demasiado tiempo arreglando defectos o reduciendo deuda técnica, teniendo que mantener múltiples ramas de
código o versiones de producto, un sistema con una arquitectura compleja o monolítica, insuficientes entornos para
testear, falta de la excelencia técnica, prácticas de gestión de código pobres, falta de toma de decisiones
descentralizada, incapacidad de contratar e inspirar miembros del equipo talentosos y apasionados, y muchas más.
A medida que se acumulan características de bajo valor e impedimentos sistémicos, más tiempo y presupuesto se
consume manteniendo el producto o superando impedimentos, reduciendo su capacidad disponible para innovar.
Además, todo lo que impida a los usuarios o clientes beneficiarse de la innovación, como software difícil de instalar
o falta de capacidades que serían lo suficientemente convincente para garantizar la instalación del software,
también reducirá A2I.
Valor no realizado (UV)
Sugiere el valor potencial a futuro que podría realizarse si la organización pudiera
satisfacer perfectamente las necesidades de todos los clientes potenciales.

El objetivo de mirar al Valor no Realizado para la organización es maximizar el valor que obtiene del producto a lo
largo del tiempo.Las preguntas que las organizaciones necesitan continuamente reevaluar para su UV son:
1. ¿Puede ser creado algún valor adicional para nuestra organización en este mercado o en otros?
2. ¿Merece la pena el esfuerzo y el riesgo para perseguir esas oportunidades sin explotar?
3. ¿Se deberían hacer más inversiones para capturar el valor adicional no realizado?
Estas preguntas no pueden ser completamente respondidas al margen del valor no realizado de otros productos;
la decisión de invertir en un producto significa no invertir en otros. Considerando que ambos CV y UV proporcionan
a las organizaciones una forma para equilibrar beneficios presentes y futuros.
Por ejemplo, un producto puede tener un bajo CV, porque está en una versión temprana siendo usado para probar
el mercado, pero un muy alto UV, indicando que hay un gran potencial de mercado. Invertir en el producto para
potenciar el CV está probablemente justificado, dados los retornos potenciales, a pesar de que el producto no
produce actualmente un alto CV.

A la inversa, un producto con un CV muy alto, una gran cuota de mercado, sin competidores cercanos y clientes
muy satisfechos puede que no justifique una gran inversión nueva; este es el producto clásico “cash cow” que es
muy rentable pero está llegando al final de su ciclo de inversión de productos.

Indicadores Adelantados (leading) y Rezagados (lagging)

Los indicadores adelantados detectan cambios en los KVMs con relativa rapidez, permitiendo una respuesta rápida
mientras que los indicadores rezagados pueden sólo mostrar cambios tras un largo tiempo. Muchos indicadores
no son intrínsecamente adelantados o rezagados, pero solo se convierten en uno u otro dependiendo de la
frecuencia con la que se miden. Por lo tanto, cuando el resultado o ingreso se mide todos los días, es un indicador
adelantado, pero cuando solo se puede medir mensualmente o con menos frecuencia se convierte en un indicador
rezagado.

Los verdaderos indicadores adelantados pueden ser usados para inferir los resultados probables reportados por
los indicadores rezagados, de modo que el éxito de la construcción y la integración es una buena predicción para
la estabilidad y la previsibilidad probables de la puesta en producción.

Los indicadores adelantados de la satisfacción cliente son difíciles de obtener, pero el uso de datos puede servir
como aproximación. Las tasas de abandono de transacción pueden dar una idea de la finalización exitosa de una
actividad, y los datos de uso simples pueden al menos informar si se están utilizando las características, y pueden
dar una idea de cómo se están utilizando los productos.

Las medidas de satisfacción pueden ser indicadores adelantados o rezagados, según el tiempo que lleve recoger
la información. Por ejemplo, la información adelantada sobre la satisfacción de los empleados se puede recopilar
utilizando algo tan simple como el botón "¿Cómo estuvo el trabajo hoy?" 😀😀😀 que pueden presionar cuando salen
de la oficina.

Los verdaderos indicadores rezagados como Ingresos por Empleado, o Ratio de Producto, los cuales miden la
rentabilidad del producto, están influenciados por tantos factores contribuyentes que brindan principalmente ideas
generales de cuán bien el producto está creando valor.
Al inspeccionar los indicadores, un desafío común podría ser distinguir entre correlación y causalidad. Requiere el
juicio humano y la inteligencia de abajo hacia arriba para tener una conversación significativa basada en datos para
formular hipótesis acerca de las causas raíz por detrás de los cambios en los indicadores. Estas conversaciones
pueden desencadenar nuevos conocimientos, hipótesis y experimentos al servicio de crear el cambio deseado en
los indicadores.

¿Cómo mejorar empíricamente usando EBM?

“Si no sabes dónde vas, cualquier camino te llevará allí” - Lewis Carroll

Simplemente empezar a medir KVAs nos puede traer alguna mejora, porque te mostrará inmediatamente dónde
tienes oportunidad de mejora. Usar un acercamiento más sistemático puede proporcionar incluso mejores
resultados permitiendo a las organizaciones aprender y mejorar el valor derivado de las inversiones en software de
manera contínua.

1. Quantify Value
El primer paso en el ciclo aprendizaje de EBM es cuantificar el valor en la forma de KVMs. El proceso de definir y
alinearse sobre los KVMs en sí mismo podría dar valor a la organización, porque crea transparencia sobre qué va
a ser optimizado.

2. Mide KVMs
El siguiente paso en el ciclo de aprendizaje de EBM es establecer valores iniciales o una medida base para el
interés de los KVMs. Este paso proporciona una vista inicial de la viabilidad del producto y la capacidad de la
organización de entregar el producto. Esto genera transparencia sobre las fortalezas relativas y debilidades.

3. Selecciona KVAs a mejorar

Con una visión clara del valor actual de la organización y una comprensión de las medidas que lo revelan, los jefes
de las organizaciones de software ahora pueden tomar decisiones informadas sobre qué KVAs serían los más
valiosos en cambiar.

No intentes afectar demasiados KVAs en un sólo ciclo de aprendizaje. Realizar pequeños e incrementales cambios
y luego rápidamente medir el resultado es mejor que retrasar la mejora y medir cambiando demasiados factores a
la vez. Cambiar muchos factores al mismo tiempo puede además plantear desafíos al tratar de establecer la
causalidad entre resultados y actividades. Pequeños ciclos con pocos cambios es la forma más efectiva de realizar
mejoras sostenibles para la agilidad global de una organización.

4. Realiza experimentos prácticos para mejorar los KVAs seleccionados.

Tras elegir un KVA deseado para mejorar, selecciona, al menos, unas pocas prácticas que tu crees que mejoraran
los KVMs asociados, y ejecuta el experimento. Por ejemplo, una organización de software que quiere incrementar
la calidad podría elegir focalizarse en reducir los defectos KVM. Ellos podrían decidir intentar implementar prácticas
Test Primero para incrementar la cobertura de test y el foco en la calidad por parte de los equipos de desarrollo.
 5. Evalúa los resultados.
Una vez que los resultados del experimento son medidos, deberían ser comparados con los valores KVM antes de
los cambios que fueron hechos (ver imagen 4). Si el experimento hecho mejora la medida, el cambio se mantiene,
en otros casos intentaremos otras mejoras. El ciclo de aprendizaje continúa hasta que el KVA muestre los
resultados deseados.

Conclusión
“Si no puedes medirlo, no puedes mejorarlo” - Peter Drucker

Las áreas de valor clave de EBM proporcionan una perspectiva holística del rendimiento de la entrega de producto.
El valor actual es lo más importante, como un producto no ofrezca valor a sus clientes o usuarios no sobrevivirá
mucho tiempo.La experiencia de cliente/usuario es sólo parte del panorama; mantener y mejorar el valor a los
clientes es imposible sin empleados contentos y comprometidos y sin inversores contentos, a esos empleados les
faltará lo primordial que necesitan para hacer mejoras.

Mejorar rápidamente el valor que un producto entrega requiere la entrega frecuente de nuevo valor, lo que significa
mejorar el Time-to-Market del producto. Esto significa más que simplemente trabajar más rápido; de hecho, trabajar
más duro para ir más rápido rara vez es sostenible. En cambio, comprender y eliminar los impedimentos para una
entrega más rápida es esencial para entregar en ciclos más rápidos.

Un Time-to-Market más rápido no es toda la historia. Los ciclos de lanzamiento rápidos que entregan solo mejoras
muy pequeñas hacen poco para mejorar rápidamente el valor entregado por un producto. La capacidad de la
organización para innovar también está determinada por su capacidad para entregar una innovación significativa
en cada uno de ellos. La medición de esta capacidad les brinda a las organizaciones la información que necesitan
para poder eliminar las barreras que las mantienen atrapadas en el pasado.

Mejorar el rendimiento de la organización es también algo cíclico, un proceso iterativo: medir las condiciones
actuales, definir objetivos de rendimiento, formular pequeños experimentos de mejora que puedan ser rápidamente
ejecutados, y luego medir otra vez para medir el efecto, y luego repetir continuamente.

Nota final
EBM es gratis y se ofrece en esta guía. Aunque implementar solo partes de EBM es posible, el resultado no es
EBM.

Reconocimientos
EBM ha sido desarrollado colaborativamente por Scrum.org, la comunidad de Professional Scrum Trainers, la
comunidad de Engagement Managers, Ken Schwaber y Christina Schwaber.
Apéndice - Ejemplos de Indicadores Clave de Valor (KVM)

Valor Actual (CV)

KVM Medición:

Ingresos por El ratio (ingresos brutos / nº de empleados) es un indicador competitivo clave en la

empleado industria. Esto varía significativamente según la industria.

Ratio de Coste de Gastos totales y costes para el producto(s)/sistema(s) que está siendo medido,
Producto incluyendo los costes operacionales comparados con los ingresos.

Satisfacción de Algún formulario de análisis de sentimientos para ayudar a medir el compromiso, la

Empleado energía y el entusiasmo de los empleados.

Satisfacción de Algún formulario de análisis de sentimientos para ayudar a medir el compromiso y

Cliente la felicidad del cliente con el producto.

Índice de uso Medidas de uso, por funcionalidad para ayudar a inferir el grado con el que los
clientes encuentran útil el producto y si el uso real cumple las expectativas sobre
cuánto tiempo deberían llevar los usuarios con una característica.

Time-to-Market (T2M)
KVM Medición:

Frecuencia de El número de desarrollos integrados y testeados por período de tiempo. Para un

integración y equipo que está creando releases con frecuencia o continuamente, esta medida es
construcción. reemplazada por medidas de lanzamiento de release reales.

Frecuencia de El número de subidas a producción por periodo de tiempo, por ejemplo,

puesta en continuamente, diaria, semanal, mensual, trimestral etc. Esto ayuda a reflejar el
producción tiempo necesario para satisfacer al cliente con nuevos y competitivos productos.

Periodo de El tiempo gastado en corregir problemas del producto entre el punto en que los
estabilización de desarrolladores dicen que está listo para el lanzamiento y el punto en el que se
puesta en lanza realmente a los clientes. Esto ayuda a representar el impacto de las malas
producción. prácticas de desarrollo y del diseño subyacente.

Tiempo medio de La media de tiempo que pasa desde que un error es detectado hasta que es
reparación arreglado. Esto ayuda a ver la eficiencia que tiene una organización al corregir un
error.

Cycle Time El tiempo desde que el trabajo comienza en una puesta en producción hasta el
momento en que se libera realmente. Esta medida ayuda a reflejar la capacidad de
una organización para llegar a su cliente.

Lead Time El tiempo desde que se propone una idea o una hipótesis es formulada hasta que
un cliente puede beneficiarse de esa idea. Esta medida puede variar según el
cliente y el producto. Es un factor que contribuye a la satisfacción del cliente.

Tiempo en Es el tiempo total necesario para esbozar una idea o mejora, construirla,
aprender entregarla a los usuarios y aprender de su uso.
Capacidad de innovación (A2I)
KVM Medición:

Índice de uso Medida de con qué frecuencia es usada cada funcionalidad en el producto. Esto
ayuda a identificar las funcionalidades que se usan muy poco o nada.

Tasa de El porcentaje de esfuerzo o coste gastado en capacidades nuevas del producto,

innovación dividido por el esfuerzo o coste total del producto. Esto proporciona una idea de la
capacidad de la organización para entregar nuevas capacidades de productos.

Tendencia de Medir los cambios en los defectos desde la última medición. Un defecto es algo
Defectos que reduce el valor del producto a un cliente, usuario o a la propia organización.
Los defectos son generalmente cosas que no funcionan según lo previsto.

Índice de El porcentaje de la base total de usuarios que utiliza la versión actual del
Producto producto.

Índice de El número de versiones de un producto que son soportadas actualmente. Esto

instalación de refleja el esfuerzo que la organización gasta en soportar y mantener las versiones
versión antiguas de software

Deuda técnica Un concepto en programación que refleja el trabajo extra de desarrollo y testeo
que se surge cuando se realizan soluciones “rápidas y sucias” a corregir después.

Tendencia de La cantidad de veces que se interrumpió al equipo de desarrollo para solucionar

incidencias de un problema en un producto instalado. El número y la frecuencia de los incidentes
producción de producción pueden ayudar a conocer la estabilidad del producto.

Ramas de Estas medidas son similares al Índice de Versiones Instalado, dado que diferentes
código activas, versiones desplegadas normalmente tienen ramas de código diferentes
tiempo gastado
al unir código
entre ramas

Tiempo gastado Número de reuniones por día por persona, y el número de veces por día en que
en cambio de los miembros del equipo son interrumpidos para ayudar a gente fuera del equipo.
contexto Esto nos puede dar una visión simple sobre la magnitud del problema.

Valor no realizado (UV)

KVM Medición:

Cuota de Mercado Porcentaje relativo del mercado controlado por el producto

Desfase en la satisfacción La diferencia entre la experiencia deseada por el Cliente o Usuario y

Cliente o Usuario su actual experiencia.