Auditoría de modelos analíticos

Los auditores internos deben evaluar los controles

analíticos de los modelos en los que sus organizaciones
confían para respaldar la toma de decisiones.
La fiebre del oro de análisis está en marcha. Las organizaciones de todo el mundo están gastando un dinero
considerable para construir o comprar modelos analíticos y capacidad analítica para aprovechar las
tecnologías de big data, aprendizaje automático e inteligencia artificial (IA). Estos modelos se han abierto
camino en todos los aspectos del negocio y se confía en ellos como apoyo para la toma de decisiones, y, en
el caso del aprendizaje automático y la inteligencia artificial, en la toma de decisiones, para cuestiones como:

 Determinar la probabilidad de incumplimiento para prestatarios potenciales (corporativos e

individuales).
 Evaluar la probabilidad de éxito y permanencia de nuevos empleados con la organización (desde
atletas profesionales hasta vendedores).
 Pronosticar el éxito y el retorno de la inversión para nuevas iniciativas de marketing.
 Toma de decisiones sobre la mezcla de productos y la ubicación de la tienda.
 Y próximamente, tomar decisiones de vida o muerte en vehículos autónomos.

Las organizaciones actuales tienen miles de millones de dólares que dependen de la precisión y la integridad
del rendimiento de los modelos analíticos. Con el desempeño del modelo convirtiéndose en un facilitador
estratégico, las organizaciones necesitan administrar los riesgos asociados con la analítica.
Para gestionar de manera efectiva estos riesgos y pasar de un modelo financiero simple a una auditoría de
hoja de cálculo, las organizaciones necesitan un sistema de controles en torno al desarrollo, aplicación y
mantenimiento del modelo analítico. Estos controles analíticos proporcionan controles y equilibrios en torno a
la selección, validación, implementación y mantenimiento del modelo. Las auditorías internas periódicas
pueden ayudar a determinar si los controles analíticos están diseñados adecuadamente y funcionan de
manera efectiva.

Modelos y controles
Un modelo analítico es una ecuación matemática que toma datos y produce un cálculo como un puntaje,
clasificación, clasificación o predicción. Es un conjunto muy específico de instrucciones para analizar datos
para entregar un tipo particular de resultado (comportamiento, decisión, acción o causa) para respaldar un
proceso comercial.
El objetivo de los controles analíticos es garantizar que:

 El personal de análisis tiene las habilidades y la capacitación adecuadas.

 Los datos de entrada son apropiados, completos, autorizados y correctos.
 Los procedimientos de selección de modelos están documentados y justificados.
 La validación y prueba del modelo se han realizado de acuerdo con principios científicos. 
 Los resultados son precisos, completos y están siendo utilizados por la empresa según lo previsto.
 El modelo se actualiza y reevalúa periódicamente. 
 La organización mantiene un registro para rastrear el procesamiento de datos desde la entrada,
hasta el procesamiento y la salida final.
 Lea "Controles y pruebas de modelos analíticos" para
ver ejemplos de pruebas que los auditores pueden
realizar para garantizar los controles utilizados en los
modelos analíticos.

Existen varios tipos de controles analíticos. Los controles de habilidades aseguran que el personal de análisis
de datos sea competente y esté suficientemente capacitado en métodos analíticos relevantes. Los controles
de uso comercial aseguran que el modelo aborde el objetivo comercial previsto. Los controles de datos se
utilizan principalmente para verificar la integridad de los datos ingresados en un modelo analítico. Los
controles de selección del modelo aseguran que la selección del modelo sea apropiada y razonable para
proporcionar apoyo a la decisión. Los controles de validación del modeloabordan lo que se hace para
garantizar que el resultado del modelo sea razonable y refleje con precisión la naturaleza subyacente de los
datos de entrada. Controles de salidaAsegurar que el resultado del modelo se presente y utilice de manera
adecuada y justificada para garantizar que sea coherente y correcto. Los controles de mantenimiento abordan
la necesidad de reevaluar y actualizar periódicamente los modelos analíticos para garantizar que sigan siendo
relevantes en el entorno actual.

Analítica versus controles generales de TI

Los auditores internos deben comprender la relación y la diferencia entre los controles analíticos y los
controles generales de TI. De lo contrario, una revisión de controles analíticos puede no tener el alcance
adecuado, lo que afecta negativamente la calidad y la cobertura de la auditoría.
Los controles generales de TI se aplican a todos los componentes de sistemas, procesos y datos presentes
en una organización o entorno de sistemas. Los objetivos de estos controles son garantizar el desarrollo y la
implementación adecuados de las aplicaciones, así como la integridad de los archivos de programas y datos y
de las operaciones de la computadora.
Los controles analíticos difieren de los controles generales de TI porque se relacionan con la metodología y
los datos relacionados con cada modelo analítico. Son específicos para cada aplicación individual.
Los auditores internos deben tener en cuenta el grado en que la gerencia puede confiar en los controles
analíticos para la gestión de riesgos. Esta dependencia depende en parte del diseño y la efectividad operativa
de los controles generales de TI. Si estos controles no se implementan o no funcionan de manera efectiva, la
efectividad de los controles analíticos disminuye considerablemente. Por ejemplo, si los controles generales
de TI que monitorean los cambios del programa no son efectivos, se pueden introducir cambios no
autorizados, no aprobados y no probados en un modelo analítico en el entorno de producción, lo que
compromete la integridad general del modelo.

Categorías de modelos analíticos

Hay tres categorías principales de modelos analíticos: descriptiva, predictiva y prescriptiva. Cada categoría
puede proporcionar un valor organizacional y una visión estratégica.
Descriptivo Estos modelos permiten a las organizaciones condensar grandes datos en piezas de información
más pequeñas y digeribles. Por lo general, las organizaciones que usan análisis de manera significativa tienen
montañas de datos en bruto a su disposición. El análisis descriptivo permite a una organización resumir esos
datos y determinar lo que realmente sucedió. La mayoría de los análisis en uso son descriptivos: desgloses de
ventas, me gusta y seguidores en las redes sociales, calificaciones y comentarios.
Predictivo El siguiente nivel en el análisis de datos, el análisis predictivo utiliza una variedad de técnicas
estadísticas, de modelado, de minería de datos y de aprendizaje automático para estudiar datos recientes e
históricos, lo que permite a los analistas identificar patrones y correlaciones en los datos. Sobre la base de
estos patrones y correlaciones identificados, los analistas pueden crear un modelo de los resultados futuros
con las entradas seleccionadas. Por ejemplo, con base en ciertas características del prestatario, un banco
puede usar un modelo predictivo para pronosticar su monto de impagos.
Prescriptivo El nivel más alto de análisis, el análisis prescriptivo recomienda uno o más cursos de acción y
muestra el resultado probable de cada decisión. A diferencia de un modelo predictivo, un modelo prescriptivo
muestra múltiples escenarios futuros basados en una decisión que la organización toma hoy. La analítica
prescriptiva requiere un modelo predictivo con dos componentes adicionales: datos procesables y un sistema
de retroalimentación que rastrea el resultado producido por la acción tomada. Un ejemplo de análisis
prescriptivo sería un modelo de optimización de mezcla de productos de la sala de casino que predice
ganancias de ingresos dadas las diversas configuraciones del juego.

Evaluación de riesgos
Los auditores deben usar técnicas de evaluación de riesgos para identificar vulnerabilidades críticas
relacionadas con los requisitos de informes y operativos y de cumplimiento de la organización al desarrollar el
plan de revisión de evaluación de riesgos. Estas técnicas incluyen la naturaleza, el momento y el alcance de
la revisión; funciones comerciales críticas respaldadas por modelos analíticos; y la extensión del tiempo y los
recursos que se gastarán en la revisión.
Para agregar valor a las actividades de evaluación de riesgos de control analítico de toda la organización, los
auditores internos deben definir el universo de modelos analíticos y tecnología de soporte (software de
modelado, servicios de datos, etc.). También deben resumir el riesgo y los controles utilizando las matrices de
riesgo y control documentadas durante el proceso de evaluación de riesgos.
A continuación, los auditores internos deben definir los factores de riesgo asociados con cada modelo
analítico respondiendo preguntas como:

 ¿El modelo admite un requisito reglamentario?

 ¿Qué tan complejo es el tipo de modelo?
 ¿Qué tan efectivo es el diseño de controles analíticos? 
 ¿El modelo está preempacado (listo para usar) y personalizado o desarrollado internamente? 
 ¿El modelo admite 
 ¿Más de un proceso comercial crítico?
 ¿Cómo se clasifican los datos procesados por el modelo (por ejemplo, financieros, privados o
confidenciales)?
 ¿Con qué frecuencia se realizan cambios en el modelo?
 ¿Qué tan complejos son esos cambios? 
 ¿Cuál es el impacto financiero del modelo?
 ¿Qué tan efectivos son los controles generales de TI que residen dentro de la aplicación (por
ejemplo, gestión de cambios, seguridad lógica y controles operativos)

Una vez que hayan respondido estas preguntas, los auditores internos deben sopesar todos los factores de
riesgo para determinar qué riesgos deben sopesarse más que otros (consulte "Evaluación del riesgo del
modelo" a continuación). A partir de ahí, deben determinar la escala correcta para clasificar el riesgo de
control de cada aplicación al considerar escalas cualitativas y cuantitativas, tales como:

 Riesgo de control bajo, medio o alto.

 Escalas numéricas basadas en información cualitativa (p. Ej., 1 = riesgo de bajo impacto, 5 = riesgo
de alto impacto; 1 = control fuerte, 5 = control inadecuado).
 Escalas numéricas basadas en información cuantitativa (p. Ej., 1 = menos de $ 50,000 y 5 = más de
$ 1 millón).

Con esta información en mano, los auditores internos deben realizar la evaluación de riesgos, clasificar todas
las áreas de riesgo y evaluar los resultados de la evaluación de riesgos. Finalmente, deberían crear un plan
de revisión de riesgos que se base en la evaluación de riesgos y las áreas de riesgo clasificadas.
Metodología de Auditoría
Los auditores internos deben tener en cuenta que el alcance, la profundidad, el enfoque y la frecuencia de la
revisión dependen de los resultados de la evaluación de riesgos y la disponibilidad de recursos de auditoría
interna. Si el equipo de análisis utiliza una metodología reconocida para el desarrollo del modelo, como el
Proceso estándar de la industria para la minería de datos (CRISP-DM) o algún otro sistema ampliamente
aceptado, los auditores internos deben considerar auditar según ese estándar. Además, algunas
organizaciones han establecido una función modelo de gestión de riesgos. La auditoría interna puede auditar
esa área utilizando una metodología similar a la aplicada a otras funciones de cumplimiento.
Para las organizaciones cuyos equipos de análisis no usan una metodología de desarrollo de modelos
prescrita, existen dos enfoques que los auditores pueden usar para auditar los controles de análisis: la
Metodología de Revisión del Modelo Integrado (IMRM) y la Metodología del Modelo Independiente
(SAMM). Estos métodos aplican los principios CRISP-DM en un contexto de auditoría interna.
IMRMEste enfoque se puede utilizar para evaluar el riesgo del modelo examinando todos los procesos
comerciales que se alimentan o dependen del modelo que se está revisando. Cuando se usa el IMRM, los
auditores internos deben incluir dentro del alcance de la revisión todos los sistemas de la organización que
están involucrados en el modelo bajo revisión y si la implementación del modelo es consistente con la
estrategia de análisis de la organización. En otras palabras, el auditor necesita incluir dentro del alcance de la
revisión los procesos separados que conforman los diferentes componentes del ciclo del modelo. El auditor
puede identificar las interfaces entrantes y salientes dentro del modelo y completar la actividad de
alcance. Por ejemplo, cuando los auditores revisan el modelo de respuesta de una campaña de marketing,
abarcarían la metodología de la encuesta y los procesos de recopilación de datos,
El uso del enfoque IMRM dedica automáticamente más recursos de auditoría a aquellos modelos analíticos
que afectan una porción más grande de las operaciones de la organización. Para utilizar el IMRM de manera
efectiva, los auditores deben comprender los procesos comerciales que rodean el uso del modelo que se está
revisando y cómo fluyen los datos dentro y fuera del modelo.
SAMM El enfoque alternativo, el SAMM, se utiliza cuando el auditor desea revisar los controles dentro de un
solo modelo. El SAMM es útil para nuevos modelos o cuando los recursos de auditoría son
limitados. Esencialmente, el auditor está verificando que el modelo, en sí mismo, tenga los controles
apropiados y realice la función prevista. No proporciona seguridad sobre si la organización está utilizando la
salida del modelo de manera efectiva o si las entradas del modelo son válidas. Aunque SAMM es
efectivamente un subconjunto del IMRM, los auditores internos deben especificar claramente qué metodología
están aplicando para que la gerencia y el comité de auditoría sepan hasta qué punto pueden confiar en los
resultados.

Todavía es auditoría interna

Aunque muchos auditores pueden no estar familiarizados con los modelos analíticos, el aprendizaje
automático y la IA, los fundamentos de la auditoría interna siguen siendo los mismos. Al igual que con todas
las nuevas tecnologías y procesos que las organizaciones han adoptado, los auditores internos tienen la
responsabilidad de aprender cómo los modelos analíticos pueden ser útiles en su trabajo y adaptar sus
métodos para servir a sus partes interesadas.

Fuente: https://iaonline.theiia.org/2018/Pages/Auditing-Analytic-Models.aspx