INTELIGENCIA COMPUTACIONAL I 1

Optimización de un Sistema de Inferencia

Difusa para la clasificación de masacres
Paramilitares en el conflicto armado
Colombiano
Daniel Sebastián Trespalacio Rozo, Juan Esteban Escobar Castro
Universidad Distrital Francisco José de Caldas
Resumen— En el presente trabajo se describe la experiencia de un operador “experto” que se base en conceptos
implementación de algoritmos de optimización de un sistema imprecisos lo que lo hace ideal para tratar de identificar o
difuso para encontrar el mejor conjunto de parámetros que solucionar fenómenos en Ingeniería, Económicos y Sociales.
permitan al sistema clasificar masacres paramilitares ocurridasen El objetivo principal de este documento es buscar el mejor
el conflicto armado colombiano. La metodología propuesta tiene Sistema de Inferencia Difuso (SID), a través de los métodos de
como objetivo encontrar de un universo de posibles soluciones, la
que evaluada por medio de estadísticos, tenga el mejor desempeño optimización de un SID. Se utilizaron tres métodos de
con resultados interpretables que sean adaptables a la resolución optimización los cuales son: Ajuste Manual, Sistema de
de la problemática descrita. Inferencia Neuro-Difusa [2], Evolución Diferencial [3], los dos
últimos con iniciación aleatoria.
Palabras Clave— Optimización, S istema Difuso, Conflicto
Armado, Clasificación. Se utilizó la base de datos de masacres entre 1980 a 2012 en el
conflicto armado colombiano y la información recopilada d e
I. INTRODUCCIÓN textos y expertos que describe las dinámicas de los grupos
armados actores del conflicto para la clasificación de masacres
En el contexto de la finalización e implementación de los
no identificadas entre dos presuntas “clases” responsables, los
acuerdos de paz, un punto importante es la necesidad de
Paramilitares y una agrupación de todos los demás grupos
contribuir en el esclarecimiento del papel jugado por los actores
denominada “otro grupo armado”. La base de datos de masacres
del conflicto para la reparación de las víctimas y la rendición de
y que sean los Paramilitares los elementos de estudio escogidos,
cuentas por lo ocurrido. En la Jurisdicción Especial para la Paz,
es puramente para efectos prácticos.
se creó la Unidad de Investigación y Acusación, el cual es el
órgano encargado de las investigaciones y de tomar acciones
II. METODOLOGIA
penales cuando los presuntos autores individuales o colectivos
de violaciones a los derechos humanos o crímenes de lesa En la Figura 1 se describe el problema en un diagrama de flujo,
humanidad no reconocen verdad plena o responsabilidad 1 . donde el problema en su forma natural, de alguna manera
desconocida, relaciona sus entradas con las salidas, por medio
En las investigaciones se hacen relevantes los datos que se de observaciones en las dinámicas del conflicto armado. Estas
tengan sobre los sucesos ocurridos en el conflicto, el Centro dinámicas deben ser emuladas por el SID. Los índices de
Nacional de Memoria Histórica para generar el informe general validación son función de las salidas esperadas, generadas por
de memoria y conflicto, genero bases de datos de información el problema de forma natural, y de la salida obtenida por el SID.
estadística sobre atentados terroristas, masacres, minas, ataques
a poblaciones, entro otros crímenes. En estas bases de datos
aunque claramente no se encuentran registrados todos los
hechos ocurridos en el conflicto, si se describen datos
temporales, geográficos, victimas y autores, donde estos
últimos son de los datos faltantes en varios de los registros y
probablemente en registros que no están dentro de la base de
datos pública también.
Figura.1 Diagrama de flujo del problema Global de Inteligencia
Computacional.
Los Sistemas Difusos, son una técnica de Inteligencia
A. Sistema de Inferencia Difuso:
Computacional que se fundamentan en la lógica difusa, la cual
Un sistema de inferencia difuso se compone de: una base de
permite simular en cierta medida el razonamiento humano,
reglas difusa, unos datos que definen las funciones de pertenencia
proporcionando un marco matemático que permite modelar la
de un conjunto difuso usado en las reglas difusas, un motor de
incertidumbre de los procesos cognitivos humanos de forma
inferencia difusa, un ‘fuzzificador’ y un ‘defuzzificador’.
que pueda ser tratable por un computador [1]. Esta técnica
permite resolver problemas complejos o que requieran la

1
T omado de: https://www.jep.gov.co/Paginas/JEP/Sistema-Integral-de-
Verdad-Justicia-Reparacion-y-NoRepeticion.aspx
 INTELIGENCIA COMPUTACIONAL I
El SID propuesto tiene las siguientes caracteristicas :
- Fuzzificador : Singleton
- Funciones de pertenencia: Gaussianas
- Implicación: Producto
- Defuzzificación: Promedio de centros
B. Normalización bases de datos:
Se normalizo cada uno de los registros de la base de datos para que
fueran independientes de la escala en que la que estaban, se utilizó
(1) para normalizar.
𝑍 = (𝑥 − 𝜇)/𝜎 (1)
𝜇: 𝑀𝑒𝑑𝑖𝑎, 𝜎: 𝐷𝑒𝑠𝑣𝑖𝑎𝑐𝑖ó𝑛 𝑒𝑠𝑡𝑎𝑛𝑑𝑎𝑑𝑎𝑟
𝑥: 𝑉𝑎𝑙𝑜𝑟 , 𝑍: 𝑉𝑎𝑙𝑜𝑟 𝑁𝑜𝑟𝑚𝑎𝑙𝑖𝑧𝑎𝑑𝑜
C. Validación Cruzada:
Se contaba con un total de 1982 datos para el cual se aplicó un
esquema de validación cruzada aleatoria. En el caso del ANFIS la
base de datos que se evaluaba en cada experimento era diferente
organizada de forma aleatoria, en el caso del algoritmo de ED, cada
individuo que se evaluaba con un orden diferente de datos del total.
La distribución de los datos fue la siguiente: 70% Datos de
entrenamiento (1387 Datos) y 30% Datos de validación (595
Datos). En el caso del algoritmo de evolución diferencial se
tomaron 198 datos como datos de pos validación por lo que la
distribución fue: 70% Datos de entrenamiento (1247 Datos) y 30%
Datos de validación (534 Datos).
D. Ajuste manual del sistema:
Es posible crear un SID inicial con sus conjuntos difusos para cada
entrada, sus salidas y las reglas, permitiendo relacionar los
conjuntos difusos de entrada (antecedente) con las salidas
puntuales (consecuente). Para esto se debe conocer bastante el
problema y las posibles relaciones entre los elementos que hacen
parte del mismo. A ser un ajuste sesgado por las percepciones de
los autores, es de gran importancia el aporte de un experto, en este
caso un Sociólogo que aclare dudas y direccione correctamente el
entendimiento del problema.
Con este método el SID finalmente tiene los parámetros mostrados
en la Tabla 1. En el caso de la fecha, son tres por las décadas de las
que se tiene datos, latitud norte y sur son las funciones de
pertenencia (FP), longitud tiene tres para definir las zonas
occidental, central y oriental del país y por último el número de
víctimas se planteó desde un número alto, medio y bajo.
Parámetro Valor
#FP Fecha 3 de parámetros.
#FP Latitud 2 -
#FP Longitud 3 una función de aptitud y se escogen los más aptos.
#FP N° Victimas 3
#FP Salida 2 Dado que en este trabajo se tiene un problema de clasificación
Reglas 5 la función de aptitud a utilizar contiene el error cuadrático
Tabla.1 Parámetros para el SID planteado de forma manual.
Se obtuvieron 5 reglas por medio de la información de expertos
y de documentos sobre las dinámicas de los grupos armados, sus
zonas de influencia geográficamente y temporalmente así como
sus comportamientos en masacres debidamente adjudicadas a
los grupos armados.
2
E. Sistema de Inferencia Adaptativo Neuro-Difuso con
inicialización aleatoria:
Este método se basa en un modelo de aprendizaje supervisado
que, dado un conjunto de entradas y salidas, relacionadas por
una función desconocida 𝑓, existe un aprendiz y un supervisor
de un proceso de aprendizaje a partir de 𝑓, con el uso de una
métrica de validación para evaluar los resultados del aprendiz y
pueda corregirlos. El algoritmo utiliza un modelo hibrido que
combina el método de mínimos cuadrados y el método de retro-
propagación.
En este caso el SID es de tipo Sugeno y para evaluarlo se utiliza
la validación cruzada. Adicionalmente del aprendiz (SID con
sus parámetros), el algoritmo ANFIS requiere inicialmente los
valores del número de reglas y entradas y una tasa de
aprendizaje, donde el algoritmo dejara constantes las entradas y
ajustara los otros dos parámetros. Se tuvo en cuenta el número
de reglas del ajuste manual para este algoritmo, en la Tabla 2 se
puede observar los parámetros utilizados.
Parametro Valor
Epocas 50, 100
Numero de
100, 200
experimentos
Numero de
5, 20
reglas
Tasa
0.1
Aprendizaje
Funcion
RMSE
Desempeño
Tabla.2 Parámetros para el algoritmo ANFIS.
F. Algoritmo de evolución diferencial con inicialización
aleatoria:
Este algoritmo está basado en la evolución de un grupo de
individuos (vectores solución), los cuales están representados
por medio de un conjunto de cromosomas (parámetros reales),
donde todos estos elementos representan soluciones en el
espacio de búsqueda. El algoritmo está compuesto de siguientes
etapas:
- Inicialización: Cada individuo (vector solución) se
inicializa aleatoriamente a partir de las medias y
desviaciones estándar del antecedente y el
consecuente.
- Mutación: Se aplica mutación en individuos de la
población para individuos de prueba.
- Cruce: Se combinan entre individuos de la población
para generar individuos con combinaciones diferentes
Selección: Se evalúan los individuos con respecto a
medio (RMSE) y el error de clasificación como en [3], teniendo
eso en cuenta se tiene la función de aptitud descrita en (1).
𝐹 = 𝑒𝑅𝑀𝑆𝐸 ∗ 𝑒𝐶𝑃 (1)
Con
𝑀𝑐
𝑒𝐶𝑃 = (2)
𝑇𝑑
INTELIGENCIA COMPUTACIONAL I 3

1 𝑛
𝑅𝑀𝑆𝐸 = √ ∑ 𝑒𝑖2 (3) 𝑒 = (𝑣𝑜 − 𝑣𝑒 ) (4)
𝑛 𝑖 =1

Donde:
𝑒𝑅𝑀𝑆𝐸 : Error cuadrático medio
𝑒𝐶𝑃 : Error de clasificación masacres paramilitares
𝑀𝑐 : Número de registros mal clasificados
𝑇𝑑 : Número total de registros clasificados
𝑣𝑜 : Valor obtenido
𝑣𝑒 : Valor esperado
Para la implementación de este algoritmo se tuvieron en cuenta
algunos parámetros utilizados en el ANFIS como las reglas y el
tamaño de soluciones a explorar. Los parámetros se encuentran
en la Tabla 2. También se utilizó validación cruzada en este
algoritmo.
Figura.2 Curva ROC ajuste manual
Parametro Valor Positivo Negativo Total
Numero de reglas 5, 10, 32
Predictivo positivo 227 108 335
Numero de parametros a
optimizar 45, 90, 288
Numero Población 40 Predictivo negativo 128 132 260
Numero de generaciones 100, 150
Total 355 240 595
Numero de experimentos 50
Tabla.5 Matriz de confusión para la mejor solución obtenida por
Constante de cruce 0.9* medio del ANFIS.
Constante de mutación 0.5*
Variante best/1/bin
Criterio de parada Gmax
Tabla.3 Parámetros para el algoritmo de evolución diferencial
G. Matriz de confusión:
La matriz de confusión se configuro teniendo en cuenta:
- Verdaderos positivos: Masacres paramilitares
correctamente clasificadas.
- Falsos positivos: Masacres de otro grupo armado
clasificadas como paramilitares.
- Verdaderos negativos: Masacres de otros grupos
correctamente clasificadas
- Falsos Negativos: Masacres paramilitares clasificadas
como de otro grupo armado.

III. RESULTADOS
En esta sección se presenta el mejor resultado de cada método Figura.3 Curva ROC mejor solución ANFIS
de optimización con su respectivo análisis y la comparativa
entre resultados. B. Algoritmo de evolución diferencial con inicialización
A. Ajuste manual del sistema: aleatoria:
La matriz de confusión resultante en caso del ajuste manual del La mejor solución se dio en la configuración:
SID se puede observar en la Tabla 4. 10 𝑟𝑒𝑔𝑙𝑎𝑠 , 40 𝑝𝑜𝑏𝑙𝑎𝑐𝑖ó𝑛 , 150 𝑔𝑒𝑛𝑒𝑟𝑎𝑐𝑖𝑜𝑛𝑒𝑠, Esta solución
se consiguió en el experimento 33. La matriz de confusión para
La curva ROC en la Figura 2 indica que el desempeño del esta solución se encuentra en la Tabla 6.
clasificador propuesto con respecto al azar, es el mismo o Positivo Negativo Total
incluso con algunos umbrales de clasificación el azar
clasificaría mejor. Predictivo positivo 291 52 343

Predictivo negativo 118 73 191

Positivo Negativo Total
Total 409 125 534
Predictivo positivo 931 555 1486
Tabla.6 Matriz de confusión para la mejor solución obtenida por
medio de ED.
Predictivo negativo 253 243 496
La ROC en la Figura 4 se muestra que el comportamiento de
Total 1184 798 1982 esta solución con respecto, al azar para algunos umbrales es
Tabla.4 Matriz de confusión para la mejor solución obtenida por mejor y para otros es peor el desempeño del clasificador
medio de ED. solución encontrado.
INTELIGENCIA COMPUTACIONAL I
Figura.4 Curva ROC
C. Comparación soluciones:
En la Tabla 7 se tienen los estadísticos más relevantes para las
mejores soluciones encontradas en cada uno de los métodos de
optimización. La mejor solución fue la encontrada por el
algoritmo de ED, esto se evidencia en su desempeño para
clasificar, a pesar que su coeficiente Kappa es menor que la
obtenida por la solución ANFIS, que implica que tanto la
solución es mejor que el azar, la diferencia fue mínima contrario
a otros estadísticos donde la solución de la ED tiene hasta un
desempeño de hasta 5% mejor. Se resalta que los estadísticos
encontrados para la solución ajustada manualmente no son del
malos pero si se comporta prácticamente igual que el azar.
Tasa de
clasificación Sensibilidad Precisión Especificidad
correcta
Ajuste manual
0.5923 0.7863 0.5923 0.3045
del sistema
ANFIS 0.6336 0.6685 0.6336 0.5805
Evolución
0.6816 0.8484 0.7115 0.3822
Diferencial
Tabla.7 Estadísticos relevantes para cada una de las soluciones
encontradas
D. Mejor Solución (Sistema Difuso):
Los conjuntos en el antecedente se pueden observar en la Figura
5, la interpretación de estos se puede dar más desde el punto de
vista estadístico que desde el punto de vista de la problemática.
Los registros utilizados como entrada tienen una desviación
estándar pequeña entre ellos, lo que hace que se solapen las
funciones de pertenencia. Desde el punto de vista del conflicto
armado lo que indica es que las masacres se concentraron en
unos lugares muy específicos y las variaciones entre las
dinámicas de paramilitares y otros grupos no eran muy
variables lo que dificulta la diferenciación entre clases y por
ende la clasificación. En el caso de las reglas de inferencia del
sistema estas no eran interpretables.
IV. DISCUSIÓN
En el caso del ajuste manual se tenía un número fijo de funciones de
pertenecía en los antecedentes que permitía tener interpretabilidad en
el SID solución, teniendo esto, los resultados de desempeño del
clasificador fueron los peores y los índices Kappa y el área bajo la
curva (AUC) de la ROC indicaban que se tendría un mejor resultado
si se clasificaba de manera aleatoria.
4
Figura.5 Antecedentes SID ajustado por ED
En el caso del ANFIS se tenía que los parámetros como el número de
reglas eran cambiantes y que se ajustaban con respecto al error,
permitiendo modelar mejor una solución, en efecto el desempeño de la
mejor solución encontrada fue mejor que en el caso del ajuste manual
pero se perdió la interpretabilidad en el SID, dado el numero nuevo de
reglas y funciones de pertenencia, y no se podía entender cuál era el
proceso de inferencia que estaba llevando a cabo en el sistema. A pesar
de que los antecedentes eran modelados de forma automática,
nuevamente se tuvieron unos valores Kappa y AUC de la ROC bajos
y que no diferenciaban la solución en gran medida del azar.
En el ajuste por ED, el antecedente al modelarse por parámetros
obtenidos a partir de las medias y desviaciones estándar de las entradas
del sistema, tuvo más interpretabilidad que en el caso del ANFIS, las
funciones de pertenencia en este caso se solapaban entre ellas por lo
que era necesario un numero amplio de reglas que pudieran dar
Kappa solución a la no linealidad que se tenía en los conjuntos. Aunque se
utilizaron 32 reglas el mejor resultado se obtuvo con 10 y este en
últimas fue también el mejor de los 3 métodos de optimización. En este
0.0968
caso los valores de Kappa y AUC de la ROC también indican que la
solución tiene un desempeño en la clasificación, que asciende hasta el
0.2455
68%, parecido al azar.
0.2497
V. CONCLUSIONES
- En los tres métodos de ajuste de parámetros no se logró
adaptarse al problema de una manera óptima, se consiguió una
tasa de clasificación no muy buena y el desempeño era similar
a una clasificación aleatoria. Esto puede deberse a que el
sistema no tenía registros de entrada diferenciables y se pueden
requerir un número mayor de entradas para mejorar su
desempeño.
- Tanto el algoritmo ED como el ANFIS lograron mejores
resultados con respecto al método de ajuste manual de
parámetros basado en conocimiento de expertos , esto debido a
que cada uno de ellos explora una gran cantidad de soluciones
que pueden llegar a un mínimo local en donde la tasa de
clasificación correcta sea mayor.
- Al tenerse un algoritmo que explora una gran cantidad de
soluciones la interpretabilidad del sistema se ve afectada por las
múltiples posibles soluciones. La interpretabilidad en cuanto a
los conjuntos difusos que conforman el sistema fue mejor el
algoritmo ED que en el ANFIS, aun así, no era un sistema
interpretable del todo.
 INTELIGENCIA COMPUTACIONAL I 5

REFERENCIAS
[1] González Morcillo, C. (2011). Lógica Difusa, una introducción práctica.
T écnicas de Softcomputing, 5.
[2] Jyh-Shing Roger Jang. “ANFIS: adaptive-network-based fuzzy inference
system”. In: IEEE T ransactions on Systems, Man, and Cybernetics 23
(1993), pp. 665–685. DOI: 10.1109/21.256541.
[3] Medina, L. A. R., Pinzón, A. F. B., Melgarejo, M. A., & Domínguez,S.V.
(2017). T uning up Fuzzy Inference Systems by using optimization
algorithms for the classification of solar flares. arXiv preprint
arXiv:1706.08163.