Sistema computacional inteligente

para la caracterizacin emocional

de los estudiantes de la UAM
mediante deteccin automtica de
expresiones faciales.

Yaneth Meja Rendn

Lnea de investigacin: Sistemas Inteligentes
nfasis: Desarrollo de Software

Gestin y desarrollo de Proyectos de Software

VII Cohorte
Universidad Autnoma de Manizales

Tutor: Belarmino Segura Giraldo

Cotutor: Santiago Murillo Rendn
Contenido
Planteamient
rea
Contexto Antecedentes o de la
Problemtica
Propuesta

Referente
Metodologa Objetivos Justificacin
Terico

Resultado
Cronograma Presupuesto Bibliografa
Esperado
Contexto
Determinar caractersticas poblacionales en una muestra de estudiantes de
pregrado de la UAM, por medio de la caracterizacin de expresiones
faciales espontneas que permiten identificar respuestas emocionales; para
establecer el perfil de los participantes activos en esta iniciativa.

Muestra poblacional de Correlacin con la respuesta a

estudiantes de potenciales evocados visuales
pregrado de la UAM Caracterizacin
poblacional
Anlisis de expresiones
faciales
 Antecedentes
En 1978 sistema FACs desarrollado por Ekman
Caracterizacin del movimiento facial (43 msculos)

Seis emociones y un estado neutral.

En 1995 Rosalind Picard estableci la computacin afectiva

Brecha de comunicacin personas - mquinas, lenguaje no verbal.
2009:
Interfaces que perciben y comprenden emociones comunicadas por seales sociales y afectivas.

Anlisis automatizado del comportamiento no verbal (comportamiento facial); (Pantic, 2009); (M.
Valstar, 2006) expresiones faciales espontneas.
Estudio de la geometra de la cara, puntos de referencia, textura de la piel y lneas muy marcadas (G.

Zhao, 2007).
Caractersticas geomtricas y la apariencia; son dos formas de analizar expresiones faciales

espontneas (B. Jiang, 2011).

Antecedentes
Software de reconocimiento facial que detecta emociones:
Affdex de Affectiva
Analiz cerca de 2.8 millones de caras en 75 pases, anlisis streaming de las
expresiones faciales que la audiencia produce al ver videos, detecta el impacto
publicitario.
Emotient de Google, software denominado Perception, se utiliza para la investigacin
en campo, cuando el pblico mira anuncios de manera habitual, (en las calles a travs
de carteles).
Project Oxford y Emotion API de Microsoft, diversas plataformas para desarrolladores:
Anlisis de imgenes y rostros; reconoce la misma persona en diferentes imgenes
OpenFace. Grupo de Investigacin de la Universidad Carnegie Mellon de Pensilvania
Antecedentes
Instituto de Sistemas Integrados Fraunhofer IIS (Alemania) Google Glass 2014
Emotion Reserach Lab Valencia, Espaa. 2014.
Bismart Face and Emotion Recognition. 2016. (Aplicacin mvil que detecta las
emociones)
FacePhI, herramienta para la seguridad en banca, ha conseguido reducir el fraude
masivo y el phising, mejorando la experiencia del usuario
Ao 2012: Fusin de expresiones faciales y EEG para el etiquetado afectivo
implcito, anlisis de respuestas de usuarios al interactuar con contenido multimedia
para generar etiquetas descriptivas.
Muy pocos registros de trabajos que consideraban la fusin de la expresin facial y
EEG, para el reconocimiento de la emocin espontnea (S. Koelstra, 2013).
 rea Problemtica
La UAM propende porque el ingreso de los estudiantes corresponda con una
adecuada seleccin del perfil vocacional, para lograrlo, se propone incluir el
reconocimiento multimodal de emociones a partir de protocolos de
estimulacin, que ayuden a determinar el impacto emocional que cada
programa genera en sus estudiantes, determinando de forma ms precisa sus
perfiles vocacionales.
Planteamiento de la Propuesta
La intencionalidad de esta propuesta se enfoca en la implementacin de un
sistema computacional inteligente para la caracterizacin emocional de los
estudiantes de la UAM a travs del anlisis de emociones multimodal,
empleando una tcnica de deteccin de expresiones faciales y otra tcnica
de caracterizacin de potenciales evocados visuales, logrando obtener
datos que correlacionados marquen un indicador emocional ms asertivo.

Software Presentation Expresiones faciales

Caracterizacin
poblacin UAM
Justificacin

El proyecto busca obtener indicadores ms pertinentes a la emocin reflejada

por el estudiante, mientras es expuesto a protocolos emocionales, con el fin
de reducir el nivel de desercin de estudiantes de la UAM (Inters), mediante
el reconocimiento multimodal de emociones complementando el anlisis de
expresiones faciales con la aparicin de potenciales cognitivos (Novedad), la
identificacin automatizada de expresiones faciales y su relacin con las
emociones, brindar herramientas de anlisis para definir la afinidad de cada
candidato con el programa al que aspira. (Utilidad).
 Objetivo General
Desarrollar un sistema computacional inteligente para la
caracterizacin emocional de la poblacin UAM mediante el
reconocimiento automatizado de expresiones faciales.

Software Presentation UAM

Caracterizacin de la poblacin
Sistema de deteccin
automtica de rostros

Reconocimiento e identificacin de las expresiones

emocionales
Objetivos Especficos
Desarrollar el mdulo de codificacin facial que implemente algoritmos de
inteligencia artificial para detectar las emociones, basndose en la
caracterizacin de expresiones faciales.

Identificar las seis emociones bsicas y un estado neutral, en cada uno de

los participantes activos mientras son sometidos a un protocolo de
estimulacin emocional.

Realizar la clasificacin de la respuesta emocional del usuario

Realizar la caracterizacin de potenciales evocados visuales

Realizar la caracterizacin emocional en la poblacin objetivo.

Validar la efectividad del sistema computacional, por medio de...

 Referente Terico

vic D. and Pantic M.2005) (Lim R. , Reinders M. J.,

2001)

ok Ohb, Kangrok Oha,, (Pang Y., Zhang L., Li M.,

nb, 2017) Liu Z., 2004)
 Metodologa (Fases)
Protocolos de estimulacin de emociones

Construccin del mdulo de codificacin facial

Clasificacin de la respuesta emocional del usuario

Caracterizacin emocional de la poblacin

Validacin del sistema computacional

Metodologa (Obtencin de Informacin)

BD Relacional
Datos Personales
Protocolos de estimulacin
de emociones
Emociones identificadas

Estudiante Software presentation

UAM Server UAM
 Metodologa Iconix (Iterativo, mayor trazabilidad, dinmica UML)
Metodologa de Desarrollo del Software
Mejora continua del
proceso

Planear Disear Construir

Monitoreo
Constante

Desarrollo de un modelo Global

- Casos de Uso
- Diagramas de colaboracin
- Diagramas de secuencia
Cierre cada 2 semanas
Resultados peridicos
(Entrega continua)
Intervencin poblacin objetivo
 Resultado Esperado
Un sistema computacional inteligente para la caracterizacin emocional
en los estudiantes de la UAM, por medio de la identificacin
automatizada de expresiones faciales para la determinacin de
emociones.

Reconocimiento facial Caracterizacin social de la

Software Presentation Poblacin UAM
Identificacin de la emocin Caracterizacin de respuesta
UAM
gesto-emocin
 Cronograma
Meses
Fases
10
1 2 3 4 5 6 7 8 9

Presentacin y aprobacin de la propuesta

Definicin de los protocolos de estimulacin emocional x

Desarrollo del mdulo de codificacin facial. x x

Caracterizacin de potenciales evocados visuales. x x x

Integrar mdulos de gesto-emocin y potenciales x

evocados visuales
Intervencin de la poblacin objetivo x

x
Caracterizacin emocional de la poblacin
x
Validacin del sistema computacional
Redaccin del informe final x
 Presupuesto
Valor
Rubro Nombre Descripcin
Hardware Computador Porttil Equipo de cmputo para realizar la documentacin, el $2.700.000
desarrollo y las pruebas del proyecto.
Electroencefalograma Desconozco

TOTAL DEL RUBRO $2.700.000

Personal Ing. Yaneth Meja Rendn Responsable de realizar el proyecto. $16200.000
Asesores Talleres de lnea
Tiempo del asesor $20000.000
Pares evaluadores Responsables de evaluar el proyecto. $8000.000
TOTAL DEL RUBRO $44.200.000
Materiales Material bibliogrfico Bases de datos de la UAM $1800.000
Paquete estadstico SPSS Realizar anlisis estadstico de los resultados obtenidos con la $700.000
investigacin.
TOTAL DEL RUBRO $2500.000
Publicaciones Publicacin Gastos relacionados con la elaboracin del artculo y su $1.000.000
respectiva publicacin en una revista indexada.
Informe final del artculo Realizar el documento final a entregar $1000.000
TOTAL DEL RUBRO $2.000.000
TOTAL DEL PROYECTO $51.400.000
 Bibliografa
[1] Lim R. , Reinders M. J. Facial Landmarks Localization Based on Fuzzy and Gabor Wavelet Graph Matching.
FUZZ-IEEE, 2001, pp. 683-686.

[2] Pang Y., Zhang L., Li M., Liu Z., and Ma W. A novel Gabor-LDA based face recognition method. Lecture Notes
in Computer Science, vol. 3331, 2004, pp. 352-358.

[3] Vukadinovic D. and Pantic M. Fully Automatic Facial Feature Point Detection Using Gabor Feature Based
Boosted Classifiers. IEEE International Conference on Systems, Man and Cybernetics Waikoloa, Hawaii October
10- 12, 2005, pp:1692-1698.

Affectiva. (2017). Affectiva. Obtenido de Affdex for Market Research:

http://www.affectiva.com/what/uses/media/

Arman Savran, H. C. (2012). Combining video, audio and lexical indicators of affect in spontaneous
conversation via particle filtering (2012 ed.). Proc ACM Int Conf Multimodal Interact. 2012.
doi:10.1145/2388676.2388781

B. Jiang, M. V. (2011). Action unit detection using sparse appearance descriptors in space-time video
volumes. London: Proceedings of IEEE International Conference on Automatic Face and Gesture
 Bibliografa
Mase, K.: Recognition of facial expression from optical flow. IEICE Trans. E 74,34743483 (1991).

D. Keren, M. Osadchy, and C. Gotsman, Antifaces: A Novel, Fast Method for Image Detection, IEEE Trans. Pattern
Analysis and Machine Intelligence, vol. 23, no. 7, pp. 747-761, July 2001.

L. Ma and K. Khorasani, Facial Expression Recognition Using Constructive Feedforward Neural Networks, IEEE
TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICSPART B: CYBERNETICS, VOL. 34, NO. 3, JUNE
2004.

Essam Al Daoud, Enhancement of the Face Recognition Using a Modified Fourier-Gabor Filter, Int. J. Advance.
Soft Comput. Appl., Vol. 1, No. 2, November 2009 ISSN 2074-8523; Copyright ICSRS Publication, 2009 www.i-
csrs.org.

Anissa Bouzalmat, Naouar Belghini, Arsalane Zarghili, Jamal Kharroubi & Aicha Majda, Face Recognition Using
Neural Network Based Fourier Gabor Filters & Random Projection, International Journal of Computer Science and
Security (IJCSS), Volume (5) : Issue (3), 2011
 Bibliografa
Mahesh Kumbhar, Ashish Jadhav, and Manasi Patil, Facial Expression Recognition Based on Image
Feature, International Journal of Computer and Communication Engineering, Vol. 1, No. 2, July 2012.

Freeman, W.T. and Adelson, E.H. 1991. The design and use of steer- able filters. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 13(9):891906.

G.U. Kharat1 and S.V. Dudul2, Emotion Recognition from Facial Expression Using Neural Networks, Z.S.
Hippe and J.L. Kulikowski (Eds.): Human-Computer Sys. Intera., AISC 60, pp. 207219.

Daniela Sammler, M. G. (2007). Music and emotion: electrophysiological correlates of the processing of
pleasant and unpleasant music. (Vol. 44). PSYCHOPHYSIOLOGY. doi:10.1111/j.1469-
8986.2007.00497.x

Davidson RJ, F. N. (1983). Asymmetrical brain activity discriminates between positive and negative
affective stimuli in human infants.

G. Zhao, M. P. (2007). Dynamic texture recognition using local binary patterns with an application to
facial expressions (Vol. 29). Finland: IEEE Transactions on Pattern Analysis and Machine Intelligence.
Recuperado el 27 de 04 de 2017
 Bibliografa
Jeremy N. Bailensona, ,. ,. (2008). Real-time classification of evoked emotions using facial feature
tracking and physiological responses (Vol. 66).

M. Valstar, M. P. (2006). Spontaneous vs. posed facial behavior: automatic analysis of brow actions.
Netherlands: Proceedings of ACM International Conference on Multimodal Interfaces.

Nancy Aaron Jones, N. A. (1992). Electroencephalogram asymmetry during emotionally evocative films
and its relation to positive and negative affectivity (Vol. 20). Elsevier. Recuperado el 27 de 04 de 2017,
de https://doi.org/10.1016/0278-2626(92)90021-D

Nitin Kumar, K. K. (2016). Bispectral Analysis of EEG for Emotion Recognition (Vol. 84). Assam:
Biomimetic and Cognitive Robotics Lab, Computer Sc & Engineering, Tezpur University, Napaam,
Sonitpur, 784028, Assam, India. Obtenido de https://doi.org/10.1016/j.procs.2016.04.062

P.Ekman, K. S. (1984). Expression and the nature of emotion. California, San Francisco: Hillsdale,
NL:Lawrence Erlbaum.
 Bibliografa
Pantic, M. (2009). Machine analysis of facial behaviour: naturalistic and dynamic behaviour.
S. Koelstra, I. P. (2013). Fusion of facial expressions and EEG for implicit affective tagging (2 ed.).
London: Image Vision Comput.

Sebe, N., Cohen, I., Gevers, T., & Huang, T. S. (2005). Multimodal approaches for emotion recognition: a
survey (Vol. 5670). Internet Imaging VI, 56. doi:10.1117/12.600746

Takahashi, K. (s.f.). Remarks on Emotion Recognition from Bio-Potential Signals. IEEE.

doi:10.1109/ICIT.2004.1490720

Trainor, L. A. (2001). Frontal brain electrical activity (EEG) distinguishes valence and intensity of musical
emotions. Canada: COGNITION AND EMOTION. doi:10.1080/02699930126048

Zhihong Zeng, M. P. (2008). A Survey of Affect Recognition Methods: Audio, Visual, and Spontaneous
Expressions (Vol. 31). IEEE Transactions on Pattern Analysis and Machine Intelligence.
doi:10.1109/TPAMI.2008.52

Hongying Meng, D. H.-S. (2013). Depression recognition based on dynamic facial and vocal expression
features using partial least square regression. Barcelona. doi:10.1145/2512530.2512532