For micro-expression recognition: Database and suggestions

A B S T R A C T
Micro-expresin est ganando ms atencin en el campo de los cientficos y los medios de comunicacin. Representa
verdaderas emociones que tratan de ocultar, por lo que es una seal prometedora para la deteccin de la mentira.
Desde micro expresiones son considerados casi imperceptibles a simple vista, los investigadores han tratado de
detectar automticamente y reconocer estas expresiones faciales fugaces para ayudar a la gente a hacer uso de tales
seales de engao. Sin embargo, la falta de bases micro-expresin establecidas podra ser el mayor obstculo. Aunque
se han desarrollado varias bases de datos, pueden existir algunos problemas en el enfoque de descubrimiento micro-
expresin o en el etiquetado. Hemos construido una base de datos micro-expresin espontnea con riguroso marco
manchado, AU codificacin y etiquetado de micro-expresin. Este papel presenta cmo los micros expresiones fueron
sacados en una situacin de laboratorio y cmo se construy la base de datos con la gua de psicologa. Adems, este
documento propone cuestiones que pueden ayudar a los investigadores utilizan eficazmente las bases de datos micro -
expresin y mejorar el reconocimiento de micro- expresin.
1. INTRODUCCION
Micro-expresin es un breve movimiento facial que revela una emocin que la persona trata de ocultar [1,2].
Notablemente, serie de televisin Minteme trajo la idea de micro-expresin de la opinin pblica. La reputacin de
micro-expresin se deriva de sus posibles aplicaciones prcticas en varias reas, tales como diagnstico clnico,
seguridad nacional y los interrogatorios [5] porque micro-expresin puede revelar sentimientos genuinos y ayudar a
detectar mentiras. Mentira de deteccin basada en micro-expresin no es slo una ficcin, pero proviene de estudios
cientficos. Primera Haggard y Isaacs descubri micro-expresin (expresin micro-momentneo) y haba considerado
como emociones reprimidas [6,7].En 1969, Ekman analiza un video entrevistando de un paciente afectado por la
depresin que intent suicidarse y encontrado micro expresiones. De entonces encendido, se han realizado varias
investigaciones en el campo de la micro-expresin pero pocos resultados fueron publicados. Ekman [2] incluso afirm
que micro expresiones podran ser el enfoque ms prometedor para la deteccin de engao.
Micro-expresin se caracteriza por su corta duracin. Aunque hay un debate sobre la duracin, la duracin lmite
superior generalmente aceptada es de 0,5 s [8,9]. Adems, micro-expresin ocurre generalmente con baja intensidad
[8]. Debido a la corta duracin y baja intensidad, es generalmente imperceptible para los ojos desnudos [1]. Para
hacer un mejor uso de micro-expresin en la deteccin de la mentira, una solucin es recurrir a los equipos para
detectar y reconocer micro expresiones automticamente. Un sistema de reconocimiento automtico de micro-
expresin tendra inuencia trascendental en los campos como la seguridad nacional, seguridad en el transporte y
diagnstico clnico ni siquiera. Reconocimiento de expresin ha sido estudiado intensamente en el pasado [10],
mientras que fue prestado poca atencin a micro-expresin reconocimiento hasta hace varios aos. Micro-expresin
reconocimiento plantea un gran desafo para la visin por computador debido a su corta duracin y baja intensidad. El
mayor obstculo es la falta de bases de datos bien establecidas. Recientemente, varios grupos han desarrollado bases
de datos micro-expresin. Sin embargo, nos damos cuenta que las bases de datos existentes de micro-expresin
tienen algunos problemas. A continuacin, revisaremos las bases de datos existentes de micro-expresin y luego
introducir la base de datos de CASME.
Este documento es una versin ampliada de nuestra Conferencia NEJM1 [11].
Diferentemente, recibi una nueva revisin de las bases de datos anteriores, se presentaron una nueva idea de micro
expresiones, algunos desafos fueron precisados y ofrecieron algunas sugerencias en deteccin automtica de micro-
expresin y reconocimiento.
2. Las bases de datos existentes de micro-expresin
En el siguiente, bases de datos micro-expresin fueron repasados. La tabla 1 muestra una breve descripcin para cada
base de datos. En USD-HD [12] y base de datos de Polikovsky [13], el inconveniente es que consisten en micro
expresiones planteaba ms que espontneo. Sin embargo, micro-expresin se considera involuntario y dificultades
para disimular [1 En cuanto a YorkDDT [14], las muestras son micro-expresiones espontneas con alta validez
ecolgica pero acompaaron con otra cabeza irrelevante y movimientos de cara al hablar. Para las primeras etapas de
micro-expresin de reconocimiento, tan complicado movimiento facial no es ideal, pues aumenta considerablemente
la complejidad de la tarea de reconocimiento. Ms, ms, muy pocos micro expresiones fueron adquiridas en este
conjunto de datos micro-expresin es difcil provocar con el enfoque de "mentir". SMIC base [14] contiene micro-
expresiones espontneas suscitadas en un laboratorio. Esto es una gran mejora en comparacin con las bases de
datos micro-expresin planteadas. Esta base de datos, sin embargo, no ofrecieron AUs para las muestras y el
etiquetado de micro-expresin se basaba slo en los participantes auto informe. Esto podra causar un problema ya
que episodios video transmiten diversos estmulos emocionales y as un informe general puede no ser preciso (por
ejemplo masticando un gusano en un episodio de vdeo puede ser desagradable, pero a veces tambin divertido o
sorprendente). Adems, algunos movimientos faciales pueden ser emocin viene al caso, como mover las cejas
debido a los cambios en la vista. Estos movimientos faciales irrelevantes deben ser removidos. Basado en
inconvenientes y los nmeros anteriores, tratamos de construir una base de datos micro-expresin mejorada para
facilitar el desarrollo de un sistema slido reconocimiento automtico de micro-expresin.
3. CASME base de datos
3.1. Perfil de base de datos
La Academia China de base de datos de Ciencias Micro-Expresin (CASME) contiene 195 filmado micro-expresiones
espontneas bajo 60 fps. Estas muestras fueron cifradas que se marcaron el inicio, pico y marcos de compensacin. El
marco de inicio era el primer marco que cambia de la lnea de base (generalmente neutros expresiones faciales). El
marco de apex-1 es el primer marco que alcanz mayor intensidad de la expresin facial y si mantiene durante cierto
tiempo, el pice-2 Marco est codificado. Expresiones faciales con la duracin no ms de 500 ms fueron seleccionados
para la base de datos. Adems, expresiones faciales dur ms de 500 ms pero su duracin Inicio menos de 250 ms
tambin fueron seleccionados porque rpido-inicio expresiones faciales tambin se caracterizan como micro-expresin
[8] (que es por la duracin de algunas muestras exceden 500 ms). Las distribuciones de la duracin de las muestras
fueron proporcionadas (ver figs. 1 y 2). Unidades de accin (AUs) [16] fueron marcadas y etiquetas de emocin fueron
dados (Fig. 3). Para mejorar la validez, las emociones fueron etiquetadas basado en tres aspectos: AU-combinaciones,
la emocin principal del episodio video y los participantes el informe (ver tabla 3). En comparacin con otras bases de
datos micro-expresin, la base de datos CASME incluye las siguientes ventajas:
(1) Las muestras son micro-expresiones espontneas. Los marcos antes y despus de cada objetivo micro-expresin
en cada muestra video muestran basal caras (generalmente neutros).
(2) Los participantes se les pidi mantener una cara neutral (paradigma de neutralizacion) en el estudio. Por lo tanto,
micro expresiones capturados en la base de datos son relativamente "pura y clara, sin ruidos tales como movimientos
de la cabeza y los movimientos faciales irrelevantes.
(3) Unidades de accin fueron dados para cada micro-expresin. Aus dan movimientos detallados de las expresiones
faciales y ayudar a facilitar la emocin exacta etiquetado [16,17].
(4) Los micros expresiones cuidadosamente fueron etiquetados basados en investigaciones psicolgicas y los
participantes auto informe. Adems, se eliminaron los movimientos faciales sin emociones.
Grabamos las expresiones faciales con dos diferentes ambientes de configuraciones mentales y dos cmaras
diferentes. Por lo tanto, dividimos las muestras en dos clases: clase A y clase B. Las muestras de clase A fueron
grabadas por la cmara de consumo BenQ M31 con 60 fps, con la resolucin a 1280 720 pxeles. Los participantes se
registraron en luz natural. Las muestras en clase B fueron registradas por la cmara industrial de punto gris GRAS-
03K2C con 60 fps, con la resolucin a 640 480 pxeles. Los participantes se registraron en una habitacin con dos luces
LED.
3.2. Adquisicin y codificacin
Para provocar "claras" micro expresiones, empleamos el paradigma de neutralizacin en la cual los participantes
intentaron mantener sus rostros neutralizados cuando experimentamos emociones. Utilizamos video episodios como
el material con el contenido que se con-agujereados ms alta en Valencia emocional. En este estudio, los participantes
experimentaron elevada excitacin y fuerte motivacin para disimular sus verdaderas emociones.
3.2.1. Los participantes y los estmulos de educcin
35 chinos participantes (13 mujeres, 22 machos) fueron reclutados con una edad media de 22,03 aos (desviacin
estndar 1,60) en el estudio. Utilizamos Pocoyo con Valencia emocional alto como los materiales de licitacin.
Diecisiete episodios video fueron descargados de Internet, que fueron asumidas para ser altamente positivas o
negativas en balance y debe provocar varias emociones de los participantes. La duracin de los episodios
seleccionados vari desde aproximadamente 1 minuto hasta aproximadamente 4 minutos. Cada episodio haba
suscitado principalmente un tipo de emocin. 20 participantes clasificacin las emociones de los episodios video
principales y las puntuaciones de 0 a 6 fueron entregadas a cada uno, donde 0 es el ms dbil y 6 el ms fuerte (ver
tabla 3).
3.2.2. Procedimiento de adquisicin
El paradigma neutralizante fue utilizado donde los participantes intentaron inhibir cualquier movimiento facial con
grandes esfuerzos. Cada participante estaba sentado frente a un monitor de 19 pulgadas. La cmara (punto gris GRAS-
03K2C o BenQ M31, con 60 frames por segundo) sobre un trpode se cre tras el monitor para grabar la cara frontal
completa de los participantes. Los episodios video fueron presentados en la pantalla que estaba controlada por el
experimentador. Los participantes dijeron que cerca de ver la pantalla y mantener una cara neutral. Adems, no
podan girar sus ojos o la cabeza lejos de la pantalla. Despus de cada episodio, los participantes fueron pidi ver sus
propios movimientos faciales en las grabaciones e indicados si producan movimientos faciales irrelevantes que
podran ser excluidos para su posterior anlisis.
3.2.3. Anlisis
Para garantizar la fiabilidad, dos codificadores fueron reclutados para la duracin y el Au-combinacin del micro-
expresin de cdigo. Independientemente que vieran la aparicin, Marcos pice y offset, y arbitrado la
disagreement.2 la confiabilidad Rd para el clculo de duracin fue 0,78, que puede ser calculado por el texto
siguiente:
Donde #f C2 C1 es el nmero de Marcos en que codificador 1 y 2 codificador de acuerdo y # Todo el marco es el
nmero total de fotogramas anotadas por los dos codificadores. La fiabilidad Rl para AU etiquetado fue 0,83, que
puede ser calculado por el texto siguiente: donde #AUC1 C2 es el nmero de AUs en el cual codificador 1 y 2
codificador de acuerdo y #All_AU es el nmero total de AUs anotadas por los dos codificadores.
Se analizaron las grabaciones de vdeo en los siguientes pasos:
Paso 1: El primer paso fue una difcil seleccin. Este procedimiento era reducir la cantidad de movimientos faciales a-
ser-analizada y no falta ningn posibles micro expresiones. Los codificadores jug las grabaciones a velocidad media y
los marcos del inicio del pice y de desplazamiento del punto aproximadamente y luego selecciona las expresiones
faciales que duran menos de 1 s. Tambin se observ que algunas de las expresiones faciales rpidamente se filtr en
nuestro estudio se caracterizaron por un inicio rpido con un desplazamiento lento. Por lo tanto, expresiones faciales
del rpido-inicio con la aparicin phases3 menos de 500 ms (aunque la duracin total es mayor que 1 s) fueron
seleccionados para su posterior anlisis debido a sus especiales caractersticas temporales.
Step 2: Las muestras seleccionadas fueron convertidas luego en cuadros para facilitar detectar los pasos
subsecuentes.
Step 3: Se eliminaron los movimientos habituales (por ejemplo, sonarse la nariz) u otros movimientos irrelevantes
(por ejemplo, presionando los labios al tragar saliva).Estos movimientos faciales irrelevantes tambin fueron
conrmados por los participantes despus de la sesin de grabacin.
Step 4: Utilizando el enfoque de fotograma por fotograma, los codificadores trataron de los marcos del inicio del
pice y de desplazamiento del punto. A veces las expresiones faciales se desvanecieron lentamente, y los cambios
entre los cuadros eran muy difciles de detectar por los ojos. Para tales desplazamiento Marcos, los codificadores
codifican slo el ltimo fotograma cambio obvio como la estructura de compensacin mientras Marcos de ignorar el
cambio casi imperceptible.

3.2.4. micro-expresin
Dos codificadores de etiquetado etiquetado como la expresin de micro independientemente y luego sometern a
arbitraje cualquier desacuerdo. AUs fueron marcados para darle una objetiva y precisa descripcin de los
movimientos faciales. Teniendo en cuenta las diferencias en las combinaciones de AU(s) entre ordinaria y micro-
expresin expresin facial [8], etiquetado de emocin no puede basarse slo en la combinacin de ciertos AU(s) de
expresiones faciales ordinarias. Por lo tanto, tuvimos que tomar en uno mismo-las calificaciones de cuenta partici-
pantalones y el contenido de los episodios de video tambin. Seis emociones bsicas son incapaces de cubrir todas las
expresiones faciales. As, se aadieron dos clases adicionales de expresiones faciales: represin y tenso. La represin
se produce cuando la gente intenta enmascarar las verdaderas expresiones faciales mediante el uso de ciertos
msculos (como AU 17) para reprimir, mientras que tenso indica que algn tipo de respuestas emocionales sin
significado claro. Aunque son en realidad las emociones no son tiles en la comprensin genuinos sentimientos.
Establecemos un poco diferentes criterios en el etiquetado las micro expresiones del [11] como ms entendimos el
significado emocional de algunas combinaciones de AU(s) (vase tabla 2). 3.3. Evaluacin base de datos
3.3.1. Normalizacion
Las muestras de micro-expresin se normalizaron tanto en la dimensin espacial y dimensin temporal. Para la
dimensin espacial normalizacin, una imagen frontal vertical de la cara con las caractersticas regulares fue
seleccionada como una plantilla. El primer marco de cada muestra de micro-expresin fue marcado con 68 puntos de
referencia por el modelo de forma activa (ASM) [18] (vase Fig. 4), que es un modelo estadstico de la forma de los
objetos que deforman iterativamente a CA a un ejemplo del objeto en una nueva imagen. Segn los 68 puntos de
inters, el primer fotograma de cada muestra fue alineado con la plantilla. Sera demasiado ruido si todos los cuadros
fueron alineados con la cara de la plantilla por los 68 puntos de referencia porque los hitos no estn precisamente y
confiablemente etiquetado. Asumimos que las micro expresiones (la mayora) no fueron acompaadas con
movimientos de la cabeza. Por lo tanto, Marcos subsiguientes experimentaron la misma transformacin como el
marco de la primera. Todas las imgenes de la cara fueron recortadas al tamao en pxeles 163 134. Para la
normalizacin de la dimensin temporal, utilizamos interpolacin lineal para normalizar a 70 fotogramas. Puesto que
micro expresiones varan en su duracin (Marcos), encontramos la expresin de micro con el nmero de fotograma
mximo e hizo otro micro expresiones normalizados a ese nmero.
3.3.2. Mtodo
Para la extraccin de la caracterstica usamos histogramas Local patrn binario de tres planos ortogonales (LBP-TOP)
[19] para describir las texturas locales espaciotemporal de las secuencias cara recortada. Los radios en los ejes X e Y
(ser marcado como Rx y Ry) fueron asignados a distintos valores de 1 a 4 y los radios en ejes T (marcar como Rt)
fueron asignados a distintos valores de 2 a 4. El nmero de puntos vecinos (marcar como P) en los planos XY, XT y YT
todo fue fijado como 4. SVM fue utilizado como el clasificador. Puesto que algunos tipos de muestras son pocos,
seleccionamos slo 5 clases de la expresion facial decisiones alegra, sorpresa, disgusto, represin y tensa para la
formacin y prueba. Teniendo en cuenta la desigual distribucin de los tipos de muestras y algunos tipos est
solamente muy pocos, dejar-uno-tema de Salida validacin cruzada fue empleado. Las caractersticas de LBP-TOP se
extrajeron en bloques de 5 5 o 8 8. El rendimiento de los dos experimentos se muestra en la tabla 4. El mejor
rendimiento es 61.88% cuando Rx 2 , Ry 2 , Rt 3 respectivamente en 5 5 bloques.
4. Discusin y sugerencias
All existen varios desafos en micro-expresin de reconocimiento automtico. Aqu estn algunas cuestiones en
utilizando micro-expresin base de datos y desarrollo de algoritmos de reconocimiento eficaz:
1. Normalizacin: Por lo general, todos los datos necesitan someterse a un proceso normalizacin. Muchos
mtodos de normalizacin han sido desarrollados para dimensin espacial. Sin embargo, muy pocos estudios
exploran el proceso de normalizacin para la dimensin temporal. Puesto que micro expresiones varan en su
duracin (Marcos), es necesario normalizar la dimensin temporal de micro expresiones. Aunque interpolacin
lineal podra aplicarse a esta situacin, muchos estudios revelaron que las imgenes faciales en la dimensin
temporal mienten en un mltiple. Se han desarrollado varios modelos de interpolacin basados en mltiples,
un ejemplo es el modelo de interpolacin Temporal basado en el grfico de Laplacian [14] que podra ser
utilizado para normalizar la dimensin temporal de datos micro-expresin.
2. Grandes datos: datos de dimensiones muy altas son generados a partir de una cmara de alta velocidad y
alta resolucin. Una secuencia de vdeo micro-expresin de 0,5 s, filmado a 200 fps, con una resolucin de 800
600 podra generar un archivo de datos de aproximadamente 137 MB. Frente a tales datos grandes, no es
apropiado utilizar mtodos como el PCA para proyectar esos datos dimensionales altas en espacios
dimensionales bajas porque es difcil garantizar que toda la informacin til sera preservada. Por lo tanto, es
necesario que los investigadores a desarrollar ms eciente algoritmos.
3. AU codificacin: FACS [16] da un mtodo objetivo para la cuantificacin movimiento facial en trminos de
las acciones del componente. Diferentes grupos pueden tener diferentes criterios para clasificaciones emocin
pero podran tener el mismo AU sistema de codificacin. A diferencia de expresiones faciales Posadas, para lo
cual piden gente para generar varios movimientos faciales preestablecidos, en nuestra base de datos micro
expresiones fueron sacados por los estmulos emocionales fuertes. Por lo tanto, por lo tanto es inadecuado
clasificar enrgicamente estas micro expresiones en seis categoras. Por ejemplo, AU4 (entrecejo) puede
indicar disgusto, enojo, atencin o tensa [8]. En esta base de datos lo calificamos AU4 como tenso, una
sensacin ms general. Creemos que esta clasificacin es ms plausible.4 debido a emociones diferentes
criterios en diferentes grupos de etiquetado, sugerimos que el sistema de reconocimiento de micro-expresin
automtico a-ser-desarrollado debe reconocer AUs y entonces dar una emocin estimada basada en la extensa
investigacin de FACS.
4. Teniendo en cuenta la informacin temporal: algunas personas pueden malinterpretar micro-expresin
como ordinarias expresiones faciales e intent aplicar un algoritmo de expresin facial actual a micro-
expresin. Sin embargo, el movimiento facial parcial y de baja intensidad en micro expresiones diferenciara
de ordinarias expresiones faciales y el ordenador puede etiquetar la expresin de micro como una cara
neutral puesto que las expresiones faciales sacadas en esta base de datos fueron bajas en intensidad. Sin
informacin temporal, micro expresiones son mucho ms difciles de detectar. Por lo tanto, para detectar y
reconocer micro-expresin mejor, los investigadores deben tomar en cuenta la informacin temporal.
5. La duracin de la codificacin: en el desarrollo de una base de datos micro-expresin, goteo manualmente
los fotogramas de inicio, pice y offset es consume tiempo y esfuerzo. Debido a esto, muy pocos grupos
construidos espontnea expresin micro bases de datos de investigacin. Si se desarrolla un software para
ayudar a detectar la aparicin del pice y desplazamiento Marcos, micro-expresin que recoge sera mucho
ms fcil. Si un software de tal obras, la confiabilidad sera mucho mayor en comparacin con el manual de
trabajo en qu juez dos codificadores los marcos con criterios algo diferentes, y esta diferencia puede ser
grande a travs de diferentes grupos.
6. Algunas otras preocupaciones sobre micro-expresin: micro expresiones no son slo rpido, pero tambin
sutil. Escrutinio de fotograma por fotograma es generalmente ms difcil que la observacin en tiempo real
para detectar las micro expresiones. En otra palabra, para los ojos humanos, es importante reconocer micro
expresiones informacin dinmica. Adems, la expresin facial del rpido-inicio tambin debe considerarse
como expresiones faciales. Algunas de las expresiones faciales tienen Inicio rpido pero lento desplazamiento.
Estas expresiones faciales, comparten las caractersticas fundamentales de micro expresiones, siendo
involuntarios, rpidos y tambin revela las verdaderas emociones que los participantes intentaron ocultar [8].
Por lo tanto, incluimos estas muestras como la base de datos.


5. Conclusin y trabajo futuro
En conclusin, este papel brevemente revisaron las bases de datos micro-expresin anteriores e introdujo Cmo
construimos una base micro-expresin, CASME, con orientacin psicolgica en un enfoque de elicitacin y etiquetado
emocional. Proporcionamos una evaluacin de lnea base para esta base de datos con dolor lumbar. Micro-expresin
reconocimiento plante muchos desafos y proporcionamos algunas sugerencias que podran ayudar a mejorar los
ndices de reconocimiento de algoritmos de futuros. El archivo de base de datos completa est disponible a peticin
del autor correspondiente. La base de datos es pequeo por el momento. Porque no es fcil elicitacin de
microexpresiones y codificacin manual es tiempo-consum-ing, esta base de datos slo puede ser agrandado poco a
poco. Nosotros estamos tratando de construir una nueva base de datos micro-expresin, reclutar a ms participantes
y provocan ms microexpresiones. Para la nueva versin, que puede ser llamada CASME II, registraremos las
microexpresiones a 200 fps, con mayor tamao de la cara y esperemos que recoger ms microexpresiones. Con esta
base de datos micro-expresin, los investigadores pueden obtener una mayor precisin debido a la mayor resolucin
espacial y temporal. Y podemos usar CASME II para probar si una resolucin ms alta es importante en la exactitud
del reconocimiento.

Acknowledgments
This work was supported in part by grants from 973 Program (2011CB302201), the National Natural Science Foundation of China
(61075042, 61322206, and 61379095) and China Postdoctoral Science Foundation funded project (2012M580428). We appreciate Yu-Hsin
Chen and Fangbing Qu's suggestions in language.