PROJETO DE PESQUISA

Sistema de identificação de distrações e perturbações do motorista

na condução de veículos

Projeto de Doutorado
Aluno: Rafael Alceste Berri

Coordenador e Orientador do Projeto:

Prof. Dr. Fernando Santos Osório

USP / ICMC - Instituto de Ciências Matemáticas e de Computação
CCMC - Pós-Grad. em Ciências de Computação e Matemática Computacional
Grupo de Pesquisa GRM - Grupo de Robótica Móvel
Laboratório de Robótica Móvel - LRM/ICMC-USP

São Carlos – SP
Julho/2014
Resumo
A distração ao volante é uma ação que leva o motorista a desviar a atenção
da pista por alguns segundos e representa aproximadamente metade dos casos de
acidentes no trânsito. Em rodovias federais brasileiras, cerca de 63.000 acidentes, em
2010, tiveram relação com a desatenção do motorista. As distrações do motorista
possuem três origens principais: visual (quando os olhos estão fora da estrada), mãos
(mãos fora do volante) e cognitiva (mente dispersa ou focada em outra tarefa). Este
projeto de pesquisa visa o desenvolvimento de um sistema avançado de assistência
ao condutor (ADAS) não intrusivo capaz de detectar comportamentos de condutores
de veículos em situações perigosas: de uso de celular, de sonolência e de embriaguez.
Serão pesquisados, pelo menos, dois tipos distintos de percepção e aquisição
de dados: imagens 2D e dados provenientes de sensores 3D. A pesquisa inicia-se uti-
lizando imagens 2D junto com um levantamento bibliográfico sobre atenção visual e
detecção de movimento para este tipo de entrada. No projeto, a atenção visual fun-
cionará como um filtro que simplificará a entrada de dados do sistema; já a detecção
de movimento dará apoio temporal à solução verificando e rastreando movimentos
ditos perigosos. Posteriormente objetiva-se estudar e desenvolver novas técnicas e
algoritmos de atenção visual e detecção de movimentos, aplicando-os em dados 3D,
sendo esta a principal contribuição esperada pela pesquisa.
Como resultado desta pesquisa, espera-se propor, desenvolver e aperfeiçoar
algoritmos de percepção e análise de dados espaciais (3D) descrevendo comporta-
mentos dinâmicos. Por meio do uso de técnicas de aprendizado de máquina, serão
desenvolvidos métodos para o reconhecimento de comportamentos do motorista,
que possam vir a representar um perigo na condução do veículo. Por fim, também
será estudada a possibilidade de aplicar técnicas de integração dos dados referentes
ao comportamento do motorista, juntamente com os dados referentes ao compor-
tamento do veículo, a fim de realizar uma análise mais completa da condução do
veículo.

1 Identificação do Projeto
1.1 Dados Gerais do Projeto
Proponente e Coordenador: Prof. Dr. Fernando Santos Osório
Instituição: USP – ICMC – PPG CCMC (São Carlos, SP)
Departamento de Sistemas de Computação – SSC
Laboratório de Robótica Móvel – Web: http://www.lrm.icmc.usp.br/

Título: “Sistema de identificação de distrações e perturbações do motorista na condução

de veículos”.

Palavras-Chaves: Distração do Motorista, Aprendizado de Máquina, Atenção Visual, De-

tecção de Movimento, Veículos Inteligentes.

1.2 Dados do Coordenador/Orientador

Nome: Fernando Santos Osório
Titulação: Doutor em Computação (INPG-IMAG, Grenoble – França, 1998)
Instituição: USP – ICMC – SSC (vinculado a partir de Julho/2008 como professor e pesqui-

2
sador / concursado estatutário – tempo integral e dedicação exclusiva)

Vínculo de trabalho: - RDIDP – Regime de Dedicação Integral à Docência e à Pesquisa;

- Vinculado ao Departamento de Sistemas de Computação (SSC);
- Vinculado ao Programa de Pós-Graduação em Ciências de Computa-
ção e Matemática Computacional (ingressou a partir de Dez./2008 no corpo docente deste
PPG);
- Vinculado ao INCT-SEC e ao NAP CRob-SC/USP (Centro de Ro-
bótica de São Carlos).

Web – Página Pessoal: http://www.icmc.usp.br/pessoas/fosorio/

Acesso as principais publicações - Login: “usp” / “guest”
CV Lattes: http://lattes.cnpq.br/7396818382676736
Grupo de Pesquisa: Grupo de Pesquisa GRM – Grupo de Robótica Móvel (USP/ICMC)
Laboratório LRM – Laboratório de Robótica Móvel
Áreas de atuação: Robótica Autônoma, Inteligência Artificial (Machine Learning), Proces-
samento Gráfico (Simulação Virtual e Processamento de Imagens).

1.3 Dados do Aluno/Candidato a Doutorando

Nome: Rafael Alceste Berri
Titulação: - Bacharel em Ciência da Computação pela Universidade do Estado de Santa
Catarina (UDESC) (2005);
- Mestre em Computação Aplicada pela Universidade do Estado de Santa Cata-
rina (UDESC) (2014) (Bolsista CAPES);
- Atualmente é aluno do curso de Doutorado em Ciências de Computação e Ma-
temática Computacional no ICMC/USP (desde Março/2014).
CV Lattes: http://lattes.cnpq.br/9066840346838276
Instituição de Origem: ICMC-USP.
Área de Atuação na Pós-Graduação junto ao PPG-CCMC:
- Grupo de Pesquisa GRM (Grupo de Robótica Móvel);
- Laboratório de Robótica Móvel - LRM.

2 Introdução
2.1 Contextualização e Motivação
A distração ao volante (1, 2), ou seja, uma ação que leve o motorista a desviar
a atenção da pista por alguns segundos, representa aproximadamente metade dos
casos de acidentes no trânsito. Em rodovias federais brasileiras, cerca de 63.000
acidentes, em 2010, tiveram relação com a desatenção do motorista (3).
As distrações do motorista possuem três origens principais: visual (quando os
olhos estão fora da estrada), mãos (mãos fora do volante) e cognitiva (mente dispersa
ou focada em outra tarefa) (4).
O objetivo desta pesquisa é propor um sistema avançado de assistência ao
condutor (ADAS) não intrusivo capaz de detectar comportamentos de condutores
de veículos em situações perigosas: de uso de celular, de sonolência e de embriaguez.
Nos últimos anos, o uso do celular, vem se mantendo frequente entre os con-
dutores. A cada instante entre 4% e 6% dos automóveis em rodovias americanas
estão sendo conduzidos por pessoas falando ao celular (5). Falar ao celular enquanto

3
dirige aumenta o risco de colisão de 4 a 6 vezes (6, 7). Em alguns países permite-se
efetuar ligações telefônicas usando hands-free (fones de ouvido ou viva-voz), porém
seu uso distrai o motorista de modo similar à utilização do celular ao ouvido (8).
Nota-se uma redução no processamento de informações visuais quando pessoas estão
em conversas telefônicas (9) e um aumento significativo da distração cognitiva (10).
A sonolência causa cerca de 100.000 acidentes nas estradas dos Estados Unidos,
segundo a National Highway Traffic Safety Administration (NHTSA), o que resulta
em mais de 1.500 mortos e 71.000 feridos ao ano. Isso equivale a 1, 6% de todos os
acidentes e de 3, 6% dos acidentes fatais (11).
Motorista embriagados causaram 1.800 mortes nas estradas americanas em
2008, número que representa 30% do total de mortes causada por distrações neste
período (12). Um estudo realizado em 143 cidades brasileiras em 2009 indicou que
beber e dirigir é aceitável para 35% da população (13). Pesquisa realizada em bares
de Porto Alegre constatou que 51% dos motoristas frequentadores desses lugares
iriam dirigir seus veículos após a ingestão de álcool e que apenas 9% deles já haviam
sido abordados, alguma vez na vida, pela polícia para realizar o bafômetro (14).
Leis vêm sendo criadas nos últimos anos em muitos países com o intuito de
minimizar estes números. Porém, as leis e a fiscalização não são capazes de impe-
dir que motoristas falem ao celular, ou dirijam por longos períodos, ou mesmo, se
julguem aptos a desempenhar a direção do veículo.
O problema a ser tratado será o desenvolvimento de processos e ferramentas
para se adquirir e processar dados, que por sua vez, permitam analisar o compor-
tamento e o modo de condução do veículo pelo motorista. Esta pesquisa irá buscar,
por meio computacional e não intrusivo, detectar situações de risco de uso de celular,
de sonolência e de embriaguez, contribuindo assim para avançar o estado da arte de
sistemas de apoio à direção e para minimizar o número de acidentes dessas origens.

2.2 Objetivos
2.2.1 Geral
O objetivo geral deste trabalho é pesquisar e desenvolver técnicas avançadas
para análise do comportamento de condutores de veículos e identificar situações
de uso de celular, sonolência e embriaguez, permitindo assim, a construção de um
sistema avançado de assistência ao condutor (ADAS) para inibir estas situações de
risco.

2.2.2 Específicos
∙ Buscar e desenvolver algoritmos de atenção visual que permitam focar em ele-
mentos da cena que se diferenciam e destacam de uma situação convencional;
∙ Adaptar algoritmos de detecção de movimentos que tradicionalmente são ba-
seados em imagens (2D) para o uso de sensores 3D;
∙ Pesquisar, desenvolver e aperfeiçoar algoritmos de percepção e análise de dados
3D descrevendo comportamentos dinâmicos;
∙ Desenvolver e aperfeiçoar algoritmos de atenção espacial e de análise da dinâ-
mica da cena (por exemplo, algoritmos baseados em fluxo ótico e na análise
de densidade e da variação da ocupação espacial em grades de ocupação 3D);
∙ Pesquisar técnicas de integração dos dados referentes ao comportamento do
motorista, juntamente com os dados referentes ao comportamento do veículo

4
 (por exemplo, usando uma unidade inercial - IMU);
∙ Buscar trabalhar com sensores inteligentes 3D do estado da arte;
∙ Escolher características que, extraídas de dados 3D (point clouds) adquiridos
no interior do veículo, permitam a identificação das situações de riscos por meio
de algoritmos de aprendizado de máquina (classificação e reconhecimento de
padrões);
∙ Buscar novas técnicas de segmentação e tracking em 3D.

2.3 Aplicações e Resultados Esperados

A aplicação resultante da pesquisa foca no comportamento do motorista. A
partir do sistema espera-se identificar momentos em que o motorista não está apto,
por motivo de uso de celular, sonolência e embriaguez, a desempenhar suas funções
de maneira segura a ele e aos demais usuários das estradas. A ideia é seguir os
movimentos do motorista e, uma vez identificado um estado de risco, pode-se acionar
alertas sonoros para que o motorista volte a um estado mais seguro (no caso do uso
do celular e sonolência); ou avisar diretamente a polícia/central de uma empresa
de transportes da direção perigosa; ou então, ativar outros sistemas presentes no
veículo para que assumam o controle do mesmo (como por exemplo, ativar um
sistema redutor da velocidade do veículo).

2.4 Apresentação
A apresentação deste projeto de pesquisa se dá da seguinte forma: ferramentas
de suporte à solução são definidas na Seção 3; na Seção 4 trabalhos relacionados são
mostrados; trabalhos anteriores da equipe relacionados ao tema são apresentados na
Seção 5; a Seção 6 contém alguns métodos e equipamentos que serão testados quanto
a sua viabilidade para aplicação no sistema final; as principais contribuições ao final
da pesquisa são apresentadas na Seção 7; na Seção 8 as condições de execução do
projeto e infraestrutura são mostradas; e por fim o cronograma das atividades é
apresentado na Seção 9.

3 Referencial Teórico
Nesta seção apresentam-se conceitos necessários para a compreensão do foco
da pesquisa pretendida.

3.1 Atenção Visual

A atenção visual é uma característica presente em seres vivos, dotando-os
da habilidade de identificar de forma rápida pontos de interesse, reconhecendo as-
sim possíveis alimentos ou perigos iminentes (15). O sistema de visão humano, por
exemplo, recebe entre 108 e 109 bits por segundo de informações (16). Por meio da
atenção o cérebro controla e ajusta o processamento da informação, focando no que
realmente importa, conseguindo assim, reduzir a quantidade de informação a ser
processada (17).
O mecanismo da atenção divide-se em duas partes principais (18):

∙ Exógeno (Bottom-up): opera estimulado diretamente pelos dados de entrada.

É totalmente involuntário e rapidamente salienta características visuais poten-

5
 cialmente importantes, como por exemplo: o movimento de um predador ou
regiões de cores distintas.
∙ Endógeno (Top-down): o cérebro induz a procura por uma ou várias caracte-
rísticas desejáveis no momento. Foca em estratégias cognitivas de longo prazo.
Caso o animal está com fome tende a buscar pontos coloridos em busca de
alimento. Caso suspeite de algum predador na área buscará por animais qua-
drúpedes.

A atenção visual se dá, portanto, por meio da integração de estímulos exógenos

(involuntários) e endógenos (voluntários). Esta habilidade vem sendo estudada pela
comunidade científica, sendo propostos algoritmos com intuito de dotar sistemas
computacionais a reduzir seus dados de entrada a informações relevantes.
A tese de Benicasa (19, 20) trabalha a atenção visual em imagens (2D), o
objetivo nessa pesquisa é expandi-lo para tratamento de dados 3D e movimento
(análise em sequência de quadros consecutivos).

3.2 Reconhecimento de Padrões

O Reconhecimento de Padrão (RP) preocupa-se com a detecção automática
de regularidades (padrão) nos dados por meio da utilização de algoritmos de com-
putador que possibilitam a classificação dados em classes ou categorias distintas
(21, 22). RP pode ser integrado a sistemas de Visão Computacional dotando-os da
capacidade de classificar (reconhecer) objetos ou padrões capturados.
Nas subseções a seguir, ferramentas de suporte a classificação em RP são
apresentadas.

3.2.1 Máquina de Vetor de Suporte (SVM)

A SVM (Máquina de Vetor de Suporte) foi introduzida por Vapnik em 1995 e
é uma ferramenta de classificação binária (23). Considerando um conjunto de dados
{(𝑥1 , 𝑦1 ), · · · , (⃗𝑥𝑛 , 𝑦𝑛 )} de entrada 𝑥𝑖 ∈ 𝑅𝑑 (sendo 𝑑 o espaço dimensional) e saída
𝑦𝑖 ∈ {−1, +1}. A ideia central da técnica é gerar um hiperplano ótimo para separar
duas classes de objetos. O hiperplano é escolhido para maximizar separação entre
das duas classes, gerada com base em vetores de suporte (24). A fase de treinamento
consiste na escolha dos vetores de suporte entre os dados de treinamento previamente
rotulados. Na Figura 1, tem-se uma visão geral do funcionamento do SVM.

Margem

Vetores de
Suporte

Hiperplano de
Separação

Figura 1 – Esboço do SVM. Adaptado de (25).

6
 Com a SVM é possível utilizar algumas funções de kernels para tratar da-
dos não lineares (não possuem margem de separação linear entre classes). A função
de kernel transforma os dados originais em um espaço de características de alta
dimensionalidade, onde as separações não lineares podem se apresentar sob forma
linear (26). Dentre os kernels existentes pode-se citar: Linear (Equação 1), Poli-
nomial (Equação 2), Radial basis function (Equação 3) e Sigmoide (Equação 4).
A escolha de uma função adequada (mais acurada) e de parâmetros (𝛾, 𝑑𝑒𝑔𝑟𝑒𝑒 e
𝑐𝑜𝑒𝑓 0) corretos são importantes passos para atingir a alta acurácia do sistema de
classificação.

𝐾(⃗𝑥𝑖 , ⃗𝑥𝑗 ) = ⃗𝑥𝑖 · ⃗𝑥𝑗 (1)

𝐾(⃗𝑥𝑖 , ⃗𝑥𝑗 ) = (𝛾(⃗𝑥𝑖 · ⃗𝑥𝑗 ) + 𝑐𝑜𝑒𝑓 0)𝑑𝑒𝑔𝑟𝑒𝑒 , 𝛾 > 0 (2)
2
𝐾(⃗𝑥𝑖 , ⃗𝑥𝑗 ) = 𝑒−𝛾‖(⃗𝑥𝑖 +⃗𝑥𝑗 )‖ , 𝛾 > 0 (3)
𝐾(⃗𝑥𝑖 , ⃗𝑥𝑗 ) = 𝑡𝑎𝑛ℎ(𝛾(⃗𝑥𝑖 · ⃗𝑥𝑗 ) + 𝑐𝑜𝑒𝑓 0) (4)
Após a escolha da função de kernel adequada para o classificador, pode-se
iniciar o seu treinamento. Na Equação 5, precisa-se maximizar os valores do vetor
𝛼
⃗ . Este é um problema em otimização de programação quadrática (27) e sujeito as
restrições (para qualquer 𝑖 = 1, ..., 𝑛, sendo 𝑛 a quantidade de dados de treinamento):
0 ≤ 𝛼𝑖 ≤ 𝐶 e 𝑛𝑖=1 𝛼𝑖 𝑦𝑖 = 0. O parâmetro de penalização 𝐶 é um controle da
∑︀

relação entre a complexidade do algoritmo e o número de amostras do treinamento

classificados erroneamente.
𝑛 𝑛
∑︁ 1 ∑︁
𝑊 (⃗
𝛼) = 𝛼𝑖 − 𝛼𝑖 𝛼𝑗 𝑦𝑖 𝑦𝑗 𝐾(⃗𝑥𝑖 , ⃗𝑥𝑗 ) (5)
𝑖=1
2 𝑖,𝑗=1

O cálculo do limiar 𝑏 se dá por meio da Equação 6. Deve-se calcular para todos

os vetores de suporte ⃗𝑥𝑗 (0 ≤ 𝛼𝑗 ≤ 𝐶) e adota-se a média de todos os cálculos como
valor de 𝑏.
𝑙
∑︁
𝑏 = 𝑦𝑗 − 𝑦𝑖 𝛼𝑖 𝐾(⃗𝑥𝑖 , ⃗𝑥𝑗 ) (6)
𝑖=1

Para executar a classificação de um novo vetor de característica ⃗𝑥 utiliza-se a

Equação 7, sendo 𝜆𝑖 = 𝑦𝑖 𝛼𝑖 e a função matemática 𝑠𝑖𝑔𝑛 responsável pela extração
do sinal de um número real, apresentando −1 para valores negativos, 0 para valor
igual a zero e +1 para valores positivos. Na Figura 2, mostra-se, de maneira geral,
a arquitetura da SVM.
∑︁
𝑓 (⃗𝑥) = 𝑠𝑖𝑔𝑛( 𝜆𝑖 𝐾(⃗𝑥, ⃗𝑥𝑖 ) + 𝑏) (7)
𝑖

3.2.2 Multilayer Perceptron (MLP)

Redes Neurais são sistemas computacionais cuja estrutura é inspirada por
estudos do cérebro humano. Em 1958, Rosenblatt inventou o perceptron que é uma
rede neural de alimentação simples (29). Com um perceptron pode-se resolver pro-
blemas linearmente separáveis. Perceptrons com mais de uma camada de ligações
variavelmente ponderadas são referidos como perceptrons multicamadas (MLP) (30).

7
 f(x) = sgn( + b) classificação

1 2 3 4 pesos

K K K K comparação (kernel)

vetores de suporte
7 1 4 1
x1 ... x4

1 entrada do vetor x

Figura 2 – Arquitetura da SVM. A função de kernel 𝐾 determina o tipo de clas-

sificador (ex: Polinomial). Todos os outros parâmetros são encontrados
durante o treinamento. (28)

A rede MLP pode resolver problemas não lineares e é uma ferramenta de classificação
multi-classes.
Existem três tipos de camadas presentes em uma rede MLP (30). A primeira
camada é responsável por receber os dados, não realizando nenhum tipo de processa-
mento e seu número de neurônios é igual a quantidade de variáveis (características).
A última camada é denominada camada de saída, pois é a camada responsável por
retornar a resposta calculada pela rede. A quantidade de neurônios desta camada
depende da quantidade de bits de saída da rede. Entre estas pode haver uma ou mais
camadas intermediárias (ocultas), o número depende da complexidade do problema.
Na Figura 3, é mostrado um exemplo de uma rede MLP com 4 neurônios na camada
de entrada, 3 neurônios na camada intermediária e 2 neurônios na camada de saída.

Camada de
entrada
x1 Camada
Intermediária
Camada de
Saída
x2 y1

x3 y2

x4

Figura 3 – Um diagrama esquemático de uma rede de três camadas.

Individualmente, um neurônio tem as ligações de entrada (que recebem da ca-

mada anterior) e ligações de saída (passa a resposta para a camada seguinte). Cada
valor de entrada do neurônio é multiplicado pelo seu respectivo peso e os resultados
são somados e adicionados ao bias (peso do neurônio) (29). A soma resultante é
transformada utilizando uma função de ativação (𝑓 (𝑥)). Nas Equações 8, 9 e 10 são
mostradas, respectivamente, as funções de ativação: Identidade, Sigmoide Simétrica
e Gaussiana. A camada de entrada utiliza a função de ativação Identidade, pois esta
camada possui função apenas de propagação dos valores de entrada (características)

8
para a camada seguinte. A escolha da função ativação correta e dos parâmetros (𝛼
e 𝛽) ajustados ao problema, nas demais camadas, levam a alta acurácia do classifi-
cador.

𝑓 (𝑥) = 𝑥 (8)
𝛽(1 − 𝑒−𝛼𝑥 )
𝑓 (𝑥) = (9)
(1 + 𝑒−𝛼𝑥 )
2
𝑓 (𝑥) = 𝛽𝑒−𝛼𝑥 (10)
Uma rede MLP precisa ser treinada para estar apta a classificar. Um dos
treinamentos possíveis é o denominado backpropagation (31). Este processo visa
descobrir os pesos que melhoram a acurácia da rede e se dá pela redução gradual
do erro da rede. Os erros são estimados utilizando-se os valores de treinamentos já
previamente rotulados.

3.3 Considerações
A atenção visual visa identificar regiões da cena relevantes (segmentação)
com relação ao comportamento do motorista. Por meio destas regiões destacadas
objetiva-se extrair características que permitam o monitoramento do motorista.
Espera-se que a importante tarefa de rotular a atividade em uso do celular, so-
nolência, embriaguez e atividade normal seja executada por classificadores SVM ou
MLP após treinamento.

4 Trabalhos Relacionados
Nesta seção, trabalhos que se relacionam com a pesquisa são apresentados.

4.1 Sistemas Avançados de Assistência ao Condutor

Advanced Driver Assistance Systems (ADAS) ou Sistemas Avançados de As-
sistência ao Condutor são tecnologias destinadas a auxiliar o motorista em sua tarefa
de conduzir o veículo. Vários desses sistemas, que hoje estão sendo pesquisados, são
baseados em Visão Computacional (32). A amplitude do ADAS vai além do pró-
prio veículo, pois deve ser considerado como o conjunto dos sistemas e subsistemas
que permitam automatismos das autoestradas (33). Assim, o propósito do ADAS
é melhorar a segurança do veículo e, consequentemente, a segurança rodoviária,
reduzindo ou, até mesmo, eliminando possíveis erros do condutor (34). Com sua uti-
lização obteve-se uma significativa redução no número de vítimas fatais em acidentes
rodoviários, nos últimos 30 anos. Houve redução, em países europeus, entre 30% e
40% nos acidentes fatais em decorrência da implantação de tais sistemas (35).
ADAS pode ser dividida em subcategorias conforme sua função de apoio à
direção. Uma categorização que pode ser feita é a seguinte (36):

Controle Lateral: Estes sistemas procuram prever saídas de pista não intencionais
ou mudanças de faixa perigosas. Pode-se citar como exemplos:
∙ Aviso de Saída de Faixa (Lane Departure Warning): é utilizado na
ajuda aos motoristas em manter-se dentro da faixa de rodagem. Sua fun-
ção, portanto, é avisar quando o veículo está saindo da pista atual de

9
 maneira inadequada ou perigosa, verificando-se para tanto objetos pró-
ximos e o acionamento das luzes de sinalização (indicando a intenção de
troca de faixa) (37). Estes sistemas são projetados para minimizar coli-
sões causadas principalmente por: erro do motorista, distrações ou mesmo
sonolência.
∙ Ponto Cego (Blind Spot): monitora a área lateral ao veículo, local onde
os condutores não conseguem ver pelos retrovisores exteriores (38). Se
o sistema detectar um veículo nesta região, sinais acústicos e/ou visuais
alertam o motorista do risco de colisão.
Controle Longitudinal: Abrange controle de velocidade, de distâncias e tempos
de reação. Exemplos desses tipos de aplicação são:
∙ Controle de velocidade de Cruzeiro Adaptativo (Adaptive Cruise
Control): ajusta automaticamente a distância para o veículo à frente e a
velocidade, utilizando-se de sensores para medir a distância longitudinal
entre os veículos (39). Seu objetivo é melhorar o conforto na condução,
reduzir acidentes de trânsito e aumentar o fluxo de tráfego (velocidade
média).
∙ Assistente de Luz Alta (High-beam Assist): o sistema detecta a luz
dos veículos que circulam em sentido contrário ou os que estão à frente,
alternando entre luz alta e média (40).
∙ Reconhecimento de Sinais de Trânsito (Traffic Sign Recognition):
tem por objetivo ajudar o motorista a detectar e classificar os sinais de
trânsito que definem perigos e limitações das estradas (41). Com este
sistema pode-se reconhecer, por exemplo, o limite de velocidade ou curvas
acentuadas à frente.
Auxílio ao Estacionamento e Marcha Ré: São sistemas de detecção de obstá-
culos em situações de baixa velocidade. O Assistente de Estacionamento (Park
Assist) é um exemplo de abordagem dessa categoria, sendo um recurso que per-
mite ao veículo estacionar sozinho, envolvendo direção automática e controle
de velocidade (42).
Melhoramento da Visão: Dá suporte ao motorista em situações de visibilidade
reduzida. Como exemplo, pode-se citar a Visão Noturna (Night Vision) cujo
objetivo é ampliar a capacidade do motorista em visualizar obstáculos du-
rante as horas escuras do dia, utilizando-se de câmeras sensíveis a radiação
infravermelha (39). Enquanto a maioria dos faróis dos automóveis pode ilumi-
nar a estrada cerca de 60 metros à frente do veículo, este sistema permite aos
condutores obter informações sobre o tráfego de até 150 metros de distância.
Anti-colisão: São sistemas que visam evitar ou minimizar os possíveis problemas de
um acidente em curso, atuam quando o motorista pode não ter mais condição
de reação. Como exemplos dessa categoria de ADAS, pode-se citar:
∙ Airbags: São sacos inflados, muito rapidamente, com ar no momento que
ocorre a colisão do veículo (43). Os airbags mais comuns são os frontais
e laterais que protegem os ocupantes do veículo.
∙ Aviso de Colisão Frontal (Forward Collision Warning): o sistema for-
nece avisos (visuais, auditivos ou vibrações) ao condutor quando detec-
tado um provável acidente iminente com o veículo à frente (44).
∙ Detecção de Objeto (Object Detection): visa detectar objetos, os mais
diversos a se colocar na trajetória do veículo. Um exemplo desse tipo de

10
 abordagem é a detecção de pedestres a fim de alertar o condutor. Em
alguns casos pode ainda executar frenagem automática ou mesmo abrir
airbags externos (no caso de uma colisão inevitável) (45).
Monitoramento da Superfície da Estrada: Tem como principal objetivo aler-
tar o condutor em caso de más condições da pista. O sistema pode emitir
avisos ou estar diretamente relacionado ao sistema de controle de velocidade,
por exemplo, ajudando o motorista a manter-se na velocidade apropriada para
as condições atuais da pista.
Monitoramento do Motorista: Concentra-se no estado fisiológico e comporta-
mental do motorista, informando quando a tarefa de dirigir não pode ser ade-
quadamente executada pelo condutor. O monitoramento do estado condutor
pode ser dividido em duas ramificações principais: a detecção de distrações e
a identificação de sonolência (46, p. 23). Este projeto de pesquisa direciona-se
para geração de soluções para esta categoria de ADAS.

Na Figura 4, são mostrados vários sistemas ADAS e a possível localização de

seus sensores ou câmeras de aquisição de vídeo do automóvel. Pode-se ainda ver que
os sistemas de Aviso de Saída de Faixa, Assistente de Luz Alta, Reconhecimento de
Sinais de Trânsito, Aviso de Colisão Frontal e Detecção de Objeto podem utilizar
uma mesma entrada de vídeo, partindo-se de uma câmera montada frontalmente.
Embora, cada um dos sistemas tenha diferentes exigências de resolução e de proces-
samento.
Aviso de Saída de Faixa
Assistente de Luz Alta
Reconhecimento de Sinais de Trânsito Assistente de
Aviso de Colisão Frontal Estacionamento
Detecção de Objeto

Controle de Velocidade
de Cruzeiro Adaptativo

Monitoramento
Visão Noturna Ponto Cego do motorista

Figura 4 – Visão de alguns Sistemas Avançados de Assistência ao Condutor (ADAS).

Adaptado de (47).

Nas subseções seguintes encontram-se trabalhos relacionados ao monitora-

mento do motorista e ao foco desta pesquisa.

4.2 Detecção de Celular

O trabalho feito por Veeraraghavan et al. tem por objetivo alcançar a detecção
e classificação de atividades do condutor de um automóvel utilizando um algoritmo
que detecta movimento relativo e da segmentação da pele do motorista (48). Por-
tanto, seu funcionamento depende de se obter um conjunto de frames do motorista.
Sua arquitetura é definida com uma câmera posicionada lateralmente (em relação
ao motorista) dentro do veículo, o que dificulta ou até mesmo pode impossibilitar a
existência de passageiros ao lado do motorista.
A abordagem de Yang et al. utiliza-se sinais sonoros de alta frequência emitidos
por um equipamento de som, rede Bluetooth e de um software em execução no celular

11
para a captura e processamento dos sinais. O objetivo dos avisos sonoros é estimar
a posição em que se encontra o celular. Em outras palavras, se é o motorista quem
está utilizando o mesmo ou algum outro passageiro do veículo. A proposta obteve
precisão de classificação de mais de 90% (49). No entanto, o sistema depende, para
operação, de um software habilitado continuamente no celular pelo motorista. A
grande vantagem da técnica é o seu funcionamento mesmo utilizando o celular com
fones de ouvido (Hands-free).
Enriquez et al. estudam formas de segmentar a pele. O algoritmo, apresentado
pelos autores, analisa dois espaço de cores, YCbCr e o LUX, utilizando as coordena-
das CR e U, especificamente (50). A grande vantagem do algoritmo é a possibilidade
de utilização em uma câmera simples (webcam) para aquisição da imagem.
Outra proposta apresentada por Watkins et al. é a de identificar autonoma-
mente comportamentos distraídos do motorista associados a mensagens de texto em
celular. A abordagem utiliza um telefone celular programado para registrar toda e
qualquer digitação efetuada e, por meio de análise do histórico de atividades, cons-
tatar a ocorrência de distrações (51).
Além destes trabalhos foi feito um estudo, do autor deste projeto de pesquisa,
sobre a detecção de celular (52). Os detalhes do estudo encontram-se na Seção 5.1.

4.3 Detecção de Sonolência

Entre os trabalhos da área, destaca-se a abordagem de Masala e Grosso (53),
baseada em classificadores de redes neurais (sendo necessário, portanto, o treina-
mento prévio), a partir de imagens de uma única câmara posicionada frontalmente
ao condutor. O método mostrou-se mais eficiente na identificação da atenção do
motorista e menos eficiente para a fadiga.
Outro sistema é apresentado por Lenskiy e Lee (54), no qual, efetua segmen-
tação do condutor por cor da pele e utiliza o SURF (Speeded Up Robust Feature)
(55) como modelo de extração de características faciais, utilizadas na detecção do
estado do olho.
O algoritmo proposto por Kumar et. al. (56) utiliza morfologia matemática na
segmentação dos olhos do motorista, sendo a detecção do estado de olho, como sendo
aberto ou fechado, possível com auxílio da utilização do filtro de Gabor (distribuição
de frequência espacial local).
Há ainda um estudo intrusivo de Wei e Lu (57), no qual a atividade cerebral
é analisada no sentido de se estabelecer associação ao piscar dos olhos. Algumas
montadoras já disponibilizam sistemas desta natureza, porém de forma proprietária,
fechada ou de difícil reprodutibilidade.
Além destes trabalhos foi desenvolvido um sistema, pelo autor deste projeto,
sobre a detecção de sonolência (58). A Seção 5.2 trás detalhes dessa abordagem.

4.4 Detecção de Embriaguez

A solução apresentada por Dai et al. (59) foca na detecção de direção perigosa
efetuada por um motorista embriagado. A técnica depende de um programa insta-
lado no celular, sendo obrigatório possuir um acelerômetro e sensor de orientação,
que extrai características do modo de direção do motorista e os compara com um tí-
pico motorista embriagado. O sistema pode alertar a polícia local automaticamente
por chamada telefônica.

12
 O sistema proposto por Carroll et. al. (60) verifica o teor de álcool no san-
gue do motorista por meio de sensores transdérmicos incorporados ao volante do
veículo. Estando acima de um limiar o sistema impede o funcionamento do veículo.
A medição do teor de álcool é feita por algoritmos neurais previamente treinados
a receber as informações dos sensores. Já a proposta de Edmonds III e Hopta (61)
funciona de forma similar, porém, o teor de álcool é medido pela intensidade dos
comprimentos de ondas que emergem do dedo do condutor. Um microprocessador
correlaciona a intensidade coletada com o teor de álcool. Para garantir que o dedo
do principal condutor do veículo está sendo analisado, o sistema ainda identifica a
impressão digital.
O sistema de detecção de motorista embriagado desenvolvido por Haile em
1987 (62) e aprimorado em 1992 (63) utiliza-se de um caminho entre sensores por
onde o motorista precisa conduzir o veículo. Os sensores são portáteis, ocos e devem
ser posicionado sobre o solo. Quando o pneu do veículo fica sobre um sensor seu
volume interno é reduzido e lâmpadas de sinalização são acionadas, ou mesmo, outros
aparelhos, indicando assim, a inaptidão do condutor.

5 Experiência prévia
Como experiências prévias, do autor deste projeto, no desenvolvimento de
ADAS constam dois trabalhos que utilizam uma câmera passiva frontal ao motorista
e outro trabalho utilizando o sensor 3D Microsoft Kinect para interação robô/pessoa.
Nas subseções seguintes os trabalhos são apresentados.

5.1 Detecção de celular na direção

O sistema de detecção de celular é resultante da dissertação de mestrado inti-
tulada “Sistema de visão computacional para detecção do uso de telefones celulares
ao dirigir” (52, 64). Baseia-se na segmentação de pele do motorista e na extração
de duas características: o percentual de pele nas regiões em que habitualmente a
mão/braço do motorista estaria ao usar celular e cálculo do momento de Inércia
(primeiro Momento de HU) (65) usado para identificar a forma da segmentação.
Estas características permitem detectar o uso de celular durante o ato de dirigir um
veículo. Utilizou-se um conjunto de imagens de treinamento com pessoas em frente
para a câmera, com 100 imagens positivas (com celular) e 100 imagens negativas
(sem celular) para treinamento de classificadores.
Testaram-se algoritmos classificadores como: Máquina de Vetor de Suporte
(SVM) com os kernels Linear, Polinomial, RBF e Sigmoide (ver Seção 3.2.1); e
redes neurais Perceptron Multi-Camadas (MLP) utilizando as funções de ativação
Sigmoide e Gaussiana (ver Seção 3.2.2). O conjunto que alcançou a mais alta acu-
rácia média foi o SVM/Polinomial, atingindo a taxa de 91, 57% para as imagens do
conjunto de treinamento.
Fizeram-se testes com cinco vídeos em ambiente real e a acurácia média obtida
após o processamento de todos os quadros pelo SVM/Polinomial é de 79, 36%. Um
segundo experimento utilizou os vídeos em intervalos de tempo de 3 segundos. O
intervalo onde ao menos 65% dos quadros são preditos como “com celular” é decla-
rado o uso do celular. A acurácia do sistema utilizando os intervalos é de 87, 43%
com SVM/Polinomial.

13
 Utilizando-se o classificador e as características para detecção do celular foi
possível o desenvolvimento de um sistema em tempo real. O sistema utiliza pro-
cessamento paralelo (multi-thread), sendo: uma thread para aquisição da imagem,
quatro threads para processamento dos quadros e uma thread para exibir o resul-
tado do processamento em tela. O sistema opera processando ao menos 6 quadros
por segundo em um computador Intel i5 2.3GHz CPU, 6.0GB RAM e sistema ope-
racional Lubuntu 12.04. Na saída do sistema, a imagem adquirida é alterada para
ilustrar o resultado do processamento. No centro esquerdo é acrescentada uma barra
de progresso vertical do percentual histórico dos quadros com celular no período (3
segundos) anterior. Quando o percentual de quadros com celular estiver acima ou
igual a 65% a cor vermelha é empregada na barra vertical. A cor vermelha indica
uma situação risco e, em uma situação real, deve-se acionar um aviso sonoro. Na
Figura 5, mostra-se uma amostragem sequencial de quadros de saída do sistema.

Figura 5 – Amostragem de quadros de saída do sistema em tempo real mostrando-se

um quadro em cada segundo (15 segundos sequenciais).

5.2 Detecção de sonolência do motorista

Foi elaborado um artigo sobre detecção de sonolência do motorista, intitulado
“Detecção automática de sonolência em condutores de veículos utilizando imagens
amplas e de baixa resolução” (58). O objetivo central desse trabalho foi o de apresen-
tar uma técnica de reconhecimento, baseado no estado dos olhos (aberto ou fechado)
de um motorista ao longo de um período de tempo. Sugerindo uma alternativa sim-
ples, com uma câmera de baixa resolução para os padrões atuais (entre 768 × 480
e 960 × 480), e um computador de carro (Car PC), suficientemente poderoso para
garantir o processamento dos algoritmos em tempo real.
O artigo apresenta três fases necessárias à detecção de sonolência: (i) a detec-
ção do motorista em si; (ii) detecção de seus olhos; e a (iii) verificação do estado
dos olhos.
Para a localização do motorista e detecção dos olhos, foram utilizados de-
tectores conhecidos por Haar-like features e adaboost previamente treinados para a
localização destes objetos (66). O algoritmo deve adotar a maior face detectada na

14
imagem como sendo a face do motorista, por ser a pessoa mais próxima da câmera.
A detecção dos olhos ocorre em duas partes: primeiramente, localiza-se a região dos
olhos; feito isto, localizam-se os olhos individualmente.
Por fim, para detectar o estado dos olhos (aberto ou fechado) utiliza-se a ideia
de que, após uma normalização da imagem, a parte mais escura da pupila é envolvida
em uma região mais clara (67), representando o olho aberto, e uma grande região
mais clara ou escura quando o olho estiver fechado. Em termos computacionais,
a identificação do olho aberto baseia-se em uma pequena região escura envolvida
por uma grande região de níveis maiores do que zero. A Figura 6 ilustra essas
características. O algoritmo resume-se em quatro partes principais: preparação da
imagem, segmentação da região do olho, avaliação da condição de olho aberto ou
fechado e, por fim, análise da sequência de quadros.

(a)

(b)

Figura 6 – Detecção de sonolência. (a) Olho aberto. (b) Olho fechado.

Sabe-se que, para haver um estado de sonolência, o fechamento ocular deve

se prolongar por cerca de 6 segundos (68). Pode-se, portanto, observar o número
de quadros em que o motorista permanece com olhos fechados. Conhecendo o 𝐹 𝑃 𝑆
(Frames per second ou quadros por segundo) do vídeo em questão, é possível cal-
cular a permanência dos olhos fechados. O número de quadros (𝑁 ) que precisam
ser pesquisados, para um tempo desejado (𝑡), em segundos, para afirmar que um
motorista está sonolento, é dado pela equação 𝑁 = 𝐹 𝑃 𝑆 × 𝑡.
Para promover confirmação, é interessante ainda adotar o Percent Eye Closure
(PERCLOS) (69) que é o percentual no qual os olhos permanecem fechados em um
intervalo de tempo. Usualmente, assume-se a sonolência se houver olhos fechados
em 80% ou mais dos quadros.
De modo a validar o sistema apresentado, criou-se um vídeo, em ambiente
controlado, com ocorrência de olhos fechados, sendo identificados corretamente em
96,67% dos casos. Os olhos abertos, por sua vez, tiveram índice de acerto de 80,83%.
Os casos de sonolência do motorista foram precisamente detectados em todas as
ocorrências.

5.3 Uso do Kinect

O artigo intitulado “Telepresence Robot with Image-based Face Tracking and
3D Perception with Human Gesture Interface using Kinect Sensor” (70) foi ela-
borado, onde, utiliza um sensor Kinect para realizar interface entre um humano
e um robô. Primeiramente, usando a camera do Kinect (Webcam) e técnicas de
processamento de imagem, é possível detectar a face humana, permitindo assim
que o robô rastreie a face da pessoa mais próxima, permanecendo próximo dela e
reposicionando-se em uma melhor posição para a interação. Então, é possível, para
o robô, encontrar as mãos usando o Sensor 3D Kinect (Depth Image), como exemplo
da Figura 7, e assim reconhecer gestos/comandos da pessoa.

15
Figura 7 – Exemplo da localização da face e mãos de uma pessoa utilizando sensor
3D Microsoft Kinect. O círculo azul e vermelho mostram a respectiva
posição da mão direita e esquerda.

5.4 Considerações
A continuidade do estudo de detecção de celular é importante pelo fato do
sistema desenvolvido necessitar de aquisição em cores da imagem, o que o deixa
dependente de iluminação. Em períodos noturnos, por exemplo, necessitaria de uma
iluminação incidindo no rosto do motorista, podendo prejudicar a condução do veí-
culo. Outro ponto relevante é o sol que satura regiões onde incide dificultando a
segmentação da pele por cor.
O estudo prévio de detecção de sonolência necessita de aprimoramentos. Pode-
se adaptá-lo para período noturno já que, sua entrada é em níveis de cinza, mas sua
principal dificuldade é em verificar o estado dos olhos quando o motorista vira sua
cabeça para os lados, o que é comum ao dirigir.
É importante, portanto, buscar novos métodos para ampliação e melhoramento
do sistema. Sensores 3D, como Kinect, podem suprir a dependência de iluminação
já que possui iluminação própria, e evita a dependência da cor. Trabalhando com
dados 3D ganha-se mais informações, o que leva a incorporações de mais caracterís-
tica destinada a detecção das distrações, como por exemplo, a queda da cabeça do
motorista como indicação de sonolência.
Além disto, também consideramos a possibilidade de adquirir dados referentes
ao comportamento do carro, obtidos através de sensores inerciais, e que podem
complementar as informações sobre como o motorista está dirigindo o veículo.

6 Materiais e métodos
A pesquisa possui duas abordagens principais. Na primeira, faz-se uso de aqui-
sição por meio de câmera infravermelha (near IR - "night shot") e infravermelha
termal FLIR (Tau e PathFindIR), todas disponíveis nos laboratórios do ICMC. Na
Figura 8, mostram-se a câmera FLIR e um exemplo de imagem de retorno. Estas
câmeras dotam o sistema de independência quanto a iluminação por serem câmeras
que não necessitam de uma fonte adicional de luz. Utilizando-se este tipo de equi-
pamento é possível o uso do sistema em períodos noturnos. Esta primeira etapa é
acompanhada de uma pesquisa bibliográfica sobre algoritmos tradicionais de aten-
ção visual baseados em imagens 2D. A pesquisa abrangerá modelos baseados em
Mapas de Saliência (71, 72), com Enviesamento top-down (73, 74), na Correlação
Temporal (75, 76) e, principalmente, os apresentados na tese de Benicasa (19). Os
algoritmos serão testados quanto a detecção de informações relevantes na detecção

16
das distrações objetivadas.

(a) Câmera (b) Imagem exemplo

Figura 8 – Exemplo de câmera infravermelha termal FLIR disponível. (a) Câmera

FLIR. (b) Imagem térmica retornada da face humana (frontal).

Na segunda etapa, foca-se na utilização de dados 3D (point clouds) utilizando

sensores inteligentes. Mesmo com a utilização de câmeras menos sensíveis as vari-
ações da iluminação ambiente, podem-se encontrar problemas na detecção de ca-
racterísticas quando o motorista utilizar óculos (câmeras termais não detectam os
olhos nestas situações) ou luvas (há maior dificuldade de localização das mãos).
Por esta razão objetiva-se a evolução da pesquisa em dados 3D, sendo também in-
variante a iluminação e contendo uma maior descrição da cena. Como sensor 3D
espera-se utilizar o Kinect (Xbox), também presente nos laboratórios do campus.
Na Figura 9, mostram-se o sensor Kinect, uma imagem do motorista (levando o
celular ao ouvido) em point clouds 3D e seu respectivo mapa de profundidade em
tons de cinza. Objetiva-se assim adaptação de algoritmos já deparados na primeira
etapa de atenção visual para o uso com o sensor 3D.

(a) Sensor (b) Point cloud (c) Mapa de profundidade

Figura 9 – Exemplo de utilização do sensor Kinect. (a) sensor Kinect. (b) Point
cloud 3D obtida. (c) Mapa de profundidade em tons de cinza (quanto
mais claro mais distante).

Nas duas etapas, espera-se utilizar algoritmos de aprendizado de máquina,

tanto em extração de atributos de imagens 2D e proveniente de dados 3D.

7 Principais contribuições científicas e tecnológicas da proposta

A principal contribuição da pesquisa será o estudo e desenvolvimento de novas
técnicas e algoritmos de atenção visual e detecção de movimento aplicado a dados
3D. A atenção visual funcionará como um filtro simplificando a entrada de dados
do sistema. A detecção de movimento dará apoio temporal à solução verificando e
rastreando movimentos ditos perigosos.

17
 Outra contribuição é a utilização de algoritmos de aprendizado de máquina
(item 3.2) também aplicados em dados 3D, levando a extração de atributos e pro-
cessamento diferenciado em relação ao que se faz usualmente em imagens 2D.
O projeto contempla aspectos de pesquisa e desenvolvimento científico, onde
se buscará a publicação de artigos (conferências e periódicos) na divulgação de re-
sultados e avanços alcançados no projeto. Além disto, o sistema de detecção de
distrações do motorista poderá vir a ser aplicado em outras distrações e ambientes,
fora do escopo desta pesquisa, gerando assim novas soluções e produtos tecnológicos
com inúmeras aplicações práticas junto à sociedade.

8 Condições de execução do Projeto e Infraestrutura

8.1 Informações sobre o Programa de Pós-Graduação
8.1.1 Histórico
Em 1971, criou-se o Instituto de Ciências Matemáticas de São Carlos, atu-
almente conhecido como Instituto de Ciências Matemáticas e de Computação da
Universidade de São Paulo (ICMC-USP), e constituíram-se ainda os Departamentos
de Matemática e Ciências de Computação e Estatística. A Pós-Graduação do ICMC
existe oficialmente desde essa data, embora a USP/São Carlos possuía um Programa
de Pós-Graduação em Matemática bem conceituado, com Mestrado e Doutorado,
anteriores ao instituto.
O Programa de Ciências de Computação existe desde 1974. Em 1995, iniciou-se
o Programa de Pós-Graduação em Ciências de Computação e Matemática Compu-
tacional no curso de doutorado.

8.1.2 Qualificações do Programa de Pós-Graduação

A CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior)
atribuiu, em 2010, o nível 6 (escala entre 1 a 7) para o Programa de Pós-Graduação
em Ciências de Computação e Matemática Computacional, ou seja, o doutorado
possui nível de excelência, e seu desempenho é equivalente ao dos mais importantes
centros internacionais de ensino e pesquisa. A Universidade de São Paulo é ainda
a única instituição brasileira entre as melhores do mundo no “ranking” Citations
per Papers na Essential Science Indicators de ISI Web of Knowledge. Atualmente, o
curso de mestrado conta com 135 alunos matriculados e o curso de doutorado com
208 alunos (dados atualizados Novembro/2012).

8.1.3 Linha de Pesquisa

A linha de pesquisa da computação relacionada diretamente ao projeto é “Ro-
bótica Móvel” e será desenvolvido junto ao Laboratório de Robótica Móvel (LRM)
no ICMC-USP.

8.1.4 Infraestrutura e Apoio Técnico

O Laboratório de Robótica Móvel (LRM) da ICMC da USP possui diversos
equipamentos úteis a pesquisa. Para aquisição (entrada de dados) já estão dispo-
níveis: o Kinect (Xbox); câmeras infravermelhas termal FLIR (Tau e PathFindIR)
e near IR (night shot). Para as experimentações práticas o laboratório conta ainda

18
com um veículo Fiat Palio Adventure. Este laboratório foi criado recentemente, en-
tretanto já conta com uma sala para uso específico dos alunos e pesquisadores dotada
de diversos PCs, além dos equipamentos acima citados.
O LRM é um dos grupos que atua de forma importante junto ao desenvolvi-
mento das atividades do INCT-SEC (Instituto de Sistemas Embarcados Críticos).
O INCT-SEC possui em sua previsão orçamentária, a aquisição de diversos equi-
pamentos que estarão também à disposição dos alunos e pesquisadores do LRM a
fim de desenvolver pesquisas relacionadas com veículos terrestres. Entre os equipa-
mentos está prevista sensores lasers, câmeras de aquisição de imagens e placas de
desenvolvimento de hardware reconfigurável (FPGA).
Os pesquisadores do LRM-ICMC já possuem experiência no estudo e desen-
volvimento de sistemas automotivos, com publicações já efetuadas (77, 78, 79, 80,
81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91). Esta experiência é de grande valia para o
desenvolvimento deste projeto uma vez que se espera contar com os conhecimentos
adquiridos pelo grupo no desenvolvimento dos trabalhos desta proposta.
Em relação ao apoio geral de infraestrutura e técnico, a USP-ICMC possui uma
excelente infraestrutura com laboratórios de ensino, pessoal de apoio, infraestrutura
de acesso a rede, e de softwares de apoio que são utilizados pelos pesquisadores e
alunos.

9 Atividades do projeto e cronograma previsto

O projeto de pesquisa do sistema de identificação de distrações do motorista na
condução do veículo será executado pelo aluno de doutorado Rafael Alceste Berri,
onde se espera uma integração deste aluno com os demais alunos de doutorado,
mestrado e de iniciação científica que estão sob a orientação do professor Fernando
Osório e demais membros do LRM. Abaixo se encontram as atividades que serão
realizadas durante o projeto pelo aluno e na Tabela 1 mostram-se a distribuição
temporal prevista das atividades.
Atividades a serem desenvolvidas pelo doutorando no projeto:
1. Cursar disciplinas de pós-graduação alinhadas com os objetivos da pesquisa
proposta;
2. Estudar dispositivos para aquisição dos dados de entrada (cena interna do
veículo) e sua viabilidade de implantação em veículos;
3. Estudar trabalhos recentes que compõem o estado da arte de atenção visual
baseados em imagens;
4. Adaptar algoritmos de atenção visual que tradicionalmente são baseados em
imagens (2D) para o uso de sensores 3D;
5. Estudar técnicas e algoritmos para segmentação e detecção de movimento
(tracking) em 3D;
6. Identificar, na literatura acadêmica, pesquisas sobre diferença comportamental
de condutores de veículos quando em situações de uso de celular, sonolência,
embriaguez e em situação normal de condução do veículo;
7. Escolher características candidatas que permitam a identificação das distrações
estudadas;
8. Projetar, implementar e testar aplicações de detecção de uso de celular, sono-
lência, embriaguez em simuladores, envolvendo o aprendizado de máquina;
9. Realizar experimentos usando os algoritmos desenvolvidos em veículos;

19
 10. Buscar propor técnicas e algoritmos para atenção visual e detecção de movi-
mento em dados 3D;
11. Preparação e submissão de artigos científicos para eventos nacionais e inter-
nacionais, e para periódicos;
12. Preparação do texto da monografia da qualificação do doutorado;
13. Defesa da qualificação: apresentação da proposta de dissertação e de seu an-
damento;
14. Redação do texto final da dissertação de doutorado;
15. Defesa da dissertação de doutorado.

Tabela 1 – Cronograma de atividades

2014 2015 2016 2017

1o. sem.
2o. sem.
1o. sem.
2o. sem.
1o. sem.
2o. sem.

1o. sem.
Atividades
1 - Disciplinas PG-CCMC X X
2 - Estudo Sensores X X
3 - Estado da arte da Atenção Visual em imagens X X
4 - Adaptação de algoritmo de atenção visual para X X X
dados 3D
5 - Estudo de segmentação e detecção de movimento X
em 3D
6 - Estudo sobre comportamento dos condutores X
7 - Escolha de características candidatas X X
8 - Projeto de aplicações de detecção de distrações X X X X X
9 - Experimentos X X X
10 - Buscar propor técnicas de atenção visual em 3D X
11 - Preparação de Artigos X X X
12 - Redação da Qualificação X
13 - Defesa da Qualificação X
14 - Redação da dissertação X
15 - Defesa da dissertação X

10 Considerações Finais
Este projeto de pesquisa de sistema sobre monitoramento de motorista está
alinhado as pesquisas de sistemas de apoio a direção que vem sendo desenvolvido
pelo LRM-USP nos últimos anos. Sendo todas as atividades apresentadas específicas
do aluno de doutorado Rafael Alceste Berri.

Local: São Carlos Data: 23 de Julho de 2014

Me. Rafael Alceste Berri Prof. Dr. Fernando Santos Osório

Aluno – PG CCMC – ICMC – USP Orientador – PG CCMC – ICMC – USP

20
 Referências

1 REGAN, M. A.; LEE, J. D.; YOUNG, K. L. Driver distraction: Theory, effects,

and mitigation. [S.l.]: CRC, 2008.
2 PEISSNER, M.; DOEBLER, V.; METZE, F. Can voice interaction help
reducing the level of distraction and prevent accidents? 2011.
3 SALVADOR, A. A culpa foi do celular. Revista Veja, 21/12/2011, 2011.
4 STRAYER, D. L.; WATSON, J. M.; DREWS, F. A. 2 cognitive distraction while
multitasking in the automobile. Psychology of Learning and Motivation-Advances
in Research and Theory, v. 54, p. 29, 2011.
5 NHTSA. Driver electronic device use in 2010. Traffic Safety Facts - December
2011, p. 1–8, 2011.
6 REDELMEIER, D. A.; TIBSHIRANI, R. J. Association between cellular-
telephone calls and motor vehicle collisions. The New England Journal of Medicine,
v. 336, n. 7, p. 453–458, 1997.
7 STRAYER, D. L.; DREWS, F. A. Profiles in driver distraction: effects of cell
phone conversations on younger and older drivers. The Journal of the Human
Factors and Ergonomics, v. 46, n. 4, p. 640–648, 2004.
8 ISHIGAMI, Y.; KLEIN, R. M. Is a hands-free phone safer than a handheld
phone? Journal of Safety Research, Elsevier, v. 40, n. 2, p. 157–164, 2009.
9 STRAYER, D. L.; DREWS, F. A.; JOHNSTON, W. A. Cell phone-induced
failures of visual attention during simulated driving. Journal of experimental
psychology: Applied, American Psychological Association, v. 9, n. 1, p. 23, 2003.
10 STRAYER, D. L.; COOPER, J. M.; TURRILL, J.; COLEMAN, J.;
MEDEIROS-WARD, N.; BIONDI, F. Measuring cognitive distraction in the
automobile. AAA Foundation for Traffic Safety - June 2013, p. 1–34, 2013.
11 NTSB. Evaluation of us department of transportation efforts in the 1990s to
address operator fatigue. DTIC Document, 1999.
12 WILSON, F. A.; STIMPSON, J. P. Trends in fatalities from distracted driving
in the united states, 1999 to 2008. American Journal of Public Health, American
Public Health Association, v. 100, n. 11, p. 2213–2219, 2010.
13 PECHANSKY, F.; BONI, R. D.; DIEMEN, L. V.; BUMAGUIN, D.; PINSKY,
I.; ZALESKI, M.; CAETANO, R.; LARANJEIRA, R. Highly reported prevalence
of drinking and driving in brazil: data from the first representative household study.
Revista Brasileira de Psiquiatria, SciELO Brasil, v. 31, n. 2, p. 125–130, 2009.
14 BONI, R. D.; VASCONCELLOS, M. T. L.; HOLMER, B. P.; ROBIN, R.;
BASTOS, F. I.; PECHANSKY, F. Beber e dirigir em uma amostra de condutores
que frequentam bares de porto alegre. Uso de bebidas alcoólicas e outras drogas nas
rodovias brasileiras e outros estudos, Porto Alegre. Secretaria Nacional de Políticas
sobre Drogas, p. 90–95, 2010.

21
15 ITTI, L.; KOCH, C. Computational modelling of visual attention. Nature
reviews neuroscience, Nature Publishing Group, v. 2, n. 3, p. 194–203, 2001.

16 KOCH, C. Selective visual attention and computational models. Computational

Neuro-Science, v. 186, 2000.

17 TSOTSOS, J. K. A Computational Perspective on Visual Attention. [S.l.]: MIT

Press, 2011. I-XVI, 1-308 p. ISBN 978-0-262-01541-7.

18 CONNOR, C. E.; EGETH, H. E.; YANTIS, S. Visual attention: bottom-up

versus top-down. Current Biology, Elsevier, v. 14, n. 19, p. R850–R852, 2004.

19 BENICASA, A. X. Sistemas computacionais para atenção visual top-down e

bottom-up usando redes neurais artificiais. Tese (Doutor em Ciências - Ciências de
Computação e Matemática Computacional) — Instituto de Ciências Matemáticas
e de Computação – Universidade do Estado de São Paulo (ICMC-USP), Avenida
Trabalhador São-carlense, 400 - Centro CEP: 13566-590 - São Carlos - SP, 2013.
Versão preliminar para defesa. Previsão de defesa: Novembro/2013.

20 BENICASA, A. X.; QUILES, M. G.; ZHAO, L.; ROMERO, R. A. F. An

object-based visual selection model with bottom-up and top-down modulations.
In: IEEE. Neural Networks (SBRN), 2012 Brazilian Symposium on. [S.l.], 2012. p.
238–243.

21 BISHOP, C. M.; NASRABADI, N. M. Pattern recognition and machine

learning. New York, NY 10013, USA: Springer Science+Business Media, LLC,
2006.

22 THEODORIDIS, S.; KOUTROUMBAS, K. Pattern Recognition, Fourth

Edition. [S.l.]: Academic Press, 2009. Hardcover. ISBN 9781597492720.

23 VAPNIK, V. The nature of statistical learning theory. New York:

Springer-Verlag, 1995.

24 WANG, L. Support Vector Machines: theory and applications. Berlin, Germany:

Springer, 2005.

25 MEYER, D. Support vector machines. Technische Universität Wien, Austria,

2012.

26 STANIMIROVA, I.; ÜSTÜN, B.; CAJKA, T.; RIDDELOVA, K.; HAJSLOVA,

J.; BUYDENS, L.; WALCZAK, B. Tracing the geographical origin of honeys based
on volatile compounds profiles assessment using pattern recognition techniques.
Food Chemistry, Elsevier, v. 118, n. 1, p. 171–176, 2010.

27 HEARST, M. A.; DUMAIS, S. T.; OSMAN, E.; PLATT, J.; SCHÖLKOPF, B.

Support vector machines. Intelligent Systems and their Applications, IEEE, IEEE,
v. 13, n. 4, p. 18–28, 1998.

28 SCHÖLKOPF, B. Support Vector Learning. Dissertação (Mestrado) —

Technischen Universität Berlin, Berlin, 1997.

29 MEHROTRA, K.; MOHAN, C. K.; RANKA, S. Elements of artificial neural

networks. [S.l.]: MIT press, 1996.

22
30 JAIN, A. K.; MAO, J.; MOHIUDDIN, K. M. Artificial neural networks: A
tutorial. IEEE computer, v. 29, n. 3, p. 31–44, 1996.

31 WERBOS, P. J. The roots of backpropagation: from ordered derivatives to

neural networks and political forecasting. [S.l.]: Wiley-Interscience, 1994.

32 ARMINGOL, J. M.; ESCALERA, A. de la; HILARIO, C.; COLLADO, J. M.;

CARRASCO, J. P.; FLORES, M. J.; PASTOR, J. M.; RODRÍGUEZ, F. J. Ivvi:
Intelligent vehicle based on visual information. Robotics and Autonomous Systems,
Elsevier, v. 55, n. 12, p. 904–916, 2007.

33 BROOKHUIS, K.; WAARD, D. D.; JANSSEN, W. Behavioural impacts of

advanced driver assistance systems–an overview. European Journal of Transport
and Infrastructure Research, v. 1, n. 3, p. 245–253, 2001.

34 TAPANI, A. Analysis of system effects of driver assistance systems

by traffic simulation. In: Proceeding of the Young Researchers Se-
minar organised by ECTRI, FEHRL and FERSI. Accessible through:
http://www.ectri.org/YRS07/Papiers/Session-5/Tapani.pdf. [S.l.: s.n.], 2007.

35 LEFÈVRE, S.; LAUGIER, C.; IBAÑEZ-GUZMÁN, J. Exploiting map

information for driver intention estimation at road intersections. In: IEEE.
Intelligent Vehicles Symposium (IV), 2011 IEEE. [S.l.], 2011. p. 583–588.

36 FLOUDAS, N.; AMDITIS, A.; KEINATH, A.; BENGLER, K.; ENGELN, A.

Review and taxonomy of ivis/adas applications. Deliverable D2.1.2, v. 1, 2005.

37 HSIAO, P.; YEH, C.; HUANG, S.; FU, L. A portable vision-based real-time
lane departure warning system: day and night. Vehicular Technology, IEEE
Transactions on, IEEE, v. 58, n. 4, p. 2089–2094, 2009.

38 CARDARELLI, E. Vision-based blind spot monitoring. In: ESKANDARIAN,

A. (Ed.). Handbook of Intelligent Vehicles. Springer London, 2012. p. 1071–
1087. ISBN 978-0-85729-084-7. Disponível em: http://dx.doi.org/10.1007/
978-0-85729-085-4_44.

39 MANIKOTH, N.; LOCE, R.; BERNAL, E.; WU, W. Survey of computer vision
in roadway transportation systems. Proc. of SPIE-IS&T Electronic Imaging Vol,
v. 8305, p. 83050W, 2012.

40 ALCANTARILLA, P.; BERGASA, L.; JIMENEZ, P.; PARRA, I.; LLORCA,

D.; SOTELO, M.; MAYORAL, S. Automatic lightbeam controller for driver
assistance. Machine Vision and Applications, Springer, v. 22, n. 5, p. 819–835,
2011.

41 MARENCO, D.; FONTANA, D.; GHISIO, G.; MONCHIERO, G.;

CARDARELLI, E.; MEDICI, P.; VISLAB, P. A validation tool for traffic signs
recognition systems. In: IEEE. Intelligent Transportation Systems, 2009. ITSC’09.
12th International IEEE Conference on. [S.l.], 2009. p. 1–6.

42 TOTZKE, I.; JESSBERGER, S.; MUHLBACHER, D.; KRUGER, H.

Semi-autonomous advanced parking assistants: Do they really have to be learned
if steering is automated? Intelligent Transport Systems, IET, IET, v. 5, n. 2, p.
141–147, 2011.

23
43 TANGO, F.; CARREA, P.; GOBETTO, E. The development of a smart
pre-crash system–the chameleon project. In: Proceedings of ITS 2000, 7th World
Congress on Intelligent Transport Systems. [S.l.: s.n.], 2000.

44 HOJJATI-EMAMI, K.; DHILLON, B.; JENAB, K. Reliability prediction for

the vehicles equipped with advanced driver assistance systems (adas) and passive
safety systems (pss). International Journal of Industrial Engineering, v. 3, 2012.

45 GERONIMO, D.; SAPPA, A.; LÓPEZ, A. Stereo-based candidate generation

for pedestrian protection systems. 2009.

46 KUTILA, M. Methods for machine vision based driver monitoring applications.

[S.l.]: Citeseer, 2006.

47 KISACANIN, B. Automotive vision for advanced driver assistance systems.

In: IEEE. VLSI Design, Automation and Test (VLSI-DAT), 2011 International
Symposium on. [S.l.], 2011. p. 1–2.

48 VEERARAGHAVAN, H.; BIRD, N.; ATEV, S.; PAPANIKOLOPOULOS,

N. Classifiers for driver activity monitoring. Transportation Research Part C:
Emerging Technologies, Elsevier, v. 15, n. 1, p. 51–67, 2007.

49 YANG, J.; SIDHOM, S.; CHANDRASEKARAN, G.; VU, T.; LIU, H.;
CECAN, N.; CHEN, Y.; GRUTESER, M.; MARTIN, R. P. Detecting driver phone
use leveraging car speakers. In: ACM. Proceedings of the 17th annual international
conference on Mobile computing and networking. [S.l.], 2011. p. 97–108.

50 ENRIQUEZ, I. J. G.; BONILLA, M. N. I.; CORTES, J. M. R. Segmentacion

de rostro por color de la piel aplicado a deteccion de somnolencia en el
conductor. Congreso Nacional de Ingenieria Electronica del Golfo CONAGOLFO,
CONAGOLFO, p. 67–72, 2009.

51 WATKINS, M. L.; AMAYA, I. A.; KELLER, P. E.; HUGHES, M. A.;

BECK, E. D. Autonomous detection of distracted driving by cell phone. In:
IEEE. Intelligent Transportation Systems (ITSC), 2011 14th International IEEE
Conference on. [S.l.], 2011. p. 1960–1965.

52 BERRI, R. A. Sistema de visão computacional para detecção do uso de

telefones celulares ao dirigir. Dissertação (Mestre em Computação Aplicada)
— Centro Ciências Técnológicas – Universidade do Estado de Santa Catarina
(CCT-UDESC), Rua Paulo Malschitzki, s/n - Campus Universitário Prof. Avelino
Marcante - Bairro Zona Industrial Norte - Joinville - SC, 2014. Disponível em:
http://www.tede.udesc.br/tde_busca/arquivo.php?codArquivo=3637.

53 MASALA, G. L. C.; GROSSO, E. Detecting driver inattention by rough iconic

classification. [S.l.], 2012, 1-12 p.

54 LENSKIY, A.; LEE, J. Driver’s eye blinking detection using novel color and
texture segmentation algorithms. International Journal of Control, Automation
and Systems, Springer, v. 10, n. 2, p. 317–327, 2012.

55 BAY, H.; ESS, A.; TUYTELAARS, T.; GOOL, L. V. Speeded-up robust

features (surf). Comput. Vis. Image Underst., Elsevier Science Inc., New York,

24
NY, USA, v. 110, n. 3, p. 346–359, jun. 2008. ISSN 1077-3142. Disponível em:
http://dx.doi.org/10.1016/j.cviu.2007.09.014.

56 KUMAR, K.; ALKOFFASH, M.; DANGE, S.; IDARROU, A.; SRIDEVI, N.;
SHEEBA, J.; SHAH, N.; SHARMA, S.; ELYASI, G.; SAREMI, H. Morphology
based facial feature extraction and facial expression recognition for driver vigilance.
International Journal of Computer Applications, Foundation of Computer Science
(FCS), v. 51, n. 2, p. 17–24, 2012.

57 WEI, Z.; LU, B. Online vigilance analysis based on electrooculography. In:

IEEE. Neural Networks (IJCNN), The 2012 International Joint Conference on.
[S.l.], 2012. p. 1–7.

58 BERRI, R. A.; SILVA, A. G.; ARTHUR, R.; GIRARDI, E. Detecção

automática de sonolência em condutores de veıculos utilizando imagens amplas e
de baixa resolução. Computer on the Beach, p. 21–30, 2013.

59 DAI, J.; TENG, J.; BAI, X.; SHEN, Z.; XUAN, D. Mobile phone based drunk
driving detection. In: IEEE. Pervasive Computing Technologies for Healthcare
(PervasiveHealth), 2010 4th International Conference on-NO PERMISSIONS.
[S.l.], 2010. p. 1–8.

60 CARROLL, J.; BELLEHUMEUR, D.; CARROLL, C. System and method for

detecting and measuring ethyl alcohol in the blood of a motorized vehicle driver
transdermally and non-invasively in the presence of interferents. [S.l.]: Google
Patents, 2013. US Patent App. 2013/0027209.

61 III, D. S. E.; HOPTA, J. W. Driver alcohol ignition interlock. [S.l.]: Google

Patents, 2001. US Patent 6,229,908.

62 HAILE, E. Drunk driver detection system. [S.l.]: Google Patents, 1987. US

Patent 4,716,413.

63 HAILE, E. Drunk driver detection system. [S.l.]: Google Patents, 1992. US

Patent 5,096,329.

64 BERRI, R. A.; SILVA, A. G.; PARPINELLI, R. S.; GIRARDI, E.; ARTHUR,

R. A pattern recognition system for detecting use of mobile phones while driving.
In: In Proceedings of the 9th International Conference on Computer Vision Theory
and Applications. [S.l.]: SCITEPRESS Digital Library, 2014. (Conference on
Computer Vision Theory and Applications), p. 411–418.

65 HU, M. K. Visual pattern recognition by moment invariants. Information

Theory, IRE Transactions on, IEEE, v. 8, n. 2, p. 179–187, 1962.

66 VIOLA, P.; JONES, M. Robust real-time face detection. International journal

of computer vision, Springer, v. 57, n. 2, p. 137–154, 2004.

67 KOLB, H.; FERNANDEZ, E.; NELSON, R. Gross anatomy of the

eye. In: Webvision – The Organization of the Retina and Visual System.
University of Utah Health Sciences Center, 2005. p. 1–10. Disponível em:
http://www.ncbi.nlm.nih.gov/books/NBK11534/. Acesso em: 30/09/2013.

25
68 HEITMANN, A.; GUTTKUHN, R.; AGUIRRE, A.; TRUTSCHEL, U.;
MOORE-EDE, M. Technologies for the monitoring and prevention of driver fatigue.
In: Proceedings of the First International Driving Symposium on Human Factors
in Driver Assessment, Training and Vehicle Design. [S.l.: s.n.], 2001. p. 81–86.

69 WIERWILLE, W. W.; WREGGIT, S. S.; KIRN, C. L.; ELLSWORTH,

L. A.; FAIRBANKS, R. J. Research on vehicle-based driver status/performance
monitoring; development, validation, and refinement of algorithms for deteccion of
driver drowsiness. Final report. [S.l.], 1994.

70 BERRI, R.; WOLF, D.; OSORIO, F. Telepresence robot with image-based

face tracking and 3d perception with human gesture interface using kinect sensor.
In: IEEE LARS-SBR 2014. USP São Carlos - SP: [s.n.], 2014. Aceito no evento
(outubro/2014).

71 WALTHER, D.; RUTISHAUSER, U.; KOCH, C.; PERONA, P. Selective visual

attention enables learning and recognition of multiple objects in cluttered scenes.
Computer Vision and Image Understanding, Elsevier, v. 100, n. 1, p. 41–63, 2005.

72 WALTHER, D.; KOCH, C. Modeling attention to salient proto-objects. Neural

Networks, Elsevier, v. 19, n. 9, p. 1395–1407, 2006.

73 FRINTROP, S. VOCUS: A visual attention system for object detection and

goal-directed search. [S.l.]: Springer, 2006.

74 BORJI, A.; AHMADABADI, M. N.; ARAABI, B. N. Cost-sensitive learning

of top-down modulation for attentional control. Machine Vision and Applications,
Springer, v. 22, n. 1, p. 61–76, 2011.

75 QUILES, M. G.; WANG, D.; ZHAO, L.; ROMERO, R. A. F.; HUANG, D.

Selecting salient objects in real scenes: An oscillatory correlation model. Neural
Networks, Elsevier, v. 24, n. 1, p. 54–64, 2011.

76 KAZANOVICH, Y.; BORISYUK, R. Object selection by an oscillatory neural

network. BioSystems, Elsevier, v. 67, n. 1, p. 103–111, 2002.

77 SOUZA, J. R.; PESSIN, G.; SHINZATO, P. Y.; OSÓRIO, F. S.; WOLF,

D. F. Vision-based waypoint following using templates and artificial neural
networks. Neurocomputing (Amsterdam), v. 107, p. 77–86, 2013. ISSN 0925-2312.
Disponível em: http://www.sciencedirect.com/science/article/pii/
S0925231212008867.

78 SOUZA, J. R.; SALES, D. O.; SHINZATO, P. Y.; OSÓRIO, F. S.; WOLF,

D. F. Template-based autonomous navigation and obstacle avoidance in urban
environments. ACM SIGAPP Applied Computing Review, ACM, v. 11, n. 4, p.
49–59, 2011.

79 SOUZA, J. R.; PESSIN, G.; SHINZATO, P. Y.; OSÓRIO, F. S.; WOLF, D. F.

Vision-based autonomous navigation using neural networks and templates in urban
environments. In: First Brazilian Conference on Critical Embedded Systems. [S.l.:
s.n.], 2011. p. 55–60.

26
80 SOUZA, J. R.; PESSIN, G.; OSÓRIO, F. S.; WOLF, D. F. Vision-based
autonomous navigation using supervised learning techniques. In: Engineering
Applications of Neural Networks. [S.l.]: Springer, 2011. p. 11–20.

81 HATA, A. Y.; WOLF, D. F.; PESSIN, G.; OSóRIO, F. S. Terrain mapping

and classification using neural networks. In: Proceedings of the 2009 International
Conference on Hybrid Information Technology. New York, NY, USA: ACM,
2009. (ICHIT ’09), p. 438–442. ISBN 978-1-60558-662-5. Disponível em:
http://doi.acm.org/10.1145/1644993.1645074.

82 SHINZATO, P. Y.; OSÓRIO, F. S.; WOLF, D. F. Visual road recognition

based in multiple artificial neural networks. In: Conferência Brasileira de Sistemas
Embarcados Críticos. [S.l.: s.n.], 2011. v. 1, p. 26–31.

83 SHINZATO, P. Y.; OSÓRIO, F. S.; WOLF, D. F. Visual road recognition

using artificial neural networks and stereo vision. ViCoMoR, p. 13–18, 2011.

84 SHINZATO, P. Y.; FERNANDES, L. C.; OSÓRIO, F. S.; WOLF, D. F. Path

recognition for outdoor navigation using artificial neural networks: Case study.
In: IEEE. Industrial Technology (ICIT), 2010 IEEE International Conference on.
[S.l.], 2010. p. 1457–1462.

85 SALES, D.; CORREA, D.; OSÓRIO, F. S.; WOLF, D. F. 3d vision-based

autonomous navigation system using ann and kinect sensor. In: Engineering
Applications of Neural Networks. [S.l.]: Springer, 2012. p. 305–314.

86 SALES, D. O.; FERNANDES, L. C.; OSÓRIO, F. S.; WOLF, D. F. Fsm-based

visual navigation for autonomous vehicles. In: Workshop on Visual Control of
Mobile Robots-IEEE/RSJ International Conference on Intelligent Robots and
Systems (IROS), Vilamoura, Algarve, Portugall. [S.l.: s.n.], 2012.

87 SALES, D. O.; OSÓRIO, F. S. Vision-based autonomous topological navigation

in outdoor environments. In: IEEE. Robotics Symposium and Latin American
Robotics Symposium (SBR-LARS), 2012 Brazilian. [S.l.], 2012. p. 91–96.

88 WOLF, D. F.; SIMÕES, E. V.; OSÓRIO, F. S.; JR., O. T. Robótica móvel

inteligente: Da simulação às aplicações no mundo real. In: Mini-Curso: Jornada de
Atualização em Informática (JAI), Congresso da SBC. [S.l.: s.n.], 2009.

89 PESSIN, G.; OSÓRIO, F.; HATA, A. Y.; WOLF, D. F. Intelligent control

and evolutionary strategies applied to multirobotic systems. In: IEEE. Industrial
Technology (ICIT), 2010 IEEE International Conference on. [S.l.], 2010. p.
1427–1432.

90 JUNG, C. R.; OSÓRIO, F. S.; KELBER, C.; HEINEN, F. Computação

embarcada: Projeto e implementação de veículos autônomos inteligentes. Anais do
CSBC, v. 5, p. 1358–1406, 2005.

91 KELBER, C. R.; OSÓRIO, F. S.; JUNG, C. R.; HEINEN, F. J.; DREGER,

R. S.; GULES, R.; JR, C. D. M.; SILVEIRA, M. A.; SCHUMACHER, W.
Tecnologias para automação veicular-soluções em mecatrônica e sistemas de apoio
ao motorista. Engenharia-Estudos Tecnológicos, p. 37–47, 2003.

27