Avaliao e Impactos da

Cincia Brasileira

05/09/2016
Hernan Chaimovich

SBPC 09 2016
SBPC 09 2016

SINOPSIS
Avaliao e Impactos
Avaliaes de conjuntura
O cenrio da pesquisa no Sc. XXI
O Estado atual da Cincia Brasileira
Um novo formato de fomento e de avaliao
Algumas concluses possveis
SBPC 09 2016

Avaliao e Impactos

SBPC 09 2016
SBPC 09 2016

O que o Impacto do Investimento em

Cincia e Tecnologia
Impacto intelectual

Ideias que produzem novas ideias;

Ideias que fazem a humanidade mais sbia;
Ideias que permitem formar geradores de ideias;

Impacto social

Ideias que afetam polticas pblicas;

Ideias que diminuem a desigualdade;
Ideias que aumentam o envolvimento social com a cincia;

Impacto econmico

Ideias que criam empresas, e geram empregos;

Ideias que aumentam a competitividade de empresas, e
geram empregos;
Ideias que criam setores industriais
SBPC 09 2016

Migrando de resultados para impactos

acadmicos, econmicos e sociais

SBPC 09 2016

O Ecossistema necessrio para o

desenvolvimento da C,T&I

Comprometimento
a longo prazo de
todos os atores
SBPC 09 2016

Usando a avaliao de impacto no

julgamento de propostas
Extremamente
difcil
prever quais propostas
iro produzir impacto.
Incluso de membros
da sociedade/usurios
no
processo
de
deciso.
Introduzir perspectiva
de aplicabilidade ou
utilidade da pesquisa a
ser apoiada.
SBPC 09 2016

Avaliao e monitoramento de impactos

para a sociedade
Impactos
para
a
sociedade podem demorar
a aparecer.
Avaliao de longo prazo
mais complexa, exige
olhar as mudanas de
conjuntura.
Os impactos mudam ao
longo dos anos e podem
se transformar de positivos
para negativos.
SBPC 09 2016

Avaliaes de conjuntura

SBPC 09 2016

Posio do Brasil em relao produo

cientfica

SBPC 09 2016

Tendncias da pesquisa nos pases da

OCDE

OECD Science, Technology and Industry Scoreboard 2015

SBPC 09 2016

Relao entre investimento em P&D e

nmero de pesquisadores/empregados

OECD Science, Technology and Industry Scoreboard 2015

SBPC 09 2016

Posio do Brasil em relao produo

cientfica

Scimago julho 2016

Brasil
Australia

SBPC 09 2016

Produo cientfica brasileira

concentrada em poucas Universidades
Fonte: InCites 2006-2016
-

Instituio

Artigos

Brasil

437.505

6,09

26,36

0,829

1 USP

18.376

8,01

33,63

1,090

2 UFRJ

7.589

8,88

38,86

1,209

3 UNICAMP

7.131

7,63

27,18

1,039

4 UNESP

6.140

8,42

31,95

1,147

5 UFRGS

5.951

7,52

28,25

1,023

6 UFMG

5.708

7,63

29,47

1,039

7 UERG

3.303

11,58

46,53

1,577

8 UFSC

3.130

7,11

28,95

0,967

9 FIOCRUZ

2.873

8,22

32,23

1,119

2.763

5,9

25,44

0,803

10 UFPR
Instituio
23 UFABC
35 UFSJ

Artigos

Impacto

Impacto

% colab. inter. Impacto relativo (mundo)

% colab. inter. Impacto relativo (mundo)

1.494

16,49

58,1

2,245

845

14,48

57,99

1,971 SBPC 09 2016

Quadro Comparativo USP-RutgersGottingen-Caltech no THE

Item (peso)
Teaching (30%)
International Outlook (7,5%)
Industry Income (2,5%)
Research (30%)
Citations (30%)
N de Estudantes
Razo estudante/funcionrios
Estudantes estrangeiros

USP
Rutgers U. of Gttingen
(123)
(99)
(201-250)

Caltech
(1)

60,9
43,9
25,3
34,7
40,3
35,9
68,6
55,7
20,4
75,4
81.402 37.032
14,6
17,3
4%
8%

95,6
64,0
97,8
97,6
99,8
2.243
6,9
27%

49,3
56,4
31,8
54,5
72,7
25.581
25,6
12%

Notas em Citaes para Unicamp (22,6), UFRJ (18,3),

PUC-Rio
SBPC 09 2016
(23,1) e UnB (10,4).

O cenrio da pesquisa no Sc.

XXI

SBPC 09 2016

Alguns pases e instituies

intensificaram as colaboraes

More than half of articles from UK

institutions in the Nature Index have a coauthor from a second country, most commonly
the US, Germany and France.
For the University of Cambridge, this figure
exceeds 70%.
A well-connected world - Jonathan Adams & Tamar Loach
Nature 527, S58S59 (12 November 2015) doi:10.1038/527S58a
SBPC 09 2016

Presso sobre o sistema de avaliao

dos resultados das pesquisas
Contagem de publicaes e citaes est
perdendo relevncia.
Surgimento de novos canais de disseminao
do conhecimento que ultrapassam os
peridicos.
Um novo arranjo na organizao e
direcionamento da pesquisa exige uma nova
forma de avaliao.
Combinao de medidas objetivas (antigas e
novas mtricas) com avaliao de impacto.
SBPC 09 2016

O Estado atual da Cincia

Brasileira

SBPC 09 2016

Evoluo da produo cientfica

brasileira
Scimago
Setembro 2016

SBPC 09 2016

Ranking em Scimago
Todos os Pases

Pases com mais de 1000 Docs.

1996-2015

2010

2015

1996-2015

2010

2015

No de
Docs

15

13

13

15

13

13

Citas/Doc

144

147

186

92

48

73

23

23

23

23

23

23

Fonte: Scimago

SBPC 09 2016

O Brasil em relao a outros pases

de destaque em suas regies

China

Pases em destaque no Nature Index 2015: Austrlia (Oceania), ndia (sia central e
sul), frica do Sul (frica), Argentina e Chile (Amrica Latina), Israel (Oriente Mdio),
China (Leste da sia) .
SBPC 09 2016
Destaques da Europa e Amrica do Norte no includos.

Um aumento relativamente
expressivo na quantidade

SBPC 09 2016

Porm o impacto cientfico no

acompanhou

SBPC 09 2016

As colaboraes internacionais
esto em tendncia de alta

SBPC 09 2016

E o nmero de artigos de alta

visibilidade est aumentando

China

SBPC 09 2016

E o nmero de artigos de alta

visibilidade est aumentando

30/08/2016

SBPC 09 2016

Inclusive em relao ao total de

artigos

SBPC 09 2016

Artigos de maior visibilidade esto

concentrados em trs grandes reas

SBPC 09 2016

Essas mesmas reas concentram a

maior parte da produo brasileira

SBPC 09 2016

O impacto diferente nas Grandes

reas e nas reas do conhecimento
Category Normalized Citation Impact - Exatas

30/08/2016

SBPC 09 2016

O impacto diferente nas Grandes

reas e nas reas do conhecimento
Category Normalized Citation Impact - Agrrias

30/08/2016

SBPC 09 2016

O impacto diferente nas Grandes

reas e nas reas do conhecimento
Category Normalized Citation Impact - Sade

SBPC 09 2016

O impacto diferente nas Grandes

reas e nas reas do conhecimento
Category Normalized Citation Impact - Humanas

SBPC 09 2016

O impacto diferente nas Grandes

reas e nas reas do conhecimento

Category Normalized Citation Impact - Engenharias

SBPC 09 2016

E por Instituio

SBPC 09 2016

Diferenas de especializao
institucional
WoS Documents

30/08/2016

SBPC 09 2016

Quadrante Relevncia/Aplicao

Movimentos
necessrios
na Cincia
Brasileira

Bem cheio no
Brasil

38
SBPC 09 2016

Potencial formado pode ser

convertido em quadrante de Pasteur

SBPC 09 2016

Potencial formado pode ser

convertido em quadrante de Pasteur

SBPC 09 2016

Redes de colaborao nacionais e

internacionais

SBPC 09 2016

Potencial formado pode ser

convertido em quadrante de Pasteur

SBPC 09 2016

Um novo formato de fomento e

de avaliao

SBPC 09 2016

Proposta de Ciclo de Gesto em

C,T&I
Definio de objetivos da ao com
base nas estratgias de C,T&I.

Ajustes dos parmetros do modelo,

sem modificar a ao

Reviso da
ao

Estruturao do
problema

Ajuste do modelo

Criao de uma rvore de Estrutura

Hierrquica, com os critrios e
variveis de acompanhamento.
Definir atributos para avaliao de
resultados e impactos
Definio dos critrios, atributos e
parmetros para seleo de projetos.
Divulgao do edital

Obteno de dados e
informaes

Obteno dos dados: anlises

bibliomtricas combinadas com
avaliao por pares

Aplicao do modelo

Construo de um portflio formado

pelo ranking de propostas avaliadas

Seleo de projetos

Definio dos projetos a serem

contemplados com base no portflio e
disponibilidade oramentria
Divulgao da deciso

Avaliao dos
resultados e impactos

Coletar e analisar os resultados e

impactos conforme os SBPC
critrios09
de2016
avaliao previamente estabelecidos

rvore de Estrutura Hierrquica

SBPC 09 2016

rvore de Estrutura Hierrquica detalhes

SBPC 09 2016

rvore de Estrutura Hierrquica detalhes

SBPC 09 2016

Diferenciais da metodologia proposta

Transparncia da metodologia - Uma vez que
essa metodologia explicita e vincula os critrios
de deciso estrutura da rvore Hierrquica, a
transparncia dos critrios utilizados na tomada
de deciso fica assegurada.
Alinhamento com o contexto estratgico - A
metodologia DEMUCTI de tomada de deciso
permite que se estabelea um alinhamento entre
os projetos apoiados pelo CNPq e as polticas
pblicas para C,T&I.
SBPC 09 2016

Diferenciais da metodologia proposta

Coerncia entre critrios de julgamento e de
avaliao de impactos - A metodologia permite
avaliar as propostas de projetos submetidos na
ao em funo da previso de impactos
conforme estabelecido na lgica da rvore de
Estrutura Hierrquica, bem como utilizar os
mesmos para acompanhamento e avaliao do
alcance destes impactos;
Adaptabilidade e ajuste progressivo da
metodologia - A metodologia DEMUCTI prev
um ajuste progressivo com o tempo em funo
de uma realimentao (feedback) decorrente do
processo de avaliao.
SBPC 09 2016

Concluses

SBPC 09 2016

Algumas concluses possveis

O impacto da cincia brasileira e o nmero de
cientistas tem que crescer;
Crescer com qualidade exige que a governana
em Universidades de Pesquisa seja acadmica;
Cincia em Universidades de Pesquisa Brasileiras
tem que estar relacionada com fronteiras, j a
cincia como um todo tambm deve atender
demandas nacionais;
Internacionalizao
e
colaborao
so
essenciais.
SBPC 09 2016

51

www.cnpq.br

SBPC 09 2016