Вы находитесь на странице: 1из 114

Mtodos Cuantitativos

Metodologa Cuantitativa
Lic. Ricardo Snchez Gutirrez
Lic. Ricardo Snchez Gutirrez
Objetivos generales
Desarrollar habilidades cuantitativas en los alumnos, que les permitan
pensar en los fenmenos polticos en trminos de distribuciones de
variables, correlaciones entre variables y explicacin de unas variables por
otras.
Brindar un abordaje terico y emprico de los distintos aspectos del proceso
de investigacin social cuantitativa aplicada.
Clarificar el lugar que los mtodos cuantitativos ocupan en el proceso de la
investigacin social.
Promover en los alumnos el desarrollo de un espritu crtico tanto de los
mtodos utilizados como de sus lecturas para permitirles analizar
adecuadamente la realidad social investigada.
Introducir los principales conceptos de la estadstica inferencial y
descriptiva, especialmente las tcnicas ms usadas en las ciencias sociales.
Incorporar el uso de herramientas informticas aplicadas a los mtodos
cuantitativos: manejo del programa estadstico SPSS.
2
Unidad 1
Introduccin
3
Lic. Ricardo Snchez Gutirrez
Objetivos
Caracterizar la metodologa cuantitativa.
Identificar las etapas de la investigacin social.
Elaborar preguntas de investigacin.
Definir qu es una hiptesis e identificar los elementos que componen una
hiptesis.
Elaborar hiptesis como tentativa de respuesta a una pregunta de
investigacin.
Precisar e identificar qu es la unidad de anlisis y sus diferentes tipos.
Analizar las implicancias metodolgicas y ticas de la aplicacin de un
diseo experimental en ciencias sociales.
Reconocer las implicancias metodolgicas que tiene considerar como
objetivo a lo cuantitativo.
Valorar la investigacin social cuantitativa para obtener un conocimiento
vlido y objetivo de la realidad social.
4
Lic. Ricardo Snchez Gutirrez
Bibliografa
Blaloc, H. (1982). Introduccin a la investigacin social. Buenos Aires:
Amorrortu. Cap. 1. (301,08 B6361).
Jaureche, A. (1987). El medio pelo en la sociedad argentina. Buenos Aires:
Pea Lillo. Ed. Advertencia Preliminar.
Ambrosi, H. (2008). La verdad de las estadsticas. Aprender con los datos.
Buenos Aires: Lumiere. Cap. 2.
Polit, D. & Hungler, B. (2000). Investigacin cientfica en ciencias de la
salud. 6 Ed. Cap. 3.
Cea DAncona, M. (1998). Metodologa cuantitativa. Estrategias y tcnicas
de investigacin. Madrid: Sntesis. Captulo 8. (30 C387).
King, G; Keohane, R. & Verba, S. (2007). El diseo de la investigacin
social. Buenos Aires: Alianza editorial. Cap. 1 y 3. (30 K52).
5
Lic. Ricardo Snchez Gutirrez
El nivel espistemolgico,
metodolgico y tecnolgico
En ciencias sociales, no existe un mtodo
cientfico riguroso, detallado, universal y
manualizable.
El objeto de investigacin de las ciencias
sociales es un objeto complejo, cambiante,
subjetivo.
No existe pues un mtodo cientfico nico sino
plurales y distintos que lo que buscan es una
aproximacin a la realidad social que se quiere
medir.
6
Lic. Ricardo Snchez Gutirrez
El nivel espistemolgico,
metodolgico y tecnolgico
No hablamos de mtodo de la sociologa sino de
mtodos de la sociologa. No intercambiables y
aleatorios sino como adecuados en cada caso al
aspecto del objeto (el objeto social) que se
quiere conocer.
En ciencias sociales existen pues diversos
mtodos de aproximacin al estudio de la
realidad social:
7
Lic. Ricardo Snchez Gutirrez
El nivel espistemolgico,
metodolgico y tecnolgico
El mtodo histrico
Analizar los fenmenos sociales a lo largo del tiempo.
Buscar factores causales, el conjunto de causa que
rodean a un fenmeno y las relaciones existentes
entre ellas y el hecho histrico.
Buscando una generalizacin una abstraccin de los
hechos, diferente a la histria como mera
recopilacin de los hechos.
8
Lic. Ricardo Snchez Gutirrez
El nivel espistemolgico,
metodolgico y tecnolgico
El mtodo comparativo
Similar al mtodo experimental, salvo que el
socilogo no puede controlar ni manipular las
variables de forma directa.
Comparacin sistemtica de fenmenos de diferene
tipo y mbito espacial al objeto de obtener una visin
ms rica y libre de un fenmeno social.
Responde al inters de desarrollar y comprobar
teoras que sean aplicables por encima de las
fronteras de una sola sociedad.
Se interesa tanto por las diferencias como por las
semejanzas
9
Lic. Ricardo Snchez Gutirrez
El nivel espistemolgico,
metodolgico y tecnolgico
El mtodo critico-racional
Defiende la consideracin de los valores y los fines
sociales como objeto de estudio de las ciencias
sociales.
10
Lic. Ricardo Snchez Gutirrez
Diferencias cuantitativo-cualitativo
11
Lic. Ricardo Snchez Gutirrez
Pluralidad metodolgica
Bsicamente se distingue una dicotoma entre:
La perspectiva Humanista cualitativa. El
enfasis se pone en el lenguaje y en los aspectos
micro de la vida social(situaciones cara a cara).
La perspectiva cientifista cuantitativa. El
nfasis se pone en la explicacin, en la
contrastacin emprica y en la medicin objetiva
de los fenmenos sociales.
12
Lic. Ricardo Snchez Gutirrez
La convergencia de tcnicas:
la triangulacin
Raices en la topografa.
En ciencias sociales supone la utilizacin de distintas metodologas
en el anlisis de una misma realidad social.
Existe cuatro tipos de triangulacin posibles:
Triangulacin de datos. Utilizar varias fuentes de informacin
sobre un mismo objeto de conocimiento.
Trinagulacin de investigadores: Equipo multidisciplinario.
Triangulacin terica:Considerar todas las hiptesis que
puedan extraerse de un mismo problema de investigacin.
Triangulacin metodolgica: puede ser
Intramtodo
Entre mtodos
13
Lic. Ricardo Snchez Gutirrez
la triangulacin multimtodo
Sera la combinacin de los cuatro tipos. Para que
funciones debe:
Que mtodos y cuantos emplear, depende de la informacin
que se precise para esclarecer el problema.
Muchos estudios multimetodo tienen objetivos mezclados, se
puede generar una teora con uno y comprobarla con otro.
Puede que unas variables puedan ser accesibles a un metodo y
no a otro. Hay que disear metodos de recogida de datos que
permitan la interaccin entre mtodos.
14
Lic. Ricardo Snchez Gutirrez
la triangulacin multimtodo
Todos los mtodos deben medir los mismos conceptos
tericos, si queremos que los resultados(obtenidos mediante
diferenes procedimientos) sean comparables.
Para que la aplicacin de un mtodo no influya en los
resultados alcanzados por otro mtodo, se debera seguir
alguna de estas opciones:
1. Realizar la recogida de datos escalonadamente.
2. Dividir la muestra en submuestras o extraer varias muestras y en
cada una de ellas aplicar una tcnica distinta de recogida de
informacin.
No se busca subordinar una metodologa a otra sino de
combinarlas de la manera mas eficiente.
15
Lic. Ricardo Snchez Gutirrez
Ventajas e inconvenientes de la triangulacin
16
Lic. Ricardo Snchez Gutirrez
Que es la investigacin social
Es la recogida objetiva y sistemtica de datos, la
explotacin, anlisis y presentacin de los mismos,
concernientes al comportamiento, necesidades,
actitudes, opiniones y motivaciones de los
individuos y de las organizaciones dentro del
contexto de sus propias actividades econmicas,
polticas y sociales.
Este proceso incluye adems el diseo del mtodo , la
administracin y ejecucin de la toma de datos
La finalidad bsica de la investigacin es la de reducir
la incertidumbre en el proceso de toma de decisiones.
17
Lic. Ricardo Snchez Gutirrez
Caractersticas de la informacin
Pertinencia
Si se adapta a las necesidades del investigador, o de
quien va a utilizarla
Calidad
La informacin de calidad es exacta, valida y fiable
Oportunidad
Debe ser proporcionada en el momento correcto
Totalidad
Debe ser suficiente, ni excesiva ni incompleta
18
Lic. Ricardo Snchez Gutirrez
Cuando se debe hacer una
investigacin
Limitaciones de tiempo
Disponibilidad de los datos
Naturaleza de la decisin
Beneficios contra costos
19
Hay tiempo
suficiente
para tomar
una
decisin
Hacerla

Excede el
valor del
costo de la
informacin
Tiene la decisin
una considerable
importancia
estratgica o
tcnica
Es la informacin
disponible
adecuada para
tomar una
decisin
No realizar la investigacin
si si si si
no no no no
Lic. Ricardo Snchez Gutirrez
Tipos de Investigacin
Segn el alcance de la informacin obtenida
Investigacin bsica
Se realiza para ampliar los lmites de conocimiento
mismo y para verificar la aceptabilidad de una teora
Investigacin aplicada
Se lleva a cabo para contestar preguntas sobre
problemas especficos o para tomar decisiones sobre
acciones en particular.
20
Lic. Ricardo Snchez Gutirrez
Tipos de Investigacin
SEGN EL TIPO DE INFORMACIN UTILIZADA
Estudios de gabinete
Estudios de campo
Estudios mixtos
SEGN LA NATURALEZA DE LA INFORMACIN
UTILIZADA
Estudios cualitativos
Estudios cuantitativos
Estudios mixtos
21
Lic. Ricardo Snchez Gutirrez
Tipos de Investigacin
Encuestas Ad-Hoc
Encuestas mnibus
Paneles
Observacin


Experimentacin
Pseudo compra
Entrevista en
profundidad
Tcnicas de grupo
Tcnicas proyectivas

22
SEGUN LA TCNICA DE RECOGIDA DE LA
INFORMACION
Lic. Ricardo Snchez Gutirrez
Tipos de Investigacin
SEGN LA FUNCIN QUE CUMPLEN
Descriptivas (mostrar lo que est sucediendo)
Exploratorias (localizar problemas y oportunidades o
comprobar hiptesis)
Explicativas (Relaciones entre diferentes variables)
Predictivas (estimacin a lo largo del tiempo)
De control (resultados de adoptar determinadas
decisiones)
23
Lic. Ricardo Snchez Gutirrez
El mtodo cientfico
24
Lic. Ricardo Snchez Gutirrez
El proceso de investigacin
Coclusiones e informe
Procesamiento y Anlisis de los datos
Toma de datos
Muestreo
Diseo de la investigacin
Descubrimiento y definicin del problema
25
Lic. Ricardo Snchez Gutirrez
Lic. Ricardo Snchez Gutirrez
La definicin del problema
27
Averiguar
los
objetivos
de quien
toma la
decisin
Entender
los
anteceden-
tes del
problema
Aislar e
identificar
los
problemas
no los
sntomas
Determinar
la unidad
de anlisis
Determinar
las
variables
relevantes
Establecer
las
preguntas
y los
objetivos
de
investiga-
cin
Lic. Ricardo Snchez Gutirrez
Cuanto tiempo debe dedicarse
a la definicin del problema?
La importancia del problema dictar una
cantidad razonable de tiempo y dinero que se
requerir para determinar que explicaciones son
las mas probables.
Tambin influyen las limitaciones del
presupuesto.
El tiempo dedicado a identificar el problema
correcto, es tiempo bien utilizado.
28
Lic. Ricardo Snchez Gutirrez
Objetivo de la investigacin
Explica el propsito de la investigacin en
trminos de medicin y define las normas bajo
las que debe realizarse la investigacin y el tipo
de investigacin que debe recopilarse
Puede existir un objetivo general, y varios
objetivos especficos.
El nmero de objetivos no debe ser excesivo. Si
son pocos estaremos seguros de que se
cumplen en su totalidad.
29
Lic. Ricardo Snchez Gutirrez
Hiptesis de la investigacin
La mejor expresin de un objetivo de
investigacin es una hiptesis de investigacin
comparable y bien establecida.
Tiene un gran valor prctico en la realizacin de
una investigacin:
Obliga a los investigadores a ser claros en sobre lo
que esperan encontrar a travs del estudio
Permite que surjan preguntas importantes sobre los
datos que se requerirn en la etapa de anlisis
Una vez establecida podemos abordar el diseo
de la investigacin
30
Lic. Ricardo Snchez Gutirrez
Diseo de la investigacin
Es un plan maestro que especifica los mtodos y
procedimientos para recopilar y analizar la informacin
necesaria.
Tambin deben figurar los objetivos del estudio, las
fuentes de informacin, la tcnica de recogida de la
informacin, la metodologa de la muestra, de anlisis y
los costos de la investigacin.
No existe el diseo de investigacin. Existen diferente
mtodos para resolver un problema, algunas malas,
pero puede que ms de una buena. No hay una receta,
el investigador debe saber cual es el ms apropiado en
funcin de cada investigacin.
31
Lic. Ricardo Snchez Gutirrez
Preguntas bsicas en un diseo
de investigacin
Definicin del problema
Cual es es propsito del estudio?
Cuanta informacin tenemos?
Necesitamos informacin sobre
los antecedentes?
Que vamos a medir y como?
Disponemos de datos?
Se puede realizar una
investigacin?
podemos formular una hiptesis?
qu informacin vamos a precisar
y su jerarquizacin
Seleccin del diseo de
investigacin
qu tipo de preguntas debemos
hacer?
Los resultados deben ser
descriptivos o causales?
Cual es la fuente de datos?
pueden obtenerse respuestas
objetivas preguntando a la gente?
Con que rapidez necesitamos la
informacin?
cmo debemos redactar las
preguntas
32
Lic. Ricardo Snchez Gutirrez
Preguntas bsicas en un diseo
de investigacin
Seleccin de la muestra
Quien o cual es la fuente de
datos?
se puede identificar la poblacin
objetivo?
Es necesaria una muestra?
Que exactitud debe tener?
debe ser probabilstica?
Ambito nacional o menor?
?Que tamao?
Que mtodo de muestreo vamos
a utilizar?
Toma de datos
Quien realizar la toma de
datos?
cunto tiempo llevar?
Que tipo y cuanta supervisin
deber tener?
Que procedimiento de toma de
datos se utilizar?
cundo, donde, como y de quin
vamos a obtener los datos?
33
Lic. Ricardo Snchez Gutirrez
Preguntas bsicas en un diseo
de investigacin
Anlisis y evaluacin de
datos
Como se har la edicin y
codificacin?
Que tipo de software se utilizar
para el anlisis?
qu metodologas se usarn?
Informe
a quin va dirigido?
cul ser el formato?
Hay que hacer presentaciones?
Requiere recomendaciones?
Carcter general
cules son las principales
partidas de costes y cual es el
coste de cada una?
Cuanto tiempo emplear?
Cual es el calendario?
Se precisan ayudas externas?
organizacin
con el diseo actual, se lograrn
los objetivos establecidos?

qu diferentes alternativas
existen?
34
Lic. Ricardo Snchez Gutirrez
Propuesta de investigacin
(la viabilidad de la investigacin)
Declaracin escrita del diseo de la investigacin.
Incluye:
Una explicacin del propsito del estudio (objetivo de
investigacin) o una definicin del problema.
Fuentes (bibliografa sobre el tema)
Descripcin sistemtica de de la metodologa
Detalle de los procedimiento a seguir en cada etapa del proceso
de investigacin.
Algunas preguntas del cuestionario.
Recursos (materiales y humanos) disponibles y necesarios.
Programacin de costos y cronograma de tiempos.
35
Lic. Ricardo Snchez Gutirrez
Ventajas de elaborar una
propuesta de investigacin
Obliga al investigador a mantener un pensamiento crtico en todas
las fases de la investigacin.
Los planes vagos, ideas abstractas y generalizaciones deben
plasmarse en declaraciones concretas sobre acontecimientos
especficos. Para que otros puedan comprenderlo sin problemas.
Realiza una funcin de comunicacin para que los clientes puedan
evaluar el diseo y cambiar lo que crean pertinente.
Evita posibles malentendidos entre el investigador y el cliente. (la
muestra es muy pequea, no se pregunt lo que se quera, etc).
No lo digas. Escribelo. Existe as un registro de lo que se va a
hacer, que todos pueden revisar y elimina posibles problemas de
comunicacin.
Sirve para comparar diferentes ofertas de servicio de varios
proveedores.
36
Lic. Ricardo Snchez Gutirrez
Prctica tema 1
Buscar el la biblioteca investigaciones realizadas e
identificar:
El/los problemas
El/los objetivos de la investigacin
Las variables clave de la investigacin: independientes y
dependientes
Se puede utilizar el correo electrnico para solicitar
propuestas de investigacin a diferentes proveedores.
Ventajas e inconvenientes
Plantea algn problema de tu rea de inters y enumera
alguna de las variables que podran investigarse para
solucionarlo
37
Unidad II
Conceptualizacin y
operacionalizacin cuantitativa
38
Lic. Ricardo Snchez Gutirrez
Objetivos
Entender a la conceptualizacin y operacionalizacin como un proceso de
construccin.
Aplicar el proceso terico de clarificacin de ideas o constructos tericos.
Interpretar a la conceptualizacin y operalizacin como un proceso de
construccin subjetivo.
Especificar cmo se medir la ocurrencia de un concepto determinado en
una situacin concreta.
Seleccionar las dimensiones para medir la ocurrencia de un concepto
determinado en una situacin concreta.
Seleccionar los indicadores de la ocurrencia de un concepto determinado
en una situacin concreta.
Identificar las variables y su respectivo nivel de medicin.
Elaborar ndices.
Entender al cuestionario estructurado como el instrumento de recoleccin
de datos cuantitativos.
Reconocer el rol del investigador en el proceso de construccin de los
conceptos.
39
Lic. Ricardo Snchez Gutirrez
Bibliografa
Lazarsfled, P. (1979). De los Conceptos a los ndices empricos. En:
Boudon, R., Lazarsfeld, P. Metodologa de las ciencias sociales 1.
Conceptos e ndices. Barcelona: Laia. Pp. 35-46.
Cea DAncona, M. (1998). Metodologa cuantitativa. Estrategias y tcnicas
de investigacin. Madrid: Sntesis. Captulo 8. (30 C387).
Blaloc, H. (1982). Introduccin a la investigacin social. Buenos Aires:
Amorrortu. Cap. 5. (301,08 B6361).
Marradi, A., Archenti, N. & Piovani, J. (2007). Metodologa de las ciencias
sociales. Buenos Aires: Emec. Captulo 7, 8 y 9.
Mason, R., Marchal & Lind, D. (2001). Estadstica para administracin y
economa. 11 Ed. Mxico: Alfaomega. Captulo 1, Pp. 8-15 (311:658
M411E11).

40
Lic. Ricardo Snchez Gutirrez
Del concepto terico a los
indicadores o ndices
Para medir la ocurrencia de conceptos tericos se
procede a su operacionalizacin. Primero
proporcionando una definicin operativa que comprenda
el significado que se da al concepto. Segundo,
especificando los indicadores empricos que representan
los conceptos tericos.
La delimitacin de los conceptos depende de dos tipos
de definiciones:
Una definicin nominal: se asigna a un concepto pero carece de
precisin para medir)
Una definicin operacional: Especifica como se medir la
ocurrencia de un concepto determinado en usa situacin
concreta.
41
Lic. Ricardo Snchez Gutirrez
Fases en el proceso de
operacionalizacin (Lazarsfeld)
1. Representacin terica del concepto que se quiere
medir de modo que queden reflejados sus rasgos
definitorios
2. Especificacin del concepto: descoponerlo en
dimensiones o aspectos del mismo (factores), que
deben ser mensurables.
3. Para cada dimensin se selecciona una serie de
indicadores que
permitan medir estas dimensiones
Estn relacionados con el concepto
Sean una expresin cuantitativa de esta
4. Sntesis de los indicadores mediante la elaboracin de
ndices
42
Lic. Ricardo Snchez Gutirrez
Precisiones a la operacionalizacin
(Gonzalez Blasco)
Por muchas dimensiones que se consideren nunca se puede abarcar
la totalidad de un concepto.
El indicador es una forma de aproximarnos al conocimiento de una
realidad, nunca refleja la realidad en su totalidad.
Operar con demasiadas dimensiones de un mismo concepto puede
dificultar los anlisis. Hay que reducir el n de dimensiones a
aquellas ms relevantes. No hay frmulas para determinar el n de
dimensiones.
Despus de elegir los indicadores ha de volverse a considerar el
fenmeno que se observa.
Son expresin numrica, cuantitativa de la dimensin que reflejan,
por que en cualquier operacionalizacin, habr que encontrar al
menos un indicador para cada dimensin del concepto.
43
Lic. Ricardo Snchez Gutirrez
Indicadores
La eleccin de indicadores depende de los objetivos de
la investigacin, adems se recomienda:
Confeccionar una lista con el mayor numero de indicadores
posible. Despues, a la vista de la informacin recibida se
eliminarn aquellos que no sean significativos.
Acudir a indicadores ya validados en investigaciones previas.
Favorece la comparacin de resultados en estudios diferentes,
as como una garanta en su aplicacin.
El anlisis factorial es muy til para determinar estos
indicadores.
44
Lic. Ricardo Snchez Gutirrez
Indicadores 2
Su elaboracin y eleccin est condicionada por
la cantidad y calidad de los datos disponibles.
Los recursos asignados
Deben cumplir lo siguiente:
Permitir comparaciones sincrnicas en el espacio
Permitir la comparacin diacrnica en el tiempo y la elaboracin de
predicciones
Representar valores sobre los que exista consenso.
Otros Requisitos:
Independencia: cada indicador para una variable o concepto
Verificabilidad: Permita ser comprobado por cualquiera
Validez: que mida lo que se quiere medir
Accesibilidad: Que su obtencin sea fcil.
45
Lic. Ricardo Snchez Gutirrez
Ejemplo indicadores
Ratios
Hombres/mujeres atendidos
Conocimiento
servicios:conocen/no conocen
Proporcin
Proporcin de hombres sobre
personas atendidas
Porcentaje
Gasto en ayudas a
familias/gasto total
46
N personas atendidas
N hombres atendidos
N mujeres atendidas
N demandantes resurso x,y,z
N demandantes otros recursos
Das de atencin
Personas/dia
Moda edad
Media edad

Segn registros sobre personas atendidas en un centro
Lic. Ricardo Snchez Gutirrez
Ejemplos de indicadores
Indicadores:
Coste total del proyecto/n horas de actividad de voluntarios en
el proyecto
Horas de actividad profesional/horas de actividad de voluntarios
Coste total/n voluntarios incorporados
Horas actividad profesional/n voluntarios incorporados
Coste de captacin, seleccin, formacin y asignacin/n
voluntarios incorporados
Horas actividad profesional dedicada a captacin../n
voluntarios incorporados
Coste de seguimiento y apoyo a la actividad de los voluntarios
/n voluntarios que participan
Coste de seguimiento y apoyo a la actividad de los voluntarios
/n horas de actividad de los voluntarios
47
Lic. Ricardo Snchez Gutirrez
ndices
nmeros estadsticos que intentan resumir la
informacin proporcionados por varios indicadores de un
concepto.
Criterios para la agregacin de indicadores:
No sumar dos indicadores cuando uno es causa de otro
No sumar dos indicadores cuando uno forma parte de otro
No sumar indicadores que se utilizan para medir metas distintas
Solo sumar indicadores cuando la unidad de medida sea la
misma.
Es el investigador el que da los pesos a la hora de
establecer la ponderacin entre indicadores (subjetivo)
48
Lic. Ricardo Snchez Gutirrez
Seleccin de la de la estrategia metodolgica y de los
instrumentos y tcnicas de investigacin.
Cualitativos
Anlisis secundario
Informantes clave
Anlisis de contenido
Entrevista en profundidad
Observacin directa
Observacin participante
Estudio de casos
Historias de vida
Tcnicas de grupo (grupo de
discusin, delphi, grupos de
creatividad, braistorming,etc)
Cuantitativos
Entrevista estructurada
Encuesta
Anlisis estadstico
Diseos experimentales y
cuasiexperimentales
Escalas de medicin de
actitudes y opiniones
Tests
49
Lic. Ricardo Snchez Gutirrez
Seleccin de la de la estrategia metodolgica y de los
instrumentos y tcnicas de investigacin II
Depende de:
La naturaleza de la inverstigacin.
Recursos disponibles.
Aspectos a investigar.
Tipo de informacin existente y disponible.
Grado de colaboracin (sobre todo en el trabajo
de campo).
Tiempo disponible para su realizacin.
50
Lic. Ricardo Snchez Gutirrez
Datos primarios/secundarios
Primarios
De nueva obtencin
Originados u obtenidos por el investigador
De acuerdo con el proyecto del investigador

Secundarios
Ya publicados
Ya estructurados
Presentados de forma elaborada o sintetizada
Recolectados con un propsito diferente a las
necesidades especificas de nuestra investigacin
51
Lic. Ricardo Snchez Gutirrez
El proceso del anlisis
Existencia de una necesidad de informacin
Bsqueda y localizacin de material publicado
Organizacin y evaluacin de la informacin
Sntesis e interpretacin de la informacin

52
Lic. Ricardo Snchez Gutirrez
Aplicaciones
Suministrar informacin bsica
Descubrimiento de los hechos
Anlisis de tendencias
Fuente de datos comparativos: diseo de
modelos
Sugerir mtodos y tipo de datos para suplir las
necesidades de informacin
Tcnica con entidad propia
53
Lic. Ricardo Snchez Gutirrez
Ventajas
Barato
Rpido. A veces es instantnea.
De fcil acceso
A veces es el nico posible


54
Lic. Ricardo Snchez Gutirrez
Inconvenientes
Desajustes
Unidades de medida
Definicin de clase
Unidades monetarias
Unidades de tiempo
Cambio de las
circunstancias.
Desactualizados.
Fiabilidad
De los datos
Recoleccin
Anlisis
Presentacin
De la fuente
Primaria o secundaria
De la metodologa
Exactitud
55
Lic. Ricardo Snchez Gutirrez
Tipos de datos secundarios
Internos
Generados en la
propia organizacin
Para otros fines
De fcil acceso



Externos
Producidos por
organizaciones o
empresas ajenas al
investigador
Gratuitas
De pago

56
Lic. Ricardo Snchez Gutirrez
Centros productores y bancos
de datos
Fuentes estadsticas
espaolas
Organismos estatales
Administracin autonmica
Administracin local
Centros institucionales
Empresas privadas
Bibliotecas
Libros y publicaciones
peridicas
Prensa diaria y especializada
Organismos europeos e
internacionales
Bancos de datos
Elaboracin de encuestas y
datos sociolgicos
Anuarios y recopilaciones
estadsticas
Bancos de datos en
Internet
Centros de documentacin
57
Lic. Ricardo Snchez Gutirrez
Bsqueda en Internet
En internet, la abundancia de informacin trivial
oculta la informacin valiosa.
Identificar la fiabilidad de la fuente
La actualidad de la informacin

Que informacin est en lnea
Utilidades de Bsqueda
58
Lic. Ricardo Snchez Gutirrez
Bsqueda en Internet
59
Sabes si la
informacin
esta en
Internet?
Buscadores:
AltaVista
Yahoo
Metabusca
Ole
Sabes quin tiene la informacin? Escribe su direccin
No
Sitios temticos
Sociolgical research online
Sociology Corner
Sociosite
Socioweb
Sociological Tour Through
Ciberspace
Listas de correo
Mailbase
Informacin bibliogrfica
Amazn
Libroweb
Software
Shareware
Gente
Altavista
Bigfoot
No
Si
Si
Lic. Ricardo Snchez Gutirrez
Prctica
Buscar en Iternet:
Comparar datos de tasas de natalidad, mortalidad y
renta per cpita de Nueva Zelanda, Chile y Portugal.
Buscar datos de la evolucin del consumo de
aceite de oliva en los ltimos 10 aos en Espaa

60
Lic. Ricardo Snchez Gutirrez
Anlisis de datos secundarios
Medidas de distribucin
Coeficientes, tasas e ndices
Representaciones grficas
Regresin y correlacin
Series temporales
Anlisis de correspondencias
Otras tcnicas
61
Unidad III
Recoleccin de datos
62
Lic. Ricardo Snchez Gutirrez
La muestra, ventajas
Las muestras presentan las siguientes ventajas, en las ciencias sociales:
1. Mediante ellas, con una muestra relativamente reducida con
relacin al universo, se pueden encuestar las grandes poblaciones y
ncleos humanos, que de otra manera seria muy difcil o prcticamente
imposible investigar.
2. En todo caso las muestras suponen una gran economa en las
encuestas y la posibilidad de mayor rapidez en su ejecucin.
3.- La adquisicin de unos datos ms comprensivos. A veces un buen plan
de muestreo obtiene unas mejores estimaciones de los valores de la
poblacin que un censo. (de hecho, hasta el ltimo censo de poblacin, los
datos de los censos, eran datos de una muestra). Un censo produce mas
errores no muestrales y de mayor magnitud que el propio error de
muestreo.
63
Lic. Ricardo Snchez Gutirrez
Seleccin de la muestra
Realizar el trabajo de campo
Seleccin de las unidades de muestreo reales
Determinar el tamao de la muestra
Procedimiento de seleccin las unidades de muestreo
Probabilstico - no probabilstico
Seleccin de marco muestral
Definir la poblacin objetivo
64
Lic. Ricardo Snchez Gutirrez
Tipos de muestreo
Probabilstico
Aleatorio simple
Con reemplazamiento
Sin reemplazamiento
Sistemtico
Estratificado
Por conglomerados
Polietpico
No probabilstico
De conveniencia o
Accidental
Caso tpico
Caso crtico
Bola de nieve
Cuotas
65
Lic. Ricardo Snchez Gutirrez
EL CUESTIONARIO
Es el instrumento para la recogida de la informacin en
la realizacin de estudios de diversas caractersticas.
Puede recolectar informacin sobre el comportamiento
pasado y presente, actitudes y caractersticas del
encuestado.
Sirve para transcribir las preguntas as como para
transmitir al entrevistador o al entrevistado, si el
documento va a ser auto administrado, los objetivos,
hiptesis y necesidades de obtencin de una
determinada informacin.
Es un elemento bsico en la recogida de informacin y
de su perfeccin depende en gran parte la calidad de
esa informacin.
66
Lic. Ricardo Snchez Gutirrez
EL CUESTIONARIO
Generalmente se considera que un cuestionario puede
seguir tres objetivos:
1. Estimar magnitudes (n usuarios de un servicio)
2. Describir una poblacin
3. Verificar hiptesis
Antes de elaborarlo hay que:
1. Definir los conceptos
2. Seleccin de las hiptesis
3. Asegurarse que obtendremos la informacin que
necesitamos.
67
Lic. Ricardo Snchez Gutirrez
EL CUESTIONARIO
DEFINIR LOS CONCEPTOS
Primero es necesario definir el concepto y
posteriormente debemos operacionalizarlo (construir
los indicadores que nos permitan medir y evaluar ese
concepto en una poblacin determinada).
ASEGURARSE QUE LA INFORMACION ES LA QUE PRECISO
Si para hacer un anlisis de los datos preciso una
informacin, debo preguntar por ella. Si se omite una
pregunta, no podremos analizar lo que queremos
68
Lic. Ricardo Snchez Gutirrez
EL CUESTIONARIO
Obtener informacin
previa a travs de:
1. Consulta de libros o datos
(desk reserach)
2. Consulta con expertos
(Entrevista en profundidad)
3. Pruebas piloto, reuniones de
grupo.
Hechos correlacionados
con la metodologa que se
va a aplicar:
* Temas a tratar: solo los mas
importantes
* Orden del cuestionario
* Tipo de preguntas que se van a
utilizar
* Lenguaje empleado
* Tiempo de duracin mxima
* Material auxiliar a emplear
* Impresin, papel y diseo final
69
Lic. Ricardo Snchez Gutirrez
Cuestionario piloto
Su aplicacin nos permite investigar y conocer:
El funcionamiento general del cuestionario
Si los entrevistadores siguen fcilmente el cuestionario
Hay espacio suficiente para las respuestas
La duracin
La comprensin del lenguaje y de las preguntas (% ns/nc)
El orden de las preguntas
Si la informacin que obtenemos es la que queremos
Ayuda a mejorar la tasa de respuesta (elimina
problemas)
70
Lic. Ricardo Snchez Gutirrez
Estructura del cuestionario
Datos de identificacin
Solicitud de cooperacin
Instrucciones
Preguntas
Datos de clasificacin
Sexo
Edad
E civil
N miembros del hogar
Nivel de formacin
Clase social
Profesin
Grupo ocupacional
Ingresos personales y familiares
71
Lic. Ricardo Snchez Gutirrez
CONSIDERACIONES GENERALES
SOBRE EL CUESTIONARIO
Lenguaje popular y entendible
Preguntas claras, cortas, concisas y concretas, fciles de
entender
Preguntas neutras, no orientadas
Evitar cuestiones dobles (de doble fondo)
Evitar la monotona, todas las preguntas iguales
Evitar realizacin de clculos o excesivo esfuerzo
Evitar preguntas parcializadas (la ONU ha dicho...)
Evitar el efecto de halo
72
Lic. Ricardo Snchez Gutirrez
Preguntas abiertas
Las posibilidades de respuesta por parte del
entrevistado no estn limitadas.
Proporcionan gran riqueza de informacin,
cuando el entrevistado conoce el tema.
Hay que recogerlas de forma sinttica, el
entrevistado suele extenderse.

73
Lic. Ricardo Snchez Gutirrez
Preguntas abiertas
Ventajas:
No limita la libre eleccin
de respuesta
Permite averiguar el
grado de conocimiento
del entrevistado sobre el
tema.
Se detectan aspectos del
problema no previstos en
el cuestionario.
Inconvenientes:
Dificultad de registrar
adecuadamente, perdida de
informacin en la
transcripcin..
Anlisis de resultados
dificultoso (codificacin, libro
de claves)
A veces el entrevistado divaga.
Se debe tener dominio del
lenguaje
74
Lic. Ricardo Snchez Gutirrez
Preguntas cerradas
Ventajas:
Sencillez, tanto en la forma de
preguntas como en el anlisis
estadstico.
Permiten obtener un alto
porcentaje de respuestas
definitivas.
El entrevistado no introduce
sesgos subjetivos.
Pueden tener mas de una
respuesta vlida
Medir actitudes complejas
Inconvenientes:
No sirve para cuestiones
complejas
Fuerza la respuesta de
los entrevistados dentro
de un numero limitado de
alternativas.
75
Tienen la contestacin limitada
Lic. Ricardo Snchez Gutirrez
Preguntas semicerradas
Similares a las preguntas cerradas pero con una
categora ms
Otros (indicar)________________________
76
Lic. Ricardo Snchez Gutirrez
Preguntas
Dicotmicas
De respuesta nica
De respuesta mltiple
Preguntas con tarjeta
Preguntas en cuadro
Preguntas filtro
Preguntas en Batera (encadenadas entre si---> profundizar)
77
Lic. Ricardo Snchez Gutirrez
Escalas de actitudes
Muchas variables que se quieren investigar son
psicolgicas, imposibles de estudiar de manera directa,
pero puede serlo a travs de medios indirectos como la
expresin verbal o el comportamiento manifiesto
(observacin o preguntas de recuerdo de acciones).
Diferentes tcnicas de medicin:
Clasificacin en orden: objetos, actividades, etc
Calificacin: Dar una puntuacin
Agrupacin: Similitud o diferencia
Seleccin: solo unos pocos del total de alternativas
78
Lic. Ricardo Snchez Gutirrez
Escalas de calificacin de actitudes
Escala simple: Bueno-malo, agrado-desagrado.
Escala de categoras: Normalmente de 5 o 4 puntos
Diferencial semntico: moderno _ _ _ _ _ _ _ Antiguo
Escala numrica: 0-10; -3 a +3
Escala de suma constante: Divida x puntos entre marcas
Escalas de calificacin grfica
Otros mtodos de medicin
Clasificacin en orden
Calificacin: mediante tarjetas
79
Lic. Ricardo Snchez Gutirrez
Seleccin de una escala
Es mejor una escala en orden, agrupacin, calificacin o
seleccin.
Debe utilizarse una escala individual o comparativa
Que tipo de categoras se utilizarn en la escala, verbal,
diferencial semntico, numrica.
Cuantas categoras utilizaremos en la escala: 2,3,5,7,..
Debe obligar a tomar una posicin o se deja una
categora no sabe (conocida por el respondente)
Medida individual o de ndice
80
Lic. Ricardo Snchez Gutirrez
Encuesta personal
Es la mas utilizada en investigacin social.
Permite obtener informacin de una persona
determinada elegida en funcin de unas
caractersticas especificas, el "encuestado" o
"entrevistado", sobre una serie de puntos
contenidos en un "cuestionario", por medio de
un coloquio que dirige el "encuestador".

81
Lic. Ricardo Snchez Gutirrez
Encuesta personal(ventajas)
Proporciona un elevado % de
respuestas (sobre otros tipos
de encuesta)
Permite seleccionar a la
muestra representativa del
universo.
Se conoce al entrevistado, sus
caractersticas personales:
sexo, edad, etc.
Se controla la influencia de
terceras personas.
Se puede adaptar el
cuestionario al entrevistado.
Mayor duracin
Ampliar los porqus:
profundizar en las respuestas
Indagacin minuciosa de
respuestas complejas
Se reduce el numero de
respuestas evasivas.
Se obtienen respuestas
espontaneas -> mas exactas y
sinceras.
Permite obtener bastante
informacin (el cuestionario
puede ser un poco mas largo)
Temas delicados.
Se pueden exhibir muestras y
otros elementos de apoyo.
82
Lic. Ricardo Snchez Gutirrez
Encuesta personal
INCONVENIENTES
Se precisa de una organizacin (jefe de campo,
inspectores, encuestadores).
Es lenta comparativamente con otros mtodos:
Rutas > cuotas > listado
Coste elevado, mas caro que otro tipo de encuestas.
Sesgo de entrevistador. El entrevistado reacciona al
entrevistador y no solo a la pregunta.
El entrevistado no es annimo (Deontologa).
Subrepresentacin de sectores de poblacin
83
Lic. Ricardo Snchez Gutirrez
Encuesta postal
En ella la recogida de informacin se efecta
mediante cuestionario que se enva y devuelve
por correo, siendo cumplimentado por la propia
persona de la que se solicita informacin.
Su utilizacin es bsica cuando la nica manera
de establecer contacto con el entrevistado es la
va postal o cuando lo que se quiere es realizar
un test de producto sobre la venta por correo.
84
Lic. Ricardo Snchez Gutirrez
Encuesta postal
VENTAJAS
Barato
Amplia cobertura geogrfica
Flexibilidad en el tiempo para
el entrevistado.
Elimina los errores del
entrevistador (transcripcin,
"malas vibraciones", etc.).
Puede suponer una reduccin
de la recogida de informacin
si los encuestados estn muy
dispersos.
Anonimato
INCONVENIENTES
Bajo ndice de respuesta
(20% = xito)
Pocos datos sociodemogrficos de
los encuestados.
Influencia de terceros.
Falta de representatividad de los
cuestionarios recibidos.
N de preguntas reducido.
No sirve en analfabetos.
No sirve si hay poco tiempo para
obtener el resultado.
Deformacin por el orden de las
preguntas (contaminacin).
Listados desactualizados
Escasa profundizacin
85
Lic. Ricardo Snchez Gutirrez
Encuesta postal
Como aumentar la participacin
Carta explicativa
Cartas de seguimiento
Notificacin anticipada
Patrocinio de la encuesta
Incentivo
Inters de las preguntas
86
Lic. Ricardo Snchez Gutirrez
Encuesta postal
LA CARTA
Debe acompaar al cuestionario y debe constar:
Quin realiza la investigacin.
Objetivos y repercusin de la investigacin.
Necesidad de colaboracin del entrevistado.
Anonimato de entrevistado y tratamiento global de
los datos.
Instrucciones para rellenar el cuestionario.
Sobre respuesta
Incentivo monetario o premios (instituciones)
87
Lic. Ricardo Snchez Gutirrez
Encuesta postal
EL CUESTIONARIO
Breve.
Sencillo de cumplimentar (lenguaje).
Atractivo (papel y tipografa) + incentivos (regalo,
publicacin, inters social)
Evitar preguntas innecesarias
Preguntas muy precisas e interesantes.
Preferentemente preguntas cerradas.
No precodificar el cuestionario
88
Lic. Ricardo Snchez Gutirrez
Encuesta postal
REPRESENTATIVIDAD
Para lograrla se deber:
Enviar nuevos cuestionarios a los segmentos de
poblacin que no han respondido.
Completar los que faltan con entrevistas telefnicas o
personales.
Ponderar las respuestas.

89
Lic. Ricardo Snchez Gutirrez
Cuestionarios autocumplimentados
Similares a los postales: transportes, hoteles,
restaurantes, revistas, etc
Fax
CASI, diskette
Kioscos interactivos
Internet
Correo electrnico

90
Lic. Ricardo Snchez Gutirrez
Encuesta telefnica
Ventajas:
Econmico (sobre personal)
Rpido (CATI).
Aleatoriedad (marcacin)
Permite entrevistar a personas
importantes o muy ocupadas.
Alto ndice de respuesta,
aunque lo difcil es contactar
con la persona.

Inconvenientes:
Falta de representatividad
(solo personas con telfono)
No se puede utilizar material
auxiliar
Breve, no mas de 30
Desconfianza del entrevistado.
Pocos datos socio
demogrficos.
A veces puede ser muy
costosa (altos ejecutivos)
Problemas si interesa hacer
una seleccin por rutas
Listados desactualizados
91
Lic. Ricardo Snchez Gutirrez
Encuesta telefnica
El cuestionario:
Preguntas cerradas o semicerradas.
Eliminar o desglosar en sucesivas preguntas aquellas
que integren respuestas mltiples.
Breve y con respuestas relevantes.
Organizacin:
Instalacin telefnica adecuada, sala especial,
marcado automtico.

92
Lic. Ricardo Snchez Gutirrez
Encuesta telefnica
CATI
Terminales conectadas a un ordenador central que
permite:
Marcado automtico
Utilizacin de filtros complicados
Registro de preguntas abiertas.
Grabacin en tiempo real de las respuestas
Obtencin de resultados parciales segn se desarrolla.
Control de cuotas.
Explotacin inmediata de la informacin recogida.
93
Lic. Ricardo Snchez Gutirrez
El informe
Breve. Conciso pero concreto
Coherente
De lo general a lo particular
Estructura lgica:
Introduccin->Cuerpo->Final (informe)
Planteamiento->nudo->desenlace (novela)
Equilibrio en los temas
Conocer los hechos a fondo
Leer y comprobar a fondo el informe.
94
Lic. Ricardo Snchez Gutirrez
Anlisis de datos
95
Edicin
Codificaci
n
Entrada
de datos
Anlisis
de datos
Anlisis
multivaria
do
Anlisis
bivariado
Anlisis
univariado
Anlisis
descriptiv
o
Interpreta
cin
Revisin y
verificaci
n
Lic. Ricardo Snchez Gutirrez
El informe
Las tablas y diagramas, siempre con su ttulo
Indicar tamao de la muestra, fuente y fecha
Numerar tablas y diagramas
El comentario antes de las tablas.
Indicar la fuente de los datos clave.
Buena gramatica y lenguaje correcto.
Frases cortas ->Enumeraciones
96
Lic. Ricardo Snchez Gutirrez
Tablas de datos
Titulo y encabezamiento claro, adecuado y conciso. Tipo de letra
resaltado
Presentarlos de forma sencilla. No abarrotar la tabla.
Presentarlos de forma sinttica. Realizando agrupaciones si es
preciso.
Redondear las cifras. En lo posible en % sin decimales.
Ordenar por nivel de importancia
Presentar totales o medias. >Comparacin
Mencionar fuente, fecha y tamao muestral
97
Lic. Ricardo Snchez Gutirrez
Tablas de datos
Anlisis de las tablas
Diferencia de proporciones
Chi cuadrado
Razones
Tasas e ndices
Series temporales
Regresin y correlacin
Anlisis de correspondencias
98
Lic. Ricardo Snchez Gutirrez
Grficos circulares
20,4
27,4
90
20,4
1er trim. 2do trim. 3er trim. 4to trim.



Mostrar las partes en que se
divide un todo
No mas divisiones de 5-6
segmentos (si hay mas -
>otros o abrir el segmento)
Segmento explotado

99
Lic. Ricardo Snchez Gutirrez
Grficos lineales
30
32
34
36
38
40
42
44
1992 1993 1994 1995 1996 1997
Analizar la tendencia en un
periodo de tiempo
Lnea de tendencia
Para presentar datos de
muchos puntos (20)
Vs Barras
Largo periodo de tiempo
Comparar diferentes series
Tendencias de distribucin
Escala de cantidades mltiples
Presentar estimados,pronsticos,
interpolaciones o extrapolaciones

100
Lic. Ricardo Snchez Gutirrez
Diagramas de barras (histogramas)
0
10
20
30
40
50
60
70
80
90
1 2 3 4
Ventas Trimestrales
Este Oeste Norte
Estandar en presentaciones
Tipos
conglomeradas
Para comparaciones mltiples y
relaciones complejas
No mas de 4 categoras
Leyenda y color identificativo
suman 100=circulares
101
Lic. Ricardo Snchez Gutirrez
Otros grficos
Mapas
Pictogrmas
Diagramas de flujos
Organigrama
Correspondencias

102
Lic. Ricardo Snchez Gutirrez
La observacin
Es el proceso sistemtico de registro de los
patrones de comportamiento de las personas,
objetos o sucesos sin cuestionarlos ni
comunicarse con ellos.El investigador que utiliza
el mtodo de observacin para la recopilacin
de datos atestigua y registra la informacin
conforme ocurren los eventos o recopila la
evidencia de los registros de acontecimientos
pasados.
103
Lic. Ricardo Snchez Gutirrez
Que se observa
Acciones fsicas: patrones de conducta.
Comportamiento verbal: tono de voz.
Comportamiento expresivo: expresin facial.
Relaciones y ubicaciones espaciales: contadores de
trfico, cercana o lejana en la relacin.
Patrones temporales: el tiempo dedicado a la
actividad.
Objetos fsicos: Cantidad de peridicos reciclados,
productos almacenados en la despensa
Registros verbales y grficos: Contenido de
anuncios.
104
Lic. Ricardo Snchez Gutirrez
Limitaciones observacin
Se utiliza para describir comportamientos, pero
No es posible observar los fenmenos
cognoscitivos como las actitudes, motivaciones
y preferencias.
Los comportamientos observados son de corta
duracin. Los que comportan varios das o
semanas son muy costosos.

105
Lic. Ricardo Snchez Gutirrez
Evidencia complementaria
Sirve para ampliar los resultados de otras
formas de investigacin al proporcionar
evidencia complementaria en relacin con los
verdaderos sentimientos de los individuos.
(un grupo sobre crema de manos se grab,
antes de saber el tema todas tenan las manos
sobre la mesa, despus, las ocultaban bajo la
mesa o fuera de la vista.
Importancia de la comunicacin no verbal.
106
Lic. Ricardo Snchez Gutirrez
Observacin directa
Genera un registro detallado de lo que las
personas hacen.
El observador representa un papel pasivo.
A veces es la mejor forma de obtener una
informacin. Por ejemplo los precios de la
competencia. Las afluencias de pblico
107
Lic. Ricardo Snchez Gutirrez
Erorres en la O. directa
El observador puede registrar los eventos de
forma subjetiva. (asignar mal en nivel
econmico).
Puede omitir algn detalle con lo que la toma de
informacin es incompleta.
Mala interpretacin de los datos

108
Lic. Ricardo Snchez Gutirrez
Observacin de situaciones
fingidas
Se crean situaciones fingidas o simuladas de la
realizacin de un compra o utilizacin de un
servicio.
109
Lic. Ricardo Snchez Gutirrez
Ejemplo conteo de circulacin en una calle (calle
de la montera) realizado por una mujer.
problemas
110
Lic. Ricardo Snchez Gutirrez
Anlisis de contenido
Abarca muchos conceptos y tcnicas .
Al hablar de la lectura de untexto podemos hablar de :
1. Un texto escrito, grabado, pintado, filmado.
2. Un texto propio o ajeno
3. Un txto espontneo o preparado para previamente y
orientado para su anlisis (toma de notas del
investigador cualitativo).
4. Un documentopersonal (diario, carta) o una ficha
cumplimentada para testimoniar algn acto oficial
(certificado de nacimiento, testamentos, etc).
111
Lic. Ricardo Snchez Gutirrez
Enfoques en los anlisis de textos
Anlisis cuantitativo de los mass media,
especficamente de la prensa diaria, orientado al
estudio de los temas, los sujetos,las ideas, que
pasan a ser aislados, contados, relacionados
dentro del texto y, finalmente interpretados.
Anlisis semitico basado en el anlisis
estructural del lenguaje.
Enfoque narrativo, cualitativo. Analiza el
contenido del discurso.
112
Lic. Ricardo Snchez Gutirrez
Bloque que comprende el texto
Comprende al menos, cinco bloques de
informacin:
La que se refiere al contenido del mismo
La que se refiere al emisor (autor).
La que se refiere al destinatario.
La que se refiere a la codificacin utilizada.
Las que se refiere a los canales (soportes) del
texto.
113
Lic. Ricardo Snchez Gutirrez
El anlisis de contenido acepta los documentos
tal como llegan, pero dado que estos no vienen
preparados para el estudio cientfico, el analista
se ve obligado
114

Вам также может понравиться