Вы находитесь на странице: 1из 36

ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

5,5

5,0

4,5

4,0

3,5

17
3,0
N= 5 12

Públic a Privada

Naturaleza jurídica

Segunda parte edición electrónica: Muestreo e Inferencia


Estadística Paramétrica.
León Darío Bello Parias

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 1 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
Aviso Legal

Este texto no puede ser distribuido por ningún medio impreso,


electrónico o cualquier otra forma sin permiso escrito del autor. Para
adquirir este ebook sobre Muestreo e Inferencia Estadística debe
visitar uno de los sitios que le menciono a continuación
www.leondariobello.com/e-books-estadistica o
www.ciemonline.info/blog/libros-electronicos-estadistica, allí encontrará
la manera de realizar los pedidos, además, diversa información sobre
temas de estadística y de mercadeo online.

En caso de requerir alguna consulta puntual sobre los temas expuestos


en el texto, pueden expresarla escribiendo al correo
ldbello753@gmail.com o solicitar una charla online en mi sala de
conferencias en la dirección www.gvowebcast.com/conference,leondario.

Tengo la convicción de que éste libro le será de gran ayuda para mejorar
y fortalecer sus conocimientos en el diseño muestral y la posterior
generalización de resultados utilizando software estadístico como:
Epidat 3.1 y SPSS.

Adquiera el ebook “Estadística como apoyo a la investigación” modulo 2


en su edición digital, tiene todo el soporte y asesoría personalizada para
comprender los diferentes temas abordados en el texto. Con la compra
de uno sólo de los ebooks referenciados en nuestros sitios web, tiene
derecho a la membresia del club estadístico y marketing por un año a
partir de la fecha de su primera compra.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 2 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

Adelante y muchos éxitos.

León Darío Bello Parias

www.leondariobello.com/e-books-estadistica

www.ciemonline.info/blog/libros-electronicos-estadistica

ldbello@leondariobello.com

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 3 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

CONTENIDO
INTRODUCCIÓN

PRESENTACIÓN Página

CAPÍTULO 1

CONCEPTOS BASICOS

1. CONCEPTOS GENERALES 15
1.1. CONCEPTOS GENERALES 15
1.2 .PASOS PARA SELECCIONAR UNA MUESTRA 18
1.3 MUESTREOS PROBABILISTICOS 21
1.3.1 Muestreo Aleatorio Simple (MAS) 22
1.3.2 Tamaños de Muestra 23
1.3.2.1 Tamaño de muestra para estimar un promedio poblacional, utilizando
el Epidat 3.1 29
1.3.2.2 Tamaño de muestra para estimar una proporción poblacional,
utilizando el Epidat 3.1 32
1.3.2.3 Tamaño de muestra para la comparación de dos medias en grupos
independientes, utilizando el Epidat 3.1 36
1.3.2.4 Tamaño de muestra para la comparación de dos proporciones en
grupos independientes 42
1.3.4 Muestreo Sistemático (MS) 43

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 4 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
1.3.5 Muestreo Aleatorio Estratificado (MAE) 47
1.3.6 Muestreo por Conglomerados una Sola Etapa 54
1.3.7 Muestreo por Conglomerados Bietápico 55
1.4 MUESTREOS NO PROBABILISTICOS 56
1.4.1 Muestreo de Conveniencia 56
1.4.2 Muestreo a Juicio 57
1.43 Cuotas 58
1.4.4 Bola de Nieve 59
Ejercicios 60
CAPÍTULO 2

INFERENCIA ESTADÍSTICA PARAMÉTRICA


Estimación por Intervalos de Confianza-Epidat 3.1

2.1 DISTRIBUCIONES MUESTRALES 75


2.1.1. Media Muestral 77
2.1.2 Proporción Muestral (Pm) 80
2.1.3. Varianza Muestral 81
2.1.4. Diferencia de medias muestrales 82
2.1.5. Diferencia de proporciones muestrales 84
2.1.6. Razón de varianzas 86
Ejercicios 87
2.2 ESTIMACIÓN PUNTUAL 90
2.3 INTERVALOS DE CONFIANZA (IC) 92
2.3.1 Intervalos de confianza para la media poblacional (µ) 93
2.3.2 Intervalos de confianza para la proporción (P) 101

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 5 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
2.3.3 Intervalo de confianza para la Desviación Estándar (σ) 105
Ejercicios 108
2.3.4 Intervalos de confianza para la diferencia de medias (µ 1-µ2) en muestras
independientes 112
2 2
2.3.5 Intervalo de confianza para la razón de varianzas (σ 1/σ 2) 113
2.3.6 Intervalos de confianza para la diferencia de medias (µ 1-µ2) en
muestras dependientes o relacionadas 118
2.3.7 Intervalos de confianza para la diferencia de proporciones (P 1-P2) 124
Ejercicios 129
CAPÍTULO 3

INFERENCIA ESTADÍSTICA
PRUEBAS DE HIPÓTESIS PARAMÉTRICAS

3.1 PARALELO ENTRE ESTADÍSTICA PARAMÉTRICA Y NO


PARAMÉTRICA 134
3.2 COMENTARIOS GENERALES PRUEBAS DE HIPÓTESIS 136
3.3. DEFINICIONES BÁSICAS 139
3.3.1 Tipos de hipótesis según el objetivo 140
3.3.2 Tipos de error 141
3.3.3 Procedimiento en Pruebas de Hipótesis 142
3.3.4 Valor P 145
3.4 Prueba de Normalidad- Smirnov – Kolmogorov – Lilliefors 146
3.5 Prueba de hipótesis para μ 153
3.6 Prueba de hipótesis para una proporción P 159

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 6 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
3.7 Prueba de hipótesis para la Desviación Estándar (σ) 165
3.8 Pruebas de hipótesis para la diferencia de medias (µ 1-µ2) en muestras
independientes y normales 169
3.9 Pruebas de hipótesis para la diferencia de medias (µ 1-µ2) en muestras
dependientes y normales 176
3.10 Pruebas de hipótesis para la diferencia de proporciones (P 1-P2)
181
Ejercicios 185

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 7 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

PRESENTACIÓN

Tomando la experiencia del autor acumulada en 25 años de docencia


universitaria en diversas instituciones de Colombia, actualmente docente de
la Universidad de Antioquia y aunado lo anterior con el trabajo investigativo,
originado por su carácter de asesor estadístico en múltiples trabajos y áreas
del saber, el presente texto digital busca cerrar la brecha presentada entre la
enseñanza de la estadística y su aplicación en las diferentes áreas del
conocimiento, de una manera comprensible y amigable para los lectores.

El objetivo del ebook dos es desarrollar los temas de muestreo e inferencia


estadística paramétrica. Los temas de muestreo son abordados desde la
práctica, analizando casos concretos y diversos en cuanto a las temáticas,
y además, se utiliza software estadístico de uso gratuito para realizar los
cálculos matemáticos.

Se hace énfasis en las discusiones previas a definir los valores de los


factores que se requieren para calcular el tamaño de muestra. Si usted
conoce las respuestas a todos los interrogantes que se citan a continuación,
no necesita leer el capítulo 1.

• ¿Qué se debe tener en cuenta para definir la confiabilidad en un estudio


descriptivo?

• ¿Cuándo es adecuado trabajar con proporciones y cuando con

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 8 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
promedios?

• ¿Cómo se define el error admisible de que se habla al calcular el n?

• ¿Qué insidencia tiene la forma de presentar los resultados en el tamaño


de muestra?

• ¿Siempre es preferible realizar muestreos probabilísticos?

• ¿Cuál es el número adecuado para realizar una prueba piloto?

• ¿Cuál es una confiabilidad adecuada en estudios de percepción y que


nos permita ahorrar dinero?

El número de preguntas se puede incrementar según el diseño muestral


seleccionado y según las bases de cada lector, por ello, tendrán la
posibilidad de consultar al autor sobre sus propias inquietudes en la sala de
conferencias www.gvowebcast.com/conference,leondario

Luego de llevar a cabo un diseño de muestreo adecuado, se puede pensar


en realizar pruebas que permitan sacar conclusiones útiles y oportunas que
apoyen la toma de decisiones. Este libro digital presenta las pruebas
usuales en las que se presumen los datos se comportan como la
distribución normal (Ebook 1). Incluso, se inserta la prueba de Smirnov
Kolmogorov, para identificar la pertinencia de la prueba seleccionada o por
el contrario, se requiere una prueba no paramétrica (Ebook 3). Algunos
interrogantes que puede resolver son:

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 9 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
• ¿Conoce en qué casos es preferible utilizar procedimientos
paramétricos?

• ¿Sabe que supuestos hay que validar y cómo hacerlo para utilizar
alguna prueba paramétrica?

• ¿Identifica cuando utilizar pruebas de hipótesis y cuando intervalos de


confianza?

• ¿Ha leido sobre los posibles sesgos que tienen las pruebas de hipótesis
y el debate sobre su pertinencia?

Estas son sólo algunos conceptos que aprenderá o al menos, que tendrá
claros para que se forme una opinión sobre la pertinencia de los
procedimientos estadísticos paramétricos.

Con lo anterior, se puede afirmar que los usuarios de éste ebook son
personas que requieren definir tamaños de muestras adecuadas para
estudios fundamentalmente descriptivos, aunque se trabajan casos
puntuales para estudios analiticos. También es útil, para identificar en que
casos se utilizan las diferentes pruebas de inferencia paramétrica utilizando
software estadísticos confiables como son el Epidat y el SPSS.

SÍNTESIS DE LOS CAPITULOS.


Capítulo 1. MUESTREO EN ESTUDIOS DESCRIPTIVOS: Aparte de definir
los conceptos fundamentales de la teoría de muestreo, se sugieren los

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 10 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
pasos para determinar el tamaño de muestra teniendo en cuenta estudios
realizados por el autor y discutido los pasos por un grupo de profesionales.
Se discute además, sobre los tipos de muestreo: probabilísticos y no
probabilísticos y su pertinencia, utilizando el programa Epidat 3.1 para
realizar los cálculos matemáticos, ganando en confiabilidad y oportunidad
de los resultados, debido a que también aporta en la selección de las
unidades de análisis de manera aleatoria según el modelo probabilístico
seleccionado. Destaco el hecho de que se calcula el tamaño de muestra no
sólo para una propoción y un promedio, sino, para la comparación de dos
medias y dos proporciones en grupos independientes utilizando las
siguientes fórmulas.

 ( zα / 2 − z β ) S 
2

n = 2 
 µ1− µ 2 

n=
[Z α * 2 P (1 − P ) + Z α * P1 (1 − P1 ) + P2 (1 − P2 ) ]
2

( P1 − P2 ) 2

Capítulo 2. INFERENCIA ESTADÍSTICA PARAMÉTRICA, Estimación por


Intervalos de Confianza-Epidat 3.1: Se introduce el tema de las
distribuciones muestrales como insumo para entender las fórmulas
utilizadas tanto para los intervalos de confianza como en las pruebas de
hipótesis. Se repasa el cálculo de los valores de T y Z con el Excel con el fin
de encontrar los límites de los intervalos de confianza, además, de
apoyarnos en el Epidat para verificar dichos valores. Se da énfasis a las

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 11 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
interpretaciones de las salidas de los software estadísticos, tanto para el
promedio, proporción, varianza, como para la diferencia de promedios y
proporciones, además, de la razón de varianzas.

Capítulo 3. INFERENCIA ESTADÍSTICA PARAMÉTRICA, Pruebas de


hipótesis paramétricas- Epidat 3.1 y SPSS: Se parte de diferenciar las
pruebas paramétricas de las no paramétrica, para continuar con la
conceptualización usual de términos de las hipótesis como hipótesis nula,
alterna, tipos de error. Se describe el procedimiento general, hasta acá, todo
similar a la mayoría de textos, sin embargo, se presenta la prueba de
Smirnov kologorov, para identificar si realmente las pruebas a aplicar si son
pertinentes. De nuevo nos apoyamos en el Epidat para proceder a calcular
los estadísticos que apoyan las decisiones en las pruebas de hipótesis,
haciendo énfasis en las interpretaciones de los valores entregados por el
software. Es útil mencionar que para mejor comprensión de los temas, se
resuelven ejercicios de manera manual, para quien considere necesario
entender que realiza el programa estadístico.

Visite nuestros sitios www.leondariobello.com/e-books-estadistica o


www.ciemonline.info/blog/libros-electronicos-estadistica y adquiera éste
ebook, sin duda, le será de gran ayuda en el avance de su dominio en los
diseños muestrales y su posterior generalización de resultados a toda la
población. Recuerde que nos puede contactar para dudas en vivo en la sala
www.gvowebcast.com/conference,leondario con cita previa y desde
cualquier parte del mundo.

Con el uso de objetos de aprendizaje (OA), se permite mejorar y ampliar las

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 12 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
estrategias de aprendizaje, uno de ellos, es:
www.leondariobello.com/OA/muestreo

Con la compra de uno sólo de los ebooks referenciados en nuestros sitios


web, tiene derecho a la membresia del club estadístico y marketing por un
año a partir de la fecha de su primera compra, dicha membresia se valora
en un mínimo valor de 120 dólares anuales, adquiriendo el derecho de
participar en algunos seminarios cortos de reforzamiento en temas afines
a nuestro interés, además, de información útil, propia y actualizada.

Continue avanzando, eso le permitirá optimizar su tiempo.

León Darío Bello Parias


Docente Universidad de Antioquia
Facultad Nacional de Salud Pública

www.leondariobello.com/e-books-estadistica
www.ciemonline.info/blog/libros-electronicos-estadistica

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 13 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
CAPITULO 1
La efectividad del método de
muestreo y por ende la validez de
los resultados depende en grado
sumo de la imaginación del
investigador.

LEÓN DARÍO BELLO PARIAS

MUESTREO
Utilización EPIDAT 3.1
El definir el tamaño muestral y el método de selección de las unidades de
análisis, es tal vez el punto más crucial en el proceso investigativo, ya que
dependiendo de éste, será posible generar inferencias o generalizaciones a
toda la población, y por ende, definir políticas y tomar acciones que
impacten el entorno del objeto de estudio.

Es evidente que el reducir costos en todas las actividades que se realizan


en la cotidianidad es una prioridad, la investigación no es la excepción, por
lo tanto, es menester en lo posible trabajar con una parte de la población
objeto de estudio, en lugar de realizar un censo. No obstante, se presentan
algunos casos donde es imprescindible medir o auscultar a todos los
elementos del universo bajo estudio. Este capitulo pretende dilucidar y
presentar alternativas de cuando se requiere seleccionar una muestra y
cuando no, además, de presentar una posición sobre lo que en realidad es
viable y como se pueden minimizar riesgos al momento de optar por un
determinado procedimiento.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 14 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

Si la situación fuera meramente del número de observaciones a seleccionar,


la discusión se reduciría a utilizar algunos programas computacionales
como: Epiinfo y Epidat (libre distribución) entre muchos otros, la discusión
debe ir más allá. Lo que se busca entonces, es presentar algunas
experiencias del autor en la asesoría de diversos estudios, así como
presentar los procedimientos de muestreo más usuales y utilizar el
programa Epidat 3.1 para realizar los cálculos.

El Epidat 3.1 es un software de libre distribución, por lo tanto, puede ser


bajado del sitio www.leondariobello.com en la sección Programas
estadísticos colocada en la barra lateral derecha. Este software ha sido
diseñado e impulsado por dos instituciones, XUNTA DE GALICIA –
Consellería de Sanidade – Dirección Xeral de Saúde Publica y la
Organización Panamericana de la Salud (OPS/OMS). Es un programa
elaborado para datos tabulados haciendo énfasis en el análisis
Epidemiológico, no obstante, es útil y aplicable a cualquier área del
conocimiento que requiere de procedimientos de inferencia y muestreo.
Como se verá es un software de fácil manejo y con ayudas bien elaboradas,
no sobra entonces, reconocer el aporte de estas instituciones al desarrollo y
promulgación de la estadística. No obstante, se reconoce por dichas
organizaciones, algunos errores encontrados en unos pocos
procedimientos. De los utilizados en éste texto, se tiene: Proporción para
una población, se detectó error en el IC cuando el número de casos es igual
al tamaño de muestra (caso muy poco común). Dos poblaciones, medias
independientes. Se presenta error en el cálculo del valor p para la prueba de
comparación de varianzas.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 15 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
1.1 CONCEPTOS GENERALES.

La determinación del tamaño de muestra es una tarea que se realiza


durante la fase de diseño de un estudio para establecer el número de
elementos o sujetos que deben seleccionarse para participar en el mismo.
El abanico de criterios susceptibles de ser considerados para efectuar este
cálculo es amplio y variado, y la elección concreta que se haga depende,
entre otras cosas, de la información de que se disponga y de las
características del procedimiento estadístico que se va a utilizar para
analizar los datos. Es claro que el procedimiento de selección y el tamaño
está cruzado por los objetivos de la investigación, una cosa es si se quiere
estimar un párametro poblacional y otra si el objetivo es determinar
diferencias significativas entre tratamientos. Además, las poblaciones son en
lo general diferentes y por lo tanto, deberán utilizarse criterios distintos para
seleccionar las unidades bajo estudio.

Los profesionales Pedro Luis Do Nacimiento Silva y Zelia Magalhaes


Bianchini, del Instituto Brasileiro de Geografía e Estatistica, citan dos
caminos posibles para el cálculo del tamaño de muestra: “El primero es fijar
el presupuesto de la encuesta, y partiendo de allí, determinar el mayor
tamaño de muestra posible según los recursos disponibles. El segundo, es
especificar uno o más blancos de inferencia y el margen de error aceptable
en la estimación de esas cantidades y, con esos parámetros y algún
conocimiento sobre la estructura de variación de las variables de interés en
la población, determinar el tamaño mínimo de la muestra que satisfaga los
requisitos de presición establecidos.”

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 16 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
Considero que son sugerencias a considerar en el momento de tomar una
decisión en cuanto al tamaño de muestra.

La siguiente diapositiva presenta los elementos claves que se deben


manejar para lograr diseñar un muestreo adecuado.

POBLACION MARCO MUESTRAL

CENSO UNIDAD MUESTRAL

MUESTRA ELEMENTO MUESTRAL

MUESTREO UNIDAD DE ANALISIS


Material preparado por:
Profesor León Darío Bello Parias

Población hace referencia a todas las unidades objeto de estudio, puede ser
finita o infinita, además, no tiene que ser necesariamente personas. Ejemplo
de población puede ser: Todas las amas de casa del municipio o provincia
de Andes, todos los estudiantes de su universidad o escuela secundaria, los
sacos de café producidos en el año 2010, el número de colectivos que
transportan personas en el suroeste antioqueño (Colombia), etc.

Si se estudia toda la población, se dice que se realizó un censo; por lo tanto,


se puede definir censo como el recuento de toda la población bajo estudio.
Es claro que no siempre se puede realizar, debido a múltiples causas, entre
ellas, los costos altos, la falta de oportunidad de la información, el

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 17 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
incremento del error humano, al tener que requerir de un mayor número de
recolectores de datos y posterior digitación. Lo anterior implica que en la
práctica se prefiera el seleccionar una parte de la población, llamada
muestra, para realizar los análisis respectivos. No obstante, en algunos
casos se prefiere el censo a la muestra, por ejemplo, cuando la población no
es muy grande y a su vez es muy variable, además, de que se pueda
recoger la información.

Por lo tanto la muestra es un subconjunto de la población estadística, es


decir, es una parte de ella y por lo tanto tiene que poseer las mismas
características de la población objeto de estudio. Se dice que es
representativa, si representa adecuadamente la composición de la
población, es decir, que las diferentes categorías claves del estudio estén
representadas en la muestra. Es muy poco probable lograr representatividad
de las variables objeto de estudio, debido, a que precisamente es de ellas
las que se está identificando su comportamiento.

El procedimiento que orienta el proceso de recolección de datos, se conoce


como muestreo, es pues la herramienta estadística que sugiere: cómo,
cuándo y dónde se obtienen los datos, además, cuál es el número
adecuado a seleccionar para luego ser procesados y generalizados a toda
la población.

En algunos casos, se requiere de un marco muestral, el cual es un conjunto


de listas de todas las unidades de muestreo, estas listas, también pueden
ser mapas u otras formas que sirvan de base para determinar las unidades
de muestreo. Para ilustrar lo anterior, se puede pensar que para seleccionar

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 18 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
niños en un municipio, se requiere: 1. una lista de escuelas, 2. una lista para
cada uno de los grupos que tiene cada escuela seleccionada, y 3. una lista
de niños dentro de cada uno de los grupos. En éste caso, las listas son el
marco muestral total, mientras que sus componentes son los elementos
muestrales, que en algunas oportunidades son las mismas unidades de
muestreo.

Es útil profundizar en los últimos conceptos: La unidad muestral está


compuesta por elementos, tal es el caso de una cajetilla de cigarrillos, la
unidad es la cajetilla, pero lo que realmente se mide es el cigarrillo, que
toma el nombre de elemento muestral o unidad de análisis. Sin embargo, en
otros casos, la unidad de análisis puede ser incluso algo más pequeña,
como por ejemplo, en salud, los médicos pueden operar personas, pero su
análisis se hará sobre el corazón o el hígado, esto último se conoce como
unidad de análisis.

En la práctica se presentan tres situaciones con relación al marco muestral:


a) se dispone de todo el marco al comienzo del estudio y b) el marco se va
conformando en la medida que el muestreo avanza y c) no existe.

1.2 PASOS PARA SELECCIONAR UNA MUESTRA.

La determinación del tamaño de muestra en los diferentes estudios ha sido


y será punto clave en el desarrollo de los mismos, existen múltiples
procedimientos para el cálculo de una muestra, por ello, se requiere definir
unos criterios generales y sugeridos en la literatura estadística; es claro que
dependiendo de las particularidad del estudio y de la información disponible,

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 19 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
estimación, situación que no se da en los muestreos no probabilísticos. Los
muestreos más usuales son: Muestreo simple aleatorio (MAS), Muestreo
sistemático en fases (MSF), Muestreo aleatorio estratificado (MAE) y
Muestreo por conglomerados (MC).

Como ventaja de los muestreos probabilísticos esta la eliminación de la


subjetividad, el permitir medir la precisión de los estimadores, sin embargo,
es importante tener en cuenta que no garantizan representatividad por sí
solos, se debe ayudar con un buen diseño y una buena construcción del
marco muestral.

1.3.1 Muestreo Aleatorio Simple (MAS). Es el procedimiento probabilístico


de selección de muestras más sencillo y conocido, no obstante, en la
práctica es difícil de realizar debido a que requiere de un marco muestral y
en muchos casos no es posible obtenerlo. Puede ser útil cuando las
poblaciones son pequeñas y por lo tanto, se cuenta con listados. Cuando
las poblaciones son grandes, se prefiere el muestreo en etapas. Se utiliza
ampliamente en los estudios experimentales, además, de ser un
procedimiento básico como componente de métodos más complejos
(muestreo estratificado y en etapas).

Se caracteriza por que otorga la misma probabilidad de ser elegidos a todos


los elementos de la población. Para él calculo muestral, se requiere de: el
tamaño poblacional, si ésta es finita, del error admisible y de la estimación
de la varianza.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 23 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
La siguiente figura muestra las fórmulas a utilizar en este muestreo cuando
se trata de estimar la media poblacional o la proporción.

Tamaño de muestra para estimar la media y Tamaño de muestra para estimar la media y
la proporción de la población proporción de la población

z2α /2S2 n0
zα /2 : Percentil calculado con la distribución
normal, depende de la confiabilidad del estudio.
n0 = ; n=
e2 1 + n0 S2: Varianza muestral. Se usa en v. Cuantitativas.
e2: Error admisible, lo define el investigador.
z2α /2pq n0 se utiliza para
N
población
n0 = infinita, en caso de conocer
p: Probabilidad de éxito en variables binimiales.
e2 N, se ajusta con la fórmula q: Probabilidad de fracaso, complemento de p.
de n.
Profesor León Darío Bello Parias
Profesor León Darío Bello Parias

Es importante realizar algunos comentarios con respecto al número surgido


de la aplicación de estas fórmulas matemáticas.

1.3.2 Tamaños de Muestra. La pregunta más común y más trivialmente


contestada es: “Cuántos elementos debo seleccionar?”, la respuesta usual
es 384, contestada como ya se dijo en muchos casos de manera mecánica.
Lo anterior, originada por paradigmas consolidados y que consideran que la
muestra se requiere para analizar variables dicotómicas, donde la
probabilidad de éxito y la de fracaso son iguales (p=q=0.5), además, se
sugiere casi indistintamente de los objetivos del estudio una confiabilidad del
95%, que si bien es buena, no siempre tiene que ser así. Por último, es
usual que los no estadísticos consideren que el error de estimación es
complementario a la confiabilidad y por ende lo asumen como e=  5%. Con

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 24 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
estos valores y como se verá más adelante, la muestra sugerida es de 384.
Lo que se pretende con esta disertación, es llamar la atención sobre éste
particular. Pensando que el objetivo de la investigación será lo que prime
para determinar el tamaño de muestra.

Los casos más usuales se dan para trabajos donde la distribución Binomial
es la que interesa y por ende se requiere estimar la proporción de éxitos y
cuando lo determinante es una variable cuantitativa y el interés es estimar
un promedio. Para ambos casos, se presenta los requerimientos previos.

Promedios
Proporciones
Definir la confiabilidad del Definir la confiabilidad del
estudio estudio
Definir el error admisible (que Definir el error admisible (que
tanto se acepta desviarnos tanto se acepta desviarnos del
del parámetro real). Se da en parámetro real). Se da en valor
porcentaje. absoluto.
Estimar la proporción de Estimar la desviación de la
éxitos (P). variable clave (Sx).
Para el caso de poblaciones finitas, se requiere conocer N
(tamaño de la población)

Es importante ahondar en dos conceptos importantes: primero, el Error


Muestral de estimación el cual es la diferencia entre el verdadero valor de la
población (parámetro) y el obtenido en la muestra (estadístico), por lo tanto,
dice qué tanto se aleja nuestra estimación del verdadero valor poblacional.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 25 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

Zα / 2 * S 2 (1,81) 2 * ( 400)
n0 = = = 258,85
e2 ( 45) 2

n0 285,85
n= = = 258,41
n0 285,85
1+ 1+
N 150.000

Donde:

Z2α/2 = Percentil de la distribución normal cuando se tiene una confiabilidad


del 93%. = 1.81

S: Desviación de la variable cuantitativa objeto de estudio. Usualmente se


estima con una prueba piloto.

e: Error que se admite como viable y se mide en la misma unidad de medida


que la variable. Se considero para efectos del ejemplo, un error de 45
gramos.

1.3.2.2 Tamaño de muestra para estimar una proporción


poblacional, utilizando el Epidat 3.1. En éste caso la ruta es:
Métodos+Muestreo+Tamaño de muestra+proporción.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 33 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

Determinar el número de profesionales a encuestar en una región donde se


estima en 4500 el número de ellos. El objetivo del estudio es determinar
entre otras cosas, la intencionalidad de seguir estudios de maestría, con una
prueba piloto de 20 profesionales, de terminó que la proporción de
profesionales con afán de continuar sus estudios era del 25%. La
confiabilidad del estudio, dado que sus resultados serán validados con otras
fuentes se definió en el 90%, el error puede estar entre el 4 y el 6%,
dependiendo de los costos se definirá cual tamaño seleccionar.

De manera manual se procede así:

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 34 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

Zα / 2 * P * (1 − P ) (1,645) 2 * 0,25 * 0,75


n0 = = = 317,11
e2 (0,04) 2

n0 317,11
n= = = 296,26 Se requieren 297 profesionales si
n0 317,11
1+ 1+ se quiere un error del 4% en la
N 4.500
estimación. Los resultados son
coherentes con los entregados por
el Epidat 3.1.
Donde:

Z2α/2 = Valor tabulado de la distribución normal cuando se tiene una


confiabilidad del 90%. = 1.645

P: Proporción de profesionales que desean continuar sus estudios de


posgrado. El valor se estimó con estudios previos.

(1-P): Proporción de profesionales que no desean continuar sus estudios de


posgrado.

e: Error que se admite como viable y se mide en porcentaje, para el caso se


consideró adecuado el 4%.

Observaciones Generales.

Se destacan los siguientes aspectos, si se conoce el tamaño de la


población y éste no es muy grande, es útil utilizarlo, ya que esto disminuye

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 35 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
1.3.2.3 Tamaño de muestra para la comparación de dos medias en
grupos independientes, utilizando el Epidat 3.1. En estos casos, se trata
de determinar si los promedios de dos muestras procedentes de dos
poblaciones independientes con distribuciones aproximadamente normales
son iguales, o por el contrario, hay evidencia estadística de que sus
promedios son diferentes. En el área de la salud, es usual comparar la
eficiencia de dos tratamientos, de ahí, la importancia de abordar el tema en
esta edición.

Como insumos para el cálculo del tamaño de muestra se requiere:

• Definir la magnitud de la diferencia a detectar que tenga interés práctico


y esté avalada por expertos.
• Estimar la desviación estándar para cada una de las poblaciones. Es
usual asumir como iguales las desviaciones. Machín y cols. plantean
como un estimador de la desviación el dividir el rango de los datos por 4,
situación que simplifica los cálculos en detrimento de una muestra mayor.
El Epidat 3.1 permite seleccionar entre dos opciones excluyentes:
• Varianzas conocidas: Los valores que pide el programa son las
desviaciones estándar de cada grupo, que pueden ser iguales o no.
• Varianzas desconocidas pero iguales: en este caso se asume que los
dos grupos tienen la misma desviación estándar, que no se conoce.
• Definir la confiabilidad del estudio (α).
• Definir la potencia de la prueba (1 - β).
• Definir si la hipótesis va a ser unilateral o bilateral.

Formula a utilizar:

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 37 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

 ( zα / 2 − z β ) S 
2

n = 2 
 µ1− µ 2 

Donde:

• n = sujetos necesarios en cada una de las muestras


• Zα/2 = Valor Z correspondiente al riesgo deseado del error tipo I.
• Zβ = Valor Z correspondiente al riesgo deseado del error tipo II.
• S2 = Varianza de la variable cuantitativa que tiene el grupo control o
de referencia.
• μ1- μ2 = diferencia que se desea detectar (datos cuantitativos).

La ruta para acceder al procedimiento es: Métodos + muestreo + Cálculo


del tamaño demuestras + comparación de medias + grupos
independientes.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 38 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
CAPITULO 2
Ningún hombre sabe de lo que es
capaz hasta que lo intenta.

CHARLES DIKENS.

INFERENCIA ESTADÍSTICA PARAMÉTRICA


Estimación por Intervalos de Confianza-Epidat 3.1
Luego de reconocerse la importancia de la aplicación de la teoría de
muestreo, en el sentido de que en muchos casos es necesario trabajar con
ella y en otros recomendable hacerlo, lo que sigue es poder generalizar la
información obtenida a toda la población; más específicamente, hace
inferencias (estimaciones) acerca de los parámetros de ella, a partir de
muestras representativas extraídas de éstas. Es claro entonces que
cuando se utiliza censo, no es posible realizar inferencias. Los parámetros
más usuales a estimar son: el promedio y la proporción. De los tres
procedimientos de estimación: puntual, intervalos de confianza y pruebas de
hipótesis, se plantean los dos primeros, para abordar el tema de pruebas e
hipótesis en el siguiente.

Lo que se busca entonces, es con los datos obtenidos en una muestra,


encontrar valores próximos a los reales de la población; valga decir, si la
muestra informa que el promedio del número de hijos por familias
desplazadas en Antioquia, Colombia, es de cuatro, el verdadero valor
debería estar muy próximo a dicho estimador. Los procedimientos

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 68 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
inferenciales fueron desarrollados por J. Neyman y E. Pearson (1933).
Dependiendo de los objetivos de la investigación, se puede estimar
parámetros o contrastar (validar) hipótesis. En la actualidad, los editores de
revistas prefieren utilizar IC en lugar de pruebas de hipótesis, con el
argumento de que el intervalo de confianza (IC) entrega mayor información
sobre los datos, situación que, de hecho, es cierta.

Es importante resaltar que la teoría siguiente es válida siempre y cuando los


datos tengan un comportamiento aproximadamente normal, en caso
contrario, se deben utilizar procedimientos no paramétricos, algunos de los
cuales se analizarán en el capítulo siguiente.

Por lo tanto, se recomienda realizar en primera instancia las pruebas de


normalidad o al menos identificar la forma de los datos de manera gráfica
(histograma).

Uno de los objetivos de este ebook es simplificar la utilización de fórmulas.


Por ello, se presentan las que realmente son utilizadas de manera asidua en
las investigaciones, estas y otras aplicaciones que requieran de otras
fórmulas menos usuales, se trabajan con el apoyo del Epidat 3.1.

La inferencia paramétrica tiene un soporte importante en lo que se conoce


como distribuciones muestrales, de ahí, que se haga referencia al tema
antes de abordar los diferentes procedimientos de inferencia.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 69 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
Ejercicios

1. En qué casos se utiliza la distribución z y cuándo la t.


2. Enumere las características de un buen estimador.
3. Los siguientes datos fueron obtenidos de un grupo de usuarios
deudores del Banco MEGA.

Nombre Edad Genero Saldo Sucursal


José 45 Hombre 1.258.659 Belén
Pérez
María 39 Mujer 5.469.285 Centro
Rojas
Roberto 42 Hombre 890.000 Centro
Vélez
Margarita 29 Mujer 3.598.250 Centro
Rua
Pedro 40 Hombre 12.259.540 Belén
Pulga
Jaime 28 Hombre 788.569.458 Centro
Arango
Calcule los estimadores para el promedio y para la proporción (defina el
suceso favorable), para aquellas variables que lo ameriten.

5. Se sospecha que los salarios por hora de los vigilantes en un


centro comercial tienen una distribución aproximadamente normal, con
una desviación estándar de $450. Para estimar el promedio de dichos

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 103 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
empleados, se selecciona un m.a de 16 personas, encontrando un
promedio de $2500 por hora. A) Encuentre el IC del 90% para el
verdadero promedio. Resuélvalo de manera manual y con la ayuda del
Epidat 3.1. B) Recalcule el intervalo usando una confianza del 92%.
¿Qué puede concluir con respecto a al precisión del intervalo?

6. Calcule el IC para el promedio poblacional de la estatura de los


adultos trabajadores en minería. Para ello se seleccionó una m.a de 20
personas, los datos son los siguientes: 1.78, 1.75, 1.75, 1.68, 1.85, 1.82,
1.80, 1.75, 1.78, 1.86, 1.89, 1.68, 1.78, 1.78, 1.80, 1.82, 1.76, 1.74, 1.79,
1.68. Utilice una confianza del 94%. Compare los resultados obtenidos
usando Excel y Epidat 3.1 y manualmente.

7. En una determinada región, se estima que el 15% de las mujeres


se someten a diferentes tratamientos para adelgazar. Calcule el IC del 90
y 95% para la verdadera proporción de mujeres en tratamiento, sabiendo
que la muestra obtenida fue de 100 mujeres. Use la formula clásica y
compare los resultados con el Epidat 3.1.

8. Luego de consultar a 384 personas mayores de 18 años sobre la


favorabilidad de un candidato presidencial, se encontró que 250 tenían
opinión favorable sobre el candidato, encuentre el IC del 93% para
determinar la verdadera proporción de personas a favor del candidato.
Confronte los resultados manuales y usando el software estadístico.

9. Se calculó los gastos en pasajes de 20 estudiantes de pregrado. La


varianza de la muestra fue de 1.000.000. Construya los intervalos de

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 104 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
confianza del 90 y 95 por ciento para σ2 y σ.. Interprete los resultados.

10. Una muestra de 25 niños sanos participó en un experimento acerca


de la duración del sueño profundo en minutos, para ello, se registró el
tiempo total transcurrido en dicho estado. Los resultados fueron: 45, 50,
45, 40, 52, 60, 65, 58, 45, 68, 75, 58, 58, 68, 75, 59, 49, 48, 45, 65, 85,
48, 45, 59, 60. Construya los intervalos de confianza del 95 y 99 por
ciento para σ2 y σ. ¿A Qué conclusiones puede llegar? Utilice el Excel y
el manejo de tablas. Además, calcule el IC para el promedio.

11. Con la base de datos colocada al final, responda los siguientes


interrogantes:
 Realice el análisis exploratorio de datos y realice los cambios que
considere necesarios (Justifique).
 Calcule las medidas descriptivas para las variables adecuadas y diga
cual es más homogénea.
 Usando intervalos de confianza, diga si el verdadero promedio de la
edad de las personas es de 30 años. Use un nivel de significación que
considere adecuado.
 Usando intervalos de confianza, diga si el verdadero promedio de los
salarios es de 530. Use un nivel de significación que considere
adecuado.
 Diga si la proporción de mujeres es superior al 60%. Use una
confianza del 92%.
 Calcule el IC del 94% para la proporción de personas con título de
Enfermer@

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 105 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .

EDAD SEXO ESTADO CIV. PROFESIÓN SALARIO
(miles
semanal)
40 Hombre Soltero Estadístic@ 400
38 Mujer U .libre Enfermer@ 500
51 Mujer Soltero Médic@ 450
44 Mujer Soltero Enfermer@ 450
41 Hombre Soltero Médic@ 480
40 Mujer U .libre Bacteriólog@ 1250
38 Mujer Soltero Médic@ 400
40 Mujer Casado Otra 450
38 Hombre Casado Enfermer@ 450
51 Hombre U. libre Otra 250
30 Mujer Soltero Médic@
32 Mujer Soltero Enfermer@ 450
28 Hombre Soltero Bacteriólog@ 400
45 Hombre Soltero Otra 380
40 Mujer U. libre Enfermer@ 420
38 Hombre Casado Médic@ 515
28 Mujer Soltero Bacteriólog@ 545
30 Mujer Casado Enfermer@ 485
30 Hombre Soltero Bacteriólog@ 379
30 Mujer Casado Bacteriólog@ 450
25 Hombre Casado Médic@
32 Mujer U. libre Bacteriólog@ 512
45 Mujer Soltero Médic@ 489
35 Hombre Casado Enfermer@ 357
38 Mujer U. libre Bacteriólog@ 12

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 106 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
CAPITULO 3
Obrar es fácil, pensar es
difícil, pero obrar según se
piensa es aún más difícil.

INFERENCIA ESTADÍSTICA
PRUEBAS DE HIPÓTESIS PARAMÉTRICAS

Es prudente antes de aplicar algunas de las pruebas paramétricas,


identificar sus diferencias con las no paramétricas y determinar en qué
casos es preferible usar una de ellas. Por lo tanto, se presenta en primer
término las características más relevantes de cada una de ellas. No
obstante, se ha preparado un ebook solamente de las pruebas más usuales
de la estadística no paramétrica.

3.1 PARALELO ENTRE ESTADÍSTICA PARAMÉTRICA Y NO


PARAMÉTRICA.

Lo usual en los cursos introductorios de estadística en las diferentes


profesiones, es presentar los procedimientos en los cuales el interés es
estimar o contrastar parámetros poblacionales (μ, σ, β, π, entre otros), para
ello, se requiere que los datos cumplan algunas características que no
siempre se pueden lograr. Los supuestos requeridos para aplicar
procedimientos paramétricos son: normalidad y homogeneidad de
varianzas. Estos supuestos no siempre se cumplen y es ahí, donde surge la
estadística no paramétrica, que tiene su área de acción, cuando las
variables están por lo general en escalas ordinales o nominales.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 129 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
En algunas áreas del conocimiento, como en Psicología, en general en
áreas sociales, humanistas y de la salud, donde se utilizan diferentes test
generalmente en escalas ordinales tiene una gran aplicabilidad la
estadística no paramétrica. Otro uso generalizado de está rama de la
estadística, es cuando se tienen muestras pequeñas, lo que daría lugar al
no cumplimiento de normalidad. A continuación se presentan las
características principales de las dos estadísticas:

Paramétrica No Paramétrica
Características
Datos cuantitativos Todo tipo de datos
Forma acampanada (normal) Distribución libre
Estiman parámetros No se estiman parámetros
Cumplimiento de supuestos Más generales no tienen
supuestos.
Generalmente requieren muestras Sirven para muestras pequeñas o
grandes grandes
Si se cumplen los supuestos es Se requiere mayor muestra si se
más potente que su contraparte quiere la misma potencia que la
no paramétrica paramétrica
Mayor capacidad para detectar Menos capacidad
diferencias muéstrales

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 130 of 187
ESTADISTICA COMO APOYO A LA INVESTIGACIÓN .
Siempre que se cumplan los supuestos de la estadística paramétrica, ésta
es la recomendada, ya que tiene en cuenta mayor información de la
muestra, y por lo tanto, permite obtener resultados mas acertados y
confiables, no obstante, la no paramétrica es útil en muchas investigaciones
de corte social, con muestras pequeñas y en esquemas experimentales.

3.2 COMENTARIOS GENERALES PRUEBAS DE HIPÓTESIS.

Con base en una (s) muestra (s), se llega a una conclusión sobre algo que
se percibe puede estar pasando, es decir, se plantea una afirmación sobre
el tema de estudio y se corrobora o no con los datos obtenidos en la
muestra representativa, se recuerda que para realizar inferencias, se tuvo
que aplicar un procedimiento de muestreo probabilístico.

Las pruebas de hipótesis son el segundo componente general de la inferencia


estadística; compara valores, suponiendo que la hipótesis sugerida es
verdadera. Por lo tanto, busca determinar, ¿hasta que punto es probable que
la diferencia entre los resultados observados y los esperados, se produzca
sólo por el azar?

Ejemplos de hipótesis de investigación:

1. En Medellín, los adolescentes ven más horas de televisión que las


adolescentes los fines de semana.
2. Las amas de casa son propensas a sufrir de estrés.
3. Las personas que estudian más de 4 horas diarias, obtienen notas por
encima del promedio.

Muestreo e Inferencia Estadística Paramétrica.

©copyright 2011 www.leondariobello.com ● All Rights Reserved Worldwide


Page 131 of 187

Вам также может понравиться