Вы находитесь на странице: 1из 19

Noviembre 2014 - Junio 2016

MDULO IX
DISEO Y TCNICAS DE INVESTIGACIN
EN PSICO-ONCOLOGA

1. Diseo y Tcnicas de Investigacin. Mtodos

Andrea Conchado
Ttulo Diseo y Tcnicas de Investigacin. Mtodos
Autora Andrea Conchado
Profesor Asociado de Universidad. Universitat Politcnica de Valncia

Los autores ponen a disposicin de ADEIT-Fundacin Universidad-Empresa de la Universitat de


Valncia esta obra con la finalidad exclusiva de proporcionarla al alumnado de este curso.
Queda prohibida la reproduccin, copia, distribucin, comercializacin, comunicacin pblica o
cualquier otra actividad que se pueda hacer con estos contenidos, cualquiera que sea su finalidad y el
medio utilizado para ello, salvo autorizacin expresa del autor, de la direccin del curso, y de ADEIT.
Se advierte expresamente que estas actividades sern sancionadas conforme a la legislacin vigente
en materia de propiedad intelectual.

- Mster en Psico-Oncologa.
Mdulo 9. Unidad 01.

NDICE

1 Diseo y tcnicas de investigacin en psico-oncologa.


Mtodos ..............................................................................................................2
Introduccin........................................................................................................... 2
Objetivos ................................................................................................................. 2
1.1 Formulacin de hiptesis de investigacin ............................................ 2
1.1.1 Qu son las hiptesis? ......................................................................................... 2
1.1.2 Cmo se relacionan con las variables y los objetivos de
investigacin? .......................................................................................................... 3
1.1.3 Qu significa aceptar o rechazar la hiptesis nula / alternativa..............4
1.2 Tipos de diseo de investigacin y seleccin de la muestra...............4
1.2.1 Diseo experimental y no experimental.........................................................4
1.2.2 Poblacin y muestra .............................................................................................. 5
1.2.3 Tipos de muestreo.................................................................................................. 6
1.2.4 Tamao ptimo de una muestra ....................................................................... 6
1.3 Recoleccin de los datos: ............................................................................ 8
1.3.1 Introduccin a PSPP ............................................................................................. 9
1.4 Anlisis de datos ........................................................................................... 9
1.4.1 Estadstica descriptiva.......................................................................................... 9
1.4.2 Introduccin a la inferencia estadstica .........................................................12
1.4.3 Estadsticos paramtricos y no paramtricos..............................................13
1.4.4 Anlisis de fiabilidad y validez..........................................................................16
Referencias.................................................................................................................17

- Mster en Psico-Oncologa. 1
Mdulo 9. Unidad 01.

1 DISEO Y TCNICAS DE INVESTIGACIN EN PSICO-


ONCOLOGA. MTODOS

INTRODUCCIN
Este mdulo aborda la cuestin de cmo plantear y analizar un problema de investigacin
cientfica de manera lgica y coherente. Para ello resulta imprescindible definir correctamente
los objetivos de la investigacin, formular las preguntas de la investigacin y justificar porqu es
procedente llevar a cabo la investigacin. En otras palabras, se trata de argumentar qu aporta la
presente investigacin al campo de estudio en cuestin, de modo que la comunidad cientfica
posea ms elementos de juicio para valorar el impacto y las implicaciones de nuestros resultados.
El trabajo de campo permitir recoger las respuestas de una muestra representativa de la
poblacin de estudio. A continuacin, el anlisis de datos aportar informacin sobre qu han
respondido los encuestados y en qu medida puede afirmarse que las diferencias observadas
entre grupos se deben a diferencias reales en la poblacin que representan.

OBJETIVOS
Al finalizar este mdulo, sers capaz de:
Formular correctamente hiptesis de investigacin y los objetivos de investigacin asociados
Seleccionar el diseo de investigacin ms adecuado para los objetivos de la investigacin
Calcular el tamao de muestra necesario para desarrollar la investigacin y el error muestral
Analizar las respuestas de los individuos entrevistados
Valorar en qu medida las diferencias observadas entre grupos pueden ser evaluadas como
estadsticamente significativas
Distinguir entre fiabilidad y validez de un cuestionario o escala de medida.

1.1 FORMULACIN DE HIPTESIS DE INVESTIGACIN

1.1.1 Qu son las hiptesis?


No siempre el planteamiento de una cuestin de inters cientfico, implica que el investigador
sepa de inmediato qu informacin debe recopilar, qu mtodos emplear y de qu modo
analizarla. Depender en cualquier caso del nivel de experiencia del investigador y la orientacin
que reciba por parte de otros investigadores o directores ms experimentados. No obstante, es
necesario formular el problema especfico de investigacin en trminos concretos y explcitos, de
manera que se facilite su estudio mediante procedimientos cientficos. En la mayora de los
casos, un problema correctamente formulado, implica mayores probabilidades de obtener una
solucin satisfactoria. Por ello resulta esencial valorar la aportacin cientfica al campo de
estudio donde se pretende desarrollar la investigacin y formular adecuadamente las hiptesis
de trabajo planteadas por el investigador.

- Mster en Psico-Oncologa. 2
Mdulo 9. Unidad 01.

Qu son las hiptesis?


Las hiptesis son explicaciones tentativas del fenmeno investigado, formuladas a manera de
proposiciones, que no siempre son ciertas. El primer paso en cualquier investigacin es formular
las hiptesis, para despus aplicar los mtodos y tcnicas que permiten comprobar si son ciertas.
Este planteamiento puede aplicarse a cualquier investigacin, incluso en la vida cotidiana.
Podemos hipotetizar que una parte de la poblacin muestra mayor predisposicin a desarrollar
algn tipo de trastorno, por ejemplo, que los adolescentes tienen mayor probabilidad de
experimentar estrs en sus relaciones sociales. A partir de esa hiptesis, podemos entrevistar a
un grupo de adolescentes, para comprobar si realmente esa hiptesis se cumple. En
investigaciones cientficas, es necesario especificar con la mayor precisin posible los
instrumentos, variables y grupos de poblacin que se incluirn en la investigacin.
Normalmente, las hiptesis de investigacin parten de la experiencia del investigador o de
teoras anteriores formuladas a travs de artculos de investigacin, artculos de revisin o libros
especializados. Sin embargo, en su formulacin, las hiptesis deben referirse a situaciones
sociales reales. Nosotros podemos haber ledo que los pacientes que sufren una determinada
enfermedad, tienen ciertas caractersticas fsicas comunes. Nuestra hiptesis debe plantear si
esta teora puede corroborarse en una poblacin de personas reales en un rea delimitada (por
ejemplo, adolescentes entre 13 y 15 que residen en la ciudad de Valencia).
Asimismo, las hiptesis deben formularse de la forma ms sencilla posible. No hay que olvidar
que posteriormente deberemos redactar los resultados de la investigacin, de forma que pueda
entenderse por una gran mayora de lectores, no slo los investigadores especializados. De hecho,
cualquier investigador especializado valorar que las hiptesis sean concretas y precisas, al
tiempo que establece relaciones claras entre las variables implicadas en el estudio. No sera una
hiptesis vlida un enunciado como los adolescentes entre 13 y 15 aos lloran ms que el resto
de la poblacin Evidentemente, estas relaciones entre variables deben poder medirse y evaluarse
mediante tcnicas de investigacin, como cuestionarios y test psicolgicos. La misma hiptesis
tendra ms sentido si se formulara como los adolescentes entre 13 y 15 aos muestran mayor
tendencia a la depresin que el resto de la poblacin.

1.1.2 Cmo se relacionan con las variables y los objetivos de investigacin?


Cualquier investigacin parte de una hiptesis y se estructura para confirmarla o refutarla. En
trminos estadsticos, hablaremos de aceptar o rechazar la hiptesis. Todos nuestros esfuerzos
deben centrarse alrededor de dichas hiptesis, pues son el principal resultado de la
investigacin. No obstante, a menudo se pierde la visin de conjunto cuando desarrollamos el
trabajo de campo (entrevistas, encuestas, anlisis de datos) y ms cuando redactamos los
resultados de la investigacin. Por ello, es muy recomendable definir los objetivos de la
investigacin. Estos objetivos enuncian los resultados esperados de la investigacin y, al igual
que las hiptesis, deben estar definidos de forma concreta y clara. Un objetivo como estudiar a
los adolescentes que residen en la ciudad de Valencia no estara suficientemente especificado. Si
redactramos Comprobar si los adolescentes entre 13 y 15 aos que residen en Valencia,
obtienen mayores puntuaciones en cuestionarios para el diagnstico de depresin estaramos
definiendo el mbito de estudio con mucha ms precisin.
Por lo general, toda investigacin tiene un objetivo general de investigacin, que se desglosa en
varios objetivos especficos, correspondientes a las distintas hiptesis de investigacin del
estudio, o fases del trabajo a desarrollar. Por ejemplo, el objetivo general de investigacin podra
desglosarse en:
Comparar las puntuaciones obtenidas por adolescentes y resto de la poblacin en
cuestionarios para el diagnstico de depresin

- Mster en Psico-Oncologa. 3
Mdulo 9. Unidad 01.

Verificar la posible correlacin entre las puntuaciones obtenidas en depresin y otros


condicionantes como estrs, ansiedad, falta de aceptacin y autoconcepto
Identificar factores de riesgo entre aquellos adolescentes que han obtenido puntuaciones altas
Proponer estrategias de intervencin para mejorar el bienestar de los adolescentes

1.1.3 Qu significa aceptar o rechazar la hiptesis nula / alternativa


Hiptesis nula y alternativa son dos conceptos caractersticos de la inferencia estadstica, cuyo
uso se ha generalizado a la investigacin cientfica. Las hiptesis de investigacin normalmente
plantean que un grupo de estudio marca una diferencia con el resto, que determinados
sntomas se asocian a ciertas caractersticas o que un conocimiento general sobre una poblacin
no puede aplicarse a un grupo determinado de estudio. En cualquier caso, las hiptesis definen
que considerar el conocimiento previo desde una perspectiva distinta, puede suponer una
diferencia de inters para la comunidad cientfica.
No obstante, esta hiptesis habr que demostrarla, y para ello necesitamos evidencias que sustenten
nuestras conclusiones. En este tema estudiaremos los test de hiptesis estadsticos, como
instrumento para la verificacin de hiptesis, basados en el anlisis de datos. Pero este principio
bsico, de fundamentar nuestras conclusiones en evidencias empricas, se aplica a cualquier aspecto
de nuestra vida cotidiana. Como bien dice el dicho Todo el mundo es inocente, hasta que se demuestre lo
contrario. Esta frase representa muy bien la diferencia entre la hiptesis nula y alternativa. Mientras
no tengamos evidencias (datos, resultados) debemos iniciar la investigacin mediante la
formulacin de la hiptesis nula. Esta hiptesis nula plantea que el efecto que pretendemos
demostrar, NO se est cumpliendo en la poblacin objeto del estudio. En nuestro ejemplo diramos
que no existen diferencias en las puntuaciones en cuestionarios para el diagnstico de depresin
entre adolescentes y resto de la poblacin. No es necesario redactar la hiptesis nula como tal, pero
s ser conscientes de que es el punto de partida de nuestra investigacin.
Nuestro objetivo es recopilar evidencias que permitan rechazar esta hiptesis nula. En un juicio,
las evidencias son las pruebas que permiten demostrar que el acusado es culpable. En nuestra
investigacin, las evidencias son las entrevistas a adolescentes, y no adolescentes, y los anlisis
de datos que indican diferencias significativas entre las puntuaciones obtenidas por ambos
grupos. En los casos en que se producen diferencias significativas entre los grupos de inters, se
rechaza la hiptesis nula y se acepta la hiptesis alternativa. Esta hiptesis alternativa formula
todos los casos posibles, con excepcin del considerado en la hiptesis nula. En trminos
estrictamente estadsticos, diramos que existen diferencias significativas entre el promedio
puntuaciones obtenidas por los adolescentes y resto de la poblacin en instrumentos para el
diagnstico de depresin.

1.2 TIPOS DE DISEO DE INVESTIGACIN Y SELECCIN DE LA


MUESTRA

1.2.1 Diseo experimental y no experimental


Cuando formulamos hiptesis acerca de la mayor predisposicin de los adolescentes a la depresin,
podemos suponer que se debe a una mayor susceptibilidad frente a las relaciones familiares y sociales
y con uno mismo. Para comprobar esta suposicin, en teora podemos plantear la investigacin desde
dos perspectivas completamente contrapuestas. Por un lado, podramos forzar situaciones en el
entorno social y familiar del adolescente que pudieran generar sentimientos de frustracin y falta de
seguridad en uno mismo, y observar la reaccin de los adolescentes. En estas condiciones podramos
pensar incluso en un diseo de experimentos, que considerara todas las posibles situaciones en que

- Mster en Psico-Oncologa. 4
Mdulo 9. Unidad 01.

pueden encontrarse los adolescentes, considerando el entorno familiar, social y autoconcepto. As,
podramos obtener casos de adolescentes que tengan mala relacin con la familia, pero buena con los
amigos. Tambin adolescentes que tengan mala, o buena relacin con ambos, y as sucesivamente
hasta abarcar todas las posibilidades. Este sera un diseo de investigacin experimental, donde
podemos controlar las condiciones en que se produce el fenmeno de estudio.
Sin embargo, como puede suponerse, este tipo de experimentos no puede realizarse con
personas, ya que no sera moral ni tico intervenir en el entorno personal, para imponer
determinadas condiciones de estudio. Sin ir ms lejos, cada vez ms existe ms control sobre
cmo se realizan los diseos experimentales cuando implican a los animales. En la mayora de las
investigaciones del campo de la psicologa, tienen mucho ms sentido los diseos no
experimentales, donde el investigador se limita a observar a los individuos, y no interviene para
generar determinadas condiciones de estudio. Trabajar con diseos no experimentales supone
analizar datos sobre fenmenos que ya han ocurrido, y su ocurrencia no depende de la presencia
del investigador. En estas condiciones es posible que no tengamos un elevado nmero de
observaciones en todas las posibles situaciones. Por ejemplo, es posible que no encontremos
muchos adolescentes que tengan mala relacin con sus padres y compaeros, pero buena consigo
mismo. Asimismo, es difcil para el investigador minimizar el error de medida, ya que no tiene el
control de las condiciones en que se produce el fenmeno. En un diseo experimental, que se
llevara a cabo en un laboratorio, el investigador podra cerrar las ventanas para evitar la entrada
de aire, insonorizar la habitacin o aislar un determinado microorganismo. Pero no es posible
realizar acciones equivalentes en el rea de la psicologa, no slo por las consideraciones ticas.
En realidad, sera difcil cuantificar en qu medida la presencia del investigador, y las
condiciones de trabajo que impondra, condicionara las respuestas de los individuos observados.

1.2.2 Poblacin y muestra


Si ya hemos decidido que desarrollaremos un diseo no experimental, para alcanzar los objetivos
de investigacin definidos previamente, debemos identificar la poblacin de estudio a la que
nos dirigimos. Nos estamos refiriendo a los adolescentes entre 13 y 15 aos pero, cmo vamos a
contactar con ellos? Si nuestra idea era entrevistarlos en los institutos de educacin secundaria,
es posible que estemos dejando fuera a una parte de la poblacin importante. Concretamente, a
aquellos adolescentes que no asisten a clase, o los que reciben formacin a travs de otros medios
(educacin a distancia, centros de internamiento de menores). Debemos plantearnos si nos
interesa recuperar tambin este sector de la poblacin, o decidimos que el mbito de nuestra
investigacin se limita a la mayora de adolescentes, matriculados en centros de educacin
secundaria. Identificar con precisin a la poblacin de estudio es un paso esencial, antes de
hablar sobre cuestiones de muestreo.
El muestreo es necesario en cualquier investigacin social que aspire a examinar una poblacin
muy numerosa, como los adolescentes entre 13 y 15 aos que residen en la ciudad de Valencia y
estn matriculados en estudios de Educacin Secundaria. Sera muy improbable que
consiguiramos entrevistar a todos los adolescentes en estas condiciones, aun cuando
recorriramos todos los centros en varias ocasiones. Siempre habra una parte de la poblacin
con la que no podamos contactar, o simplemente no quisieran participar en el estudio. Debido a
esto, estrictamente no podramos hablar de dicha poblacin, sino de la muestra que hemos
podido recopilar. Una muestra es un subconjunto de personas que pertenecen a la poblacin de
estudio, a travs de la cual pretendemos extraer conclusiones sobre la poblacin que representa.
Evidentemente, cuanto mayor sea la muestra, menor ser el error muestral, es decir, el error que
cometemos al extraer conclusiones sobre la poblacin a partir de datos muestrales. Y al
contrario, cuanto menor sea la muestra, mayor ser el error muestral. En la prctica, los
investigadores deben encontrar un equilibrio entre tener una muestra suficientemente grande, y
el esfuerzo econmico y dedicacin que ello requiere.

- Mster en Psico-Oncologa. 5
Mdulo 9. Unidad 01.

Por lo general, a priori descartamos la posibilidad de contactar con toda la poblacin y nos
preguntamos cul es el nmero mnimo de respuestas que necesitamos obtener en la muestra,
para garantizar un error muestral pequeo. En este punto, es necesario sealar que el tamao de
la muestra es un factor importante, pero no el nico que debemos tener en cuenta. Si el objetivo
de la investigacin es simplemente describir las caractersticas de un grupo de individuos, no es
necesario alcanzar un nmero mnimo de respuestas. Puesto que el estudio tendra un enfoque
descriptivo, no haramos inferencia estadstica sobre la poblacin que representa, hablaramos
de las respuestas de dichos individuos a las cuestiones. Sin embargo, si pretendemos analizar las
caractersticas de una poblacin de estudio a partir de entrevistas a una parte de los individuos,
es decir una muestra, tendremos que plantearnos dos cuestiones: La representatividad de la
muestra y el error muestral.

1.2.3 Tipos de muestreo


Existen muchos procedimientos para llevar a cabo el muestreo. Fundamentalmente
distinguimos entre aquellos que se basan en procedimientos probabilsticos o aleatorios, y los
que no. En diseos muestrales probabilsticos cualquier individuo tiene las mismas
probabilidades de ser seleccionado para participar en el estudio que el resto. El ejemplo ms
simple de muestreo aleatorio sera un sorteo de lotera, donde cualquier individuo puede ser
escogido (siempre que haya comprado lotera, claro est). Este tipo de muestreo se denomina
muestreo aleatorio simple. Una variacin del muestreo aleatorio simple es el muestreo
sistemtico, donde se escoge un nmero, o una letra, al azar y se seleccionan a los individuos
segn una lista ordenada a partir de esa letra o nmero. Sin embargo, ambos diseos pueden
considerarse demasiado simplista y por lo general las investigaciones sociales trabajan con
muestreo aleatorio estratificado. En este tipo de muestreo, cualquier individuo puede ser
seleccionado dentro del estrato de poblacin al que pertenece. Por ejemplo, en nuestro estudio
sobre adolescentes podramos estimar un nmero mnimo de respuestas para chicos y chicas, o
para adolescentes de 13, 14 y 15 aos, e incluso una combinacin de ambos factores. El objetivo de
esta estratificacin es que la muestra sea representativa de la poblacin. Si consiguiramos un
nmero aceptable de respuestas, pero slo los adolescentes de 13 aos respondieran a nuestras
preguntas, la muestra no sera representativa de la poblacin.
En aquellos casos en que no es posible realizar muestreos aleatorios, pueden emplearse muestras
de conveniencia. Por ejemplo, si queremos evaluar la eficacia de una nueva metodologa docente
entre nuestros alumnos. La muestra la forma el conjunto de todos los alumnos que estn
matriculados en ella y participan y se encuentran en condiciones de evaluar nuestra innovacin
docente. En los casos en que nicamente se contacta con parte de la poblacin, pero esta
seleccin no es aleatoria, estamos realizando un muestreo por cuotas. Por otra parte, hay
diseos de muestreo que resultan adecuados en determinadas circunstancias. Por ejemplo, para
acceder a personas con las que es difcil contactar porque no existen datos de contacto o hay
dificultades para llegar hasta ellas, se puede utilizar el muestreo de bola de nieve. En este caso,
el investigador contacta con algunos individuos y stos hacen de intermediarios entre otras
personas en las mismas condiciones.

1.2.4 Tamao ptimo de una muestra


Una vez hemos determinado los estratos de poblacin, o hemos optado por un muestreo
aleatorio simple, la pregunta de cuntos individuos entrevistar se convierte en una cuestin
numrica. El tamao de la muestra depende de tres factores: el nivel de confianza o riesgo de
primera especie (z), la variabilidad de las respuestas estimada en la poblacin (pq) y el error
muestral (e):

- Mster en Psico-Oncologa. 6
Mdulo 9. Unidad 01.

El nivel de confianza es el riesgo que aceptamos de equivocarnos al presentar nuestros


resultados. El nivel de confianza habitual es 1 = 95% o = 5%. Se utiliza como z, que es un valor
de la distribucin normal asociado a una determinada probabilidad de ocurrencia. Para este nivel
de significacin (95%) debemos sustituir z = 1.96, mientras que si deseamos un mayor nivel de
confianza (99%) el valor de z ser 2.57.
La variabilidad de las respuestas se estima siempre como la mxima posible. En la expresin
pq, p representa la probabilidad de que el individuo responda en una categora, y q representa
la probabilidad de que responda en otra. Puesto que a priori no conocemos las respuestas de los
encuestados, siempre nos pondremos en el peor caso posible, considerando que cualquier
individuo podra contestar s o no (mxima variabilidad). En estos casos p = q = 50%.
El error muestral es el margen de error que estamos dispuestos a aceptar. Si el error muestral es
del 4%, y el 15% de los sujetos de la muestra estn de acuerdo con una determinada afirmacin,
podremos decir que estn de acuerdo entre el (15 - 4)% y el (15 + 4)% de la poblacin. Los
sondeos electorales, que pretenden estimar los resultados de las elecciones a nivel nacional,
suelen trabajar con errores muestrales entre 1% y 3%, lo cual indica una alta precisin en la
estimacin de resultados. En la prctica son aceptables errores muestrales alrededor del 5%,
pudiendo ser mayores para el muestreo en cada estrato.
A la hora de realizar un diseo, solemos fijar un error muestral mximo como objetivo. El primer
paso es calcular el tamao de muestra necesario para garantizar que no sobrepasemos dicho
error. En este punto hay que preguntarse si nuestra poblacin es infinita o finita, porque las
frmulas matemticas difieren para cada caso. Estrictamente, una poblacin es infinita cuando
contiene ms de 30.000 individuos, pero en la prctica puede considerarse infinita si son ms de
2.000. En el resto de los casos, la poblacin se considera finita y debemos utilizar otras frmulas.
En adelante, denotaremos el tamao de la muestra con n, y la poblacin (finita o infinita) con N.
Por tanto, dado un error muestral e, definido por el investigador, el tamao mnimo de muestra
se calcula como:

Poblacin infinita Poblacin finita

Una vez determinado el tamao de muestra (n), realizamos el trabajo de campo mediante envo
de cuestionarios y recopilacin de respuestas. Al finalizar este proceso habremos reunido un
nmero de respuestas (n), que con toda seguridad ser distinto al que habamos previsto. El
error muestral correspondiente a este nuevo tamao de muestra (e) podremos calcularlo con las
frmulas:

Poblacin infinita Poblacin finita

Por ejemplo, supongamos que la poblacin de adolescentes entre 13 y 15 aos, matriculados en


centros de educacin secundaria en la ciudad de Valencia es 15.000 (valor simulado). Podramos
considerar que se trata de poblacin infinita. Queremos que nuestro estudio tenga un error
muestral mximo del 5% y el nivel de confianza el 95% (son valores independientes). En este
caso, el tamao mnimo de muestra sera:

- Mster en Psico-Oncologa. 7
Mdulo 9. Unidad 01.

Si finalmente consiguiramos entrevistar tan solo a 200 adolescentes, el error muestral de


nuestro estudio sera:

Ahora supongamos que la poblacin son 500 adolescentes (valor evidentemente simulado). El
tamao muestral mximo sera:

Si nuevamente consiguiramos entrevistar tan solo a 200 adolescentes, el error muestral de


nuestro estudio sera:

1.3 RECOLECCIN DE LOS DATOS:


Tradicionalmente, la medicin en psicologa se relaciona con la medicin de actitudes en
sentido propio, aunque tambin es posible realizar mediciones acerca de otras variables del
mbito afectivo o de la personalidad, como valores, preferencias, rasgos, etc. Quedan excluidos
todos los procedimientos para la medicin del mbito cognitivo (conocimientos y saberes) y
psicomotor (habilidades y destrezas).
Por otro lado, es posible que formulemos preguntas a los encuestados que tengan un valor
independiente, como los cuestionarios sociolgicos o los sondeos de opinin. Los estudios que
desarrolla peridicamente el CIS (Centro de Investigaciones Sociolgicas) sobre los problemas
que ms preocupan a los espaoles, o los sondeos electorales son un buen ejemplo. Por otro lado,
podemos utilizar escalas o test donde mostramos al encuestado un listado de tems, cuyo
acuerdo o desacuerdo debe valorar segn una escala graduada. Estas son las llamadas escalas
Likert. No siempre se utiliza el acuerdo como atributo de valoracin, tambin es posible emplear
niveles de satisfaccin, o identificacin con las afirmaciones. Un tpico ejemplo de escala son las
escalas de satisfaccin que siempre nos invitan a cumplimentar al finalizar una estancia en un
hotel. La puntuacin de cada sujeto es la suma de todas sus respuestas. Por eso se denominan
tambin escalas sumativas.
Las valoraciones en escala Likert se almacenan en variables de tipo Escala. Este tipo de variables se
utiliza para almacenar informacin numrica, como la edad de un individuo o su nivel de acuerdo
con un tem relativo a la depresin. Sabemos que es el tipo de variable adecuado, porque tiene
sentido obtener estadsticos descriptivos de ambas variables, por ejemplo la edad media, o la
puntuacin promedio a un tem. Por el contrario, las variables Nominales representan distintas
categoras de respuesta, entre las cuales no tiene sentido obtener descriptivos estadsticos. Por
ejemplo, podemos utilizar la variable nominal Gnero, con 1 = Hombre y 2 = Mujer, pero no tendra

- Mster en Psico-Oncologa. 8
Mdulo 9. Unidad 01.

sentido obtener la media entre estos nmeros. Otro tipo de variable es el Ordinal, que sirve para
representar distintas categoras de respuesta, que guardan un orden entre ellas. Sera adecuada para
almacenar el curso en que est matriculado cada adolescente. Podramos definir 1 = 1 ESO y 2 = 2
ESO, segn un orden numrico, pero no tendra sentido la media entre ambas categoras. Es
fundamental identificar el tipo de variable ms adecuado para cada pregunta, ya que la seleccin del
anlisis de datos ms adecuado en cada caso depende de esta decisin. Es importante sealar que una
escala Likert se considera escala, siempre y cuando tenga al menos 5 niveles de medida, es decir una
graduacin de 5 puntos. Los estadsticos descriptivos que se obtienen para variables cuantitativas
dejan de tener sentido para variables con 4 categoras o menos.

1.3.1 Introduccin a PSPP


PSPP es un software gratuito para anlisis estadstico, muy similar a SPSS, con la limitacin de que
no dispone de una herramienta de grficos. Es posible instalar PSPP en cualquier sistema operativo
(Windows, Mac, Linux, etc.) y su uso es relativamente sencillo, una vez se conocen las tcnicas
bsicas de anlisis de datos. En primer lugar hay que localizar las pestaas Vista de datos y Vista de
variables en la esquina inferior izquierda. Estas pestaas nos permiten acceder a los datos que hemos
almacenado hasta el momento, y las caractersticas de las variables. La vista de datos siempre se
estructura en forma de tabla, con una fila por cada individuo y una columna por cada variable:

Variable 1 Variable 2 Variable 3 Variable 4


Individuo 1
Individuo 2

Por otro lado, la vista de variables muestra una fila por cada variable, y permite definir cada
propiedad en una columna:

Nombre Tipo Ancho Decimales


Variable 1
Variable 2

Para ms detalles sobre cada campo de ambas vistas, puedes ver el siguiente vdeo:

http://media.upv.es/player/?id=73dbeaa0-b533-11e5-a11b-ed17dcc035b0

1.4 ANLISIS DE DATOS

1.4.1 Estadstica descriptiva


La estadstica descriptiva permite estudiar las respuestas de los encuestados a cada pregunta, y
diferenciar entre las respuestas que han dado distintos grupos. En primer lugar nos centraremos
en estudiar las respuestas a cada pregunta, sin diferenciar entre grupos. Cuando trabajemos con
variables de escala, el anlisis ms adecuado son los estadsticos descriptivos.

- Mster en Psico-Oncologa. 9
Mdulo 9. Unidad 01.

Entre ellos tendremos que escoger una medida de tendencia central, como la media o la mediana,
y una medida de dispersin, como la desviacin o el rango intercuartlico. Siempre que los datos
no tengan valores extremos, o anmalos, resulta adecuado trabajar con la media y la desviacin
tpica. Por el contrario, si encontramos estos valores extremos, aislados y muy alejados de la
media superior o inferiormente, ser conveniente trabajar con la mediana y el rango
intercuartlico. Cuando trabajemos con valoraciones en escala Likert no encontraremos valores
extremos, ya que las respuestas de los individuos estarn acotadas entre los valores mnimos y
mximo de la escala.
En la siguiente tabla se observan los valores medios, desviaciones tpicas y valores mnimo y
mximo a dos tems de ejemplo. Como se observa, la media referente a la tristeza es superior a la
media sobre la sensacin de soledad. Esta tabla se obtiene en PSPP en Analizar / Estadstica
descriptiva / Descriptivos

Para el anlisis de variables nominales es preferible utilizar tablas de frecuencias, donde se


indica el nmero de casos en cada categora de respuesta (frecuencia absoluta) y el valor relativo
o porcentaje (frecuencia relativa).
En la siguiente tabla se observa que hay cinco respuestas afirmativas y otras cinco negativas a la
pregunta relativa a las ausencias a clase. Evidentemente, ambas respuestas representan el 50% de
la muestra total. Existe una diferencia entre las columnas Porcentaje y Porcentaje vlido, pues
sta ltima considera el porcentaje respecto del total de respuestas vlidas a cada pregunta, es
decir, excluyendo los valores perdidos. Por el contrario, la columna Porcentaje considera los
valores perdidos como una categora de respuesta ms, y muestra el porcentaje incluyendo los
casos que no contienen dato. Es decisin del investigador qu columna le interesa mostrar en sus
informes, aunque por lo general la columna Porcentaje vlido suele ser ms explicativa. Esta
tabla se obtiene en PSPP en Analizar / Estadstica descriptiva / Frecuencias

Cuando queramos analizar las respuestas a una determinada pregunta, en funcin del grupo al
que pertenece cada individuo, debemos considerar la naturaleza de las variables implicadas.
Supongamos que queremos estudiar las ausencias a clase en funcin del gnero del estudiante.
Las dos variables son cualitativas, o nominales. En ese caso, el anlisis ms adecuado es la tabla
de contingencia, o tabla de frecuencias cruzadas. Esta tabla se obtiene en Analizar /
Estadstica descriptiva / Tablas cruzadas

- Mster en Psico-Oncologa. 10
Mdulo 9. Unidad 01.

En esta tabla se muestran las frecuencias absolutas o nmero de casos en la primera fila, el
porcentaje por fila en la segunda fila, el porcentaje por columna en la tercera fila y el porcentaje
total en la ltima fila. Este formato de tablas, que se muestra por defecto, puede ser demasiada
informacin para el investigador, que habitualmente est interesado nicamente en una diferencia
entre porcentajes. As, tal y como hemos dispuesto las variables en esta tabla (Ausencias en filas, y
Gnero en columnas) el dato ms interesante es el porcentaje por columnas, que indica el
porcentaje de ausencias a clase entre los chicos, y entre las chicas. En la opcin Formato
podemos modificar la tabla para que slo se muestre este porcentaje por columnas:

En esta tabla se observa claramente cmo el 80% de los chicos han faltado a clase, mientras que
slo el 20% de las chicas se encuentra en esta situacin. La decisin de qu variables se
mostrarn en filas y columnas, y en consecuencia qu porcentajes ser ms interesante,
corresponde al investigador. Con la prctica es fcil identificar el modo ms conveniente de
mostrar los resultados.
En el caso de que queramos examinar cmo varan las respuestas a los tems (variables
numricas, cuantitativas o de escala) en funcin del gnero del estudiante (variable cualitativa o
nominal), es necesario comprobar cmo las medias de estos tems varan en funcin del grupo.
Para ello, seleccionamos Analizar / Comparar medias / Medias. En esta ventana marcamos los
tems como variables dependientes y la variable de grupo como independiente. As obtenemos la
siguiente tabla:

En esta tabla se observa cmo las chicas obtienen puntuaciones ms altas en el tem sobre tristeza,
mientras que los chicos puntan ms alto en el tem sobre soledad. Las desviaciones estndar nos
permiten valorar en qu medida estas medias son una medida representativa de las respuestas de
cada grupo. No es recomendable comparar medias cuyos grupos tienen desviaciones estndar
distintas, aunque esta puntualizacin la estudiaremos con ms detalle ms adelante.
Por ltimo, en el caso de que queramos analizar la relacin entre dos o ms variables cuantitativas,
como son las respuestas a los tems, podemos utilizar la matriz de correlaciones. Esta matriz es
simtrica y siempre contiene 1 en la diagonal, pues muestra el grado de relacin de cada variable
con las restantes.

- Mster en Psico-Oncologa. 11
Mdulo 9. Unidad 01.

En la diagonal se muestra el grado de relacin de cada variable consigo misma, y por eso siempre
hay 1 en la diagonal. Esta matriz se obtiene en Correlacin bivariada, donde seleccionaramos los
dos tems de este cuestionario para obtener la siguiente tabla:

En la primera fila de cada celda se muestra el coeficiente de correlacin entre ambos tems.
Puesto que es cercano a cero, deberemos concluir que no hay relacin entre ambos tems, es
decir, que los alumnos que se sienten tristes, no implica que tambin se sientan solos, y
viceversa.

1.4.2 Introduccin a la inferencia estadstica


Hasta el momento nos hemos centrado en el desarrollo de anlisis descriptivos, es decir,
resultados estadsticos sobre la muestra que hemos obtenidos. Pero no hemos hecho ninguna
referencia a la poblacin de la que fueron extrados. En este punto introducimos el concepto de
inferencia estadstica. La inferencia estadstica aporta una serie de test de hiptesis, o contrastes
de hiptesis, que permiten valorar si las diferencias que observamos entre grupos son
estadsticamente significativas o no. Hay que poner especial cuidado al uso de este trmino,
pues slo podremos indicar que las diferencias observadas son significativas, si disponemos de
algn test que as lo indique.
Estos contrastes estadsticos siempre se basan en una hiptesis nula (H0), que como hemos
comentado anteriormente, enuncian que no hay diferencias significativas entre los grupos. En
otras palabras, que la diferencia que el investigador busca, normalmente como objeto de estudio,
no se est produciendo en la muestra que ha recopilado. El test de hiptesis sirve como prueba o
evidencia de que debemos rechazar esta hiptesis nula, en favor de la alternativa. La hiptesis
alternativa enuncia que la diferencia s se est produciendo. El resultado clave de estos test de
hiptesis siempre es el estadstico correspondiente (t de Student, F de Fisher, 2 chi cuadrado)
y el valor de significacin o p valor.
Este valor de significacin, o p valor, representa la probabilidad de aceptar la hiptesis nula,
considerando los valores que hemos obtenido en una tabla de medias o una tabla de contingencia.
Conceptualmente, representa la probabilidad de que las diferencias observadas entre grupos se
deban al azar. Cuando las diferencias son muy grandes, y el tamao de muestra es razonablemente
elevado, la probabilidad de que las diferencias se deban al azar ser pequea. Por lo general, el
investigador busca diferencias significativas entre los grupos de inters. Por tanto, solemos estar
interesados en valores pequeos de significacin. Cmo de pequeos han de ser esos valores? Existe
un consenso general de tomar como referencia un valor de significacin de 0.05.
En otras palabras, cuando el p valor de nuestro anlisis sea inferior a 0.05, se considera que las
diferencias observadas son estadsticamente significativas. En este caso, rechazamos la hiptesis
nula y concluimos que las diferencias observadas entre los grupos de nuestra muestra se deben a
diferencias reales que se dan en las poblaciones de estudio, no al azar. Por el contrario, cuando el
p valor de nuestro anlisis sea igual o superior a 0.05 se considera que las diferencias
observadas NO son estadsticamente significativas. Por tanto, en estos casos las diferencias
observadas son debidas al azar y no a una diferencia real entre las poblaciones de los grupos. En
este caso se acepta la hiptesis nula, al no existir evidencias que permitan rechazarla.

- Mster en Psico-Oncologa. 12
Mdulo 9. Unidad 01.

Es importante mencionar que este p valor puede ser influido por distintos factores: el tamao
de la diferencia entre grupos, el tamao de la muestra y el nivel de confianza con que queramos
trabajar. Es fcil comprender que cuando la diferencia entre grupos sea grande, menor ser el p
valor. Por ejemplo, es muy improbable que una diferencia de cuatro puntos en una escala
Likert de 1 a 5, sea evaluada como no significativa.
Por otro lado, tambin influye el nmero de respuestas que hayamos podido recopilar, es decir el
tamao de la muestra. Por lo general, los contrastes de hiptesis tienden a favorecer los
conjuntos de datos de gran tamao. De esta forma, las diferencias observadas en grandes
muestras tienen mayor probabilidad de ser evaluadas como significativas. Es decir, aunque las
diferencias observadas entre grupos sean pequeas, si proceden de grandes bases de datos,
obtendrn menores valores de significacin (p valor). Esta es un arma de doble filo pues en
aquellos casos que tengamos la suerte de contar con grandes bases de datos, debemos interpretar
con cautela los resultados de los contrastes de significacin. En estos casos, cualquier diferencia,
por pequea que sea, puede conllevar un valor de significacin pequeo.
Por ltimo, el nivel de confianza 1-, representa la confiabilidad de nuestras afirmaciones sobre la
poblacin, en base a diferencias observadas sobre la muestra. Por lo general, empleamos el nivel de
confianza estndar del 95%, correspondiente a un error tipo I de = 5%. Por esta razn hemos definido
un valor de referencia de 0.05 para evaluar si las diferencias son estadsticamente significativas, o no.
Sin embargo, podemos aumentar este nivel de confianza hasta otra referencia en 99%, correspondiente
a un error tipo I de = 1%. En estos casos simplemente hay que comparar el p valor de nuestro anlisis
con el valor de referencia de 0.01. Las investigaciones que trabajan con altos niveles de confianza,
demuestran mayor precisin en la determinacin de diferencias significativas entre grupos. Estas
diferencias pueden deberse a elevados tamaos de muestra, grandes diferencias entre grupos, o ambos
factores. En cualquier caso, el investigador casi siempre suele estar interesado en identificar diferencias
significativas, con altos niveles de confianza, es decir, valores pequeos de significacin.

1.4.3 Estadsticos paramtricos y no paramtricos


En este mdulo nos centraremos en cmo valorar si las diferencias entre grupos son
significativas, para los anlisis descriptivos que hemos estudiado anteriormente. En primer lugar,
volveremos a las diferencias entre las medias de los tems, en funcin del gnero del estudiante.
Este es un test paramtrico. Mostramos de nuevo la tabla, para facilitar la lectura de este
apartado.

- Mster en Psico-Oncologa. 13
Mdulo 9. Unidad 01.

A continuacin mostramos su test de hiptesis correspondiente que se obtiene en Analizar /


Comparar medias / Prueba t para muestras independientes:

En esta tabla se muestra el test de hiptesis para cada tem, asumiendo que las varianzas entre
grupos son iguales o no. Como hemos comentado anteriormente, no es correcto comparar
medias entre grupos con distintos niveles de dispersin, expresado a travs de la desviacin
tpica, o su cuadrado, la varianza. Observemos el primer tem Te sientes triste. La prueba de
Levene para la igualdad de varianzas indica que puede asumirse igualdad de varianzas. En otras
palabras, la hiptesis nula de igualdad de varianzas no puede rechazarse, ya que el valor de
significacin (p valor = 0.074) es superior a 0.05. No ocurre lo mismo para el tem Te sientes
solo (p valor = 0.041). En consecuencia, para el primer tem debemos leer la fila superior Se
asume la igualdad de varianzas, mientras que para el segundo tem debemos leer la fila inferior
Igualdad de varianzas no asumida.
Analicemos entonces los resultados de la Prueba t para la igualdad de medias. En el tem Te
sientes triste se observa una diferencia media de -2.20 puntos, esta diferencia procede de las
puntuaciones promedio obtenidas en chicos (2.00) y chicas (4.20). El test de hiptesis
transforma esta diferencia media a unidades del estadstico t de Student, en este caso -4.49, y un
valor de significacin de 0.002. Puesto que este valor de significacin es inferior a 0.05, podemos
afirmar, con un nivel de confianza del 95%, que las diferencias en este tem entre chicos y chicas
es estadsticamente significativa. De hecho, puesto que el valor de significacin es inferior a 0.01,
podemos hacer esta afirmacin con un nivel de confianza del 99%.
Del mismo modo, en el tem Te sientes solo/a se observa una diferencia media de 0.80, que
procede de las puntuaciones promedio obtenidas en chicos (2.80) y chicas (2.00). El test de
hiptesis transforma esta diferencia media a unidades del estadstico t de Student, en este caso
0.93, y un valor de significacin de 0.393. Puesto que este valor de significacin es superior a
0.05, debemos asumir las diferencias en este tem entre chicos y chicas NO son estadsticamente
significativas. La diferencia observada de 0.80 puntos es debida al azar, y no a diferencias reales
entre las poblaciones de chicas y chicos. Evidentemente, esta afirmacin la hacemos con un 95%
y no nos planteamos aumentar el nivel de confianza al 99% pues no tiene sentido cuando
aceptamos la hiptesis nula.
Las dos ltimas columnas de la tabla muestran el intervalo de confianza para la diferencia de
medias. Estas columnas muestran informacin coherente con las conclusiones anteriores. Estos
intervalos muestran el rango de valores donde es muy posible que se encuentre el valor real, o
poblacional, de la diferencia de medias. Cuando el intervalo de confianza contiene el valor cero,
las diferencias observadas son NO estadsticamente significativas. Por el contrario, cuando el
intervalo de confianza NO contiene al cero, indica que las diferencias observadas son
estadsticamente significativas. Comprueba que ocurre as en los tems que hemos examinado
anteriormente.
Por otro lado, podemos plantearnos en qu medida las diferencias de porcentajes observadas
entre dos variables nominales, o cualitativas, son estadsticamente significativas. En este caso
trabajaramos con el test no paramtrico de la 2 (chi - cuadrado). Este test estadstico se obtiene
en la misma opcin de men para tablas cruzadas (Analizar / Estadstica descriptiva / Tablas
cruzadas) y debemos entrar a la opcin Estadsticos, donde marcamos Chi C. Mostramos de
nuevo la tabla cruzada, para facilitar la lectura:

- Mster en Psico-Oncologa. 14
Mdulo 9. Unidad 01.

A continuacin el resultado del test de hiptesis, que muestra un valor de la 2 de 3.60 y un valor de
significacin de 0.058. Estrictamente hablando, este valor es superior al valor de referencia de 0.05, y
por tanto las diferencias observadas de 80% y 20% deberan valorarse como NO estadsticamente
significativas. Sin embargo, es evidente que se estn produciendo diferencias notables en las ausencias
a clase entre chicos y chicas, a pesar de que el test de hiptesis las valore como NO significativas.
Qu est ocurriendo en este caso? Aparentemente el reducido tamao de la muestra no permite
concluir que las diferencias observadas se valoren como estadsticamente significativas. Tenemos
10 respuestas en nuestro conjunto de datos, que es absolutamente insuficiente para obtener test
de hiptesis con confiabilidad. En trminos generales es recomendable alcanzar un nmero
mnimo en torno a 30 respuestas por grupo, para aplicar contrastes de hiptesis con cierta
confiabilidad, independiente de las cuestiones sobre diseo muestral comentadas anteriormente.

Por otro lado, comentamos brevemente el contenido del resto de la tabla. El resto de estadsticos,
mostrados a continuacin del estadstico chi cuadrado, ofrecen informacin complementaria.
Existe un gran nmero de medidas de asociacin que pueden obtenerse en funcin de la chi
cuadrado y la razn de semejanza (tambin llamada razn de verosimilitud), que pueden resultar
adecuados para combinaciones de variables nominales y ordinales (Coeficiente de correlacin de
Spearman, Phi, V de Cramer, Tau b de Kendall).
La prueba exacta de Fisher se aplica en los casos en que tenemos pocas observaciones en alguna
combinacin de categoras de respuesta, concretamente menos de 5 observaciones. Sin ir ms lejos, en
este caso deberamos en esta prueba exacta, pues tenemos menos de 5 chicos que no asisten a clase,
menos de 5 chicos que s asisten a clase, etc. Esta prueba confirma la conclusin anterior, de que las
diferencias entre chicos y chicas en lo que respecta a las ausencias a clase NO son estadsticamente
significativas, pues el p valor, o nivel de significacin, es 0.107, superior al valor de referencia 0.05.
Por ltimo, debemos distinguir entre los niveles de significacin correspondientes a los test de
dos colas (2 - tailed) o una cola (1 - tailed). Los test de dos colas plantean que las medias, o los
porcentajes, entre grupos simplemente no son iguales, y se centran en aceptar o rechazar esta
afirmacin. Por el contrario, los test de una cola, plantean que las medias, o los porcentajes, de un
grupo es superior o inferior al otro. Por tanto, estos test de hiptesis se centran en evaluar si esa
diferencia se cumple, en el sentido que haya definido el investigador. Es decir, si la diferencia es
superior o inferior, como se ha definido. La cuestin es si la regin de rechazo se encuentra a
ambos lados del valor central (test bilateral), o nicamente a un lado de la distribucin (test
unilateral). Por lo general, el investigador trabajar con test bilaterales.

- Mster en Psico-Oncologa. 15
Mdulo 9. Unidad 01.

1.4.4 Anlisis de fiabilidad y validez


Los anlisis de fiabilidad y validez mereceran un mdulo en s mismos por la importancia que
tienen en psicologa, y al mismo tiempo, la complejidad que supone su correcta ejecucin. La
fiabilidad de un instrumento indica en qu medida ste es capaz de detectar variaciones en un
mismo individuo, cuando se producen cambios en las condiciones de estudio. Este cambio en las
condiciones puede deberse al paso del tiempo (test - retest), al uso de distintos tems en un
mismo cuestionario o escala (consistencia interna) o al efecto de una intervencin. La fiabilidad
se asocia con los llamados estudios de reproducibilidad, mientras los estudios de repetibilidad
examinan en qu medida un instrumento arroja mediciones similares cuando se aplica sobre un
mismo sujeto en repetidas ocasiones, bajo las mismas condiciones. La consistencia interna se
mide mediante el alfa de Cronbach, cuyo valor mnimo recomendable para considerar que una
escala de medida es fiable es del 70%.
La validez examina en qu medida un instrumento realmente mide lo que pretende medir. En
este aspecto nos planteamos cuestiones sobre la validez de contenido del instrumento. Para ello
necesitamos recurrir a expertos que valoren si los tems seleccionados para un determinado
cuestionario abarcan las dimensiones o constructos que se especifican en la definicin del
mbito del instrumento. Tambin los individuos que son evaluados mediante cuestionarios
pueden participar en las evaluaciones sobre la validez de contenido de un cuestionario. En
cualquier caso, estas evaluaciones deben estar fundamentadas en revisiones exhaustivas de la
literatura sobre el constructo que se pretende medir, tems bien redactados y evaluadores
seleccionados y capacitados para evaluar el instrumento.
La validez puede evaluarse desde otros enfoques, como la validez de constructo, que plantea en
qu medida cada uno de los tems del cuestionario, posee una parte comn explicada por la
dimensin, o el constructo, al que pertenece. Esta validez de constructo se evala mediante
anlisis factorial confirmatorio, que adicionalmente proporciona evidencias de la validez
convergente o discriminante de los constructos tericos, al tiempo que ajusta los errores de
medida de cada tem. La validez convergente estudia si los constructos que se supone que estn
relacionados, muestran altos niveles de correlacin. Por el contrario, la validez divergente analiza
si existen bajos niveles de correlacin entre constructos tericamente distintos. El modelo ms
elegante para probar la validez de constructo es la matriz multirrasgo multimtodo
desarrollada por Campbell y Fiske en 1959.

- Mster en Psico-Oncologa. 16
Mdulo 9. Unidad 01.

REFERENCIAS
Brown, T. A. (2015). Confirmatory factor analysis for applied research. Guilford Publications.
Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the
multitrait-multimethod matrix. Psychological Bulletin. US: American Psychological
Association.
Mcdowell, I. (1989). Measuring Health: A Guide to Rating Scales. Statistics in Medicine
(Vol. 8). doi:10.1093/aje/155.10.899
Morales, P. (2003). Construccin de escalas de actitudes tipo Likert. Granada: Editorial La
Muralla.
Nunnally, J. C., & Bernstein, I. H. (1994). The theory of measurement error. Psychometric
Theory, 209247.
Pea, D. (2008). Fundamentos de estadstica. Madrid: Alianza Editorial.
Sampieri, R. H., Collado, C. F., Lucio, P. B., & Prez, M. D. L. L. C. (1998). Metodologa de la
investigacin. Mxico D.F.: McGraw-Hill.

- Mster en Psico-Oncologa. 17

Вам также может понравиться