Scribd Logo
Загрузить

Добро пожаловать в Scribd!

  • Instrucción de Carrow

    Загружено:

    Nefertiti Akemilo Lola
    340 просмотров37 страниц
    Carrow

    Авторское право

    © © All Rights Reserved

    Доступные форматы

    DOC, PDF или читайте онлайн в Scribd

    Этот документ был вам полезен?

    Это неприемлемый материал?

    Пожаловаться на этот документ
    Carrow

    Авторское право:

    © All Rights Reserved
    Скачайте в формате DOC, PDF или читайте онлайн в Scribd
    Отметить как неприемлемый контент
    340 просмотров37 страниц

    Instrucción de Carrow

    Загружено:

    Nefertiti Akemilo Lola
    Carrow

    Авторское право:

    © All Rights Reserved
    Скачайте в формате DOC, PDF или читайте онлайн в Scribd
    Отметить как неприемлемый контент
    из 37
    ESCUELA DE FONOAUDIOLOGIA © UNIVERSIDAD DE CHILE Test para la Comprension Audttiva. det Lenguaje de E. Carrow Re Raeioe Tee oscar eC. Dl Oo: oN —E N el Wb Le rcedes Pavez G. ESCUELA DE FONOAUDIOLOGIA + UNIVERSIDAD DE CHIL Test para la Comprension Auditiva det Lenguaje de E. Carvow A Ph A 1 ce CAP Ge EON cowl :E Maria Mercedes Pavez G. La aplicacion en Chile de! Test para la Comprensién Auditi- va del Lenguaje de Elizabeth Carrow fue realizada con la valiosa celaboracién de Jas alumnos participantes en diversas seminarios Gi investigacién efectuados on la Escuela de Fonoaudiclogia de fa Universidad de Chile bajo fa futoria de la profesora Marla Mer- cedes Paver. Las referencias a esos trabajos se encuentran en fe seccidn respectiva y en la biblingtatia. A partir de elfos, ia apll- cacién del test fue ampliamente usada en nuestro pais ulilizarde distintas ediciones inormaias no siempre coincidentes con la apli- cacién original. Lo antenor ha motivado ta publicacion del presente fexta camo una forma de eontibuira hamogenelzar ef uso del ins- trumente y Ja interpretacion de sus resultados. Un aporte muy importante en Ie elaboracién de esta edicion fue el realizado por el fonoauaidiogo Sr, Gabriel Zelada qué corii- buyd en e! oisefio de las hojas de registro y can su experiencia en Ja aplicacién de ia prueba. Colaboraron también en la conteccién de las ldminas con gran dedivacién, los atumnos Sr. Foarigo Perez y la Sita, Altar Miranda. Tados efles han cooperado generosamente para hacer posible la publicacién que aqui s¢ presenta, INDICE PRESENTACION occ. APLIGACION EN CHILE DEL TEST PARA LA COMPRENSION AUDITIVA DEL LENGUAJE DE E. CARROW ... Adaptacion de los estimulas varbales.... Adaptacién de los dibujes...... Aplicaciones en Chile del Test para la Camprensian Audiliva dai Lenguaje de €. Carrow. oh Analisis estadistica...,...... INSTRUCCIONES PARA APLICAR EL TEST PARA LA COMPAENSION AUDITIVA DEL LENGUAJE DE E. CARROW Normas ¢ interpretacion...... BIBLIOGRAI 33 35. ag |, PRESENTACION El Test para la Comprension Auditiva de! Lenguaje da Elizabeth Carrow es un instrumente disefiado para evaluar la camprensién del lenguale en nies de 3 a 6 afios 11 meses, Consta de 101 itemes, 41 de los cuales evaltian vocabularia, 48 corresponden a morialogia y 12 a sintaxis. Comprende ademas 4 itemes iniciales de ejemplo, destinatios a ajercitar al nifo en la tarea que dabe realizar. La evaluacian se elactia utilizando un set de 101 laminas y una hoje para ce gistrar las resquestas, Ademas, puede utilizarse una hoja de analisis cualitativa (don- dese organizan los itemes sugin los aspectas evaluadas), La aplicacion de la prueba es sencilla porque raquiare que el nifio escuche un estimula auditivo y respanda idgntificando un dibujo en una lamina, es decir, no se solicila una respuesta verbal (io que es relevante en nifias Gon problemas en la expre- sidn del lenguaje). Cada Kimina contlene tres dibujas, uno de los cuales curresponde al referente de Ia estructura linguistica evaluada. otro al contraste del referente y el terceto es un distractor. Las respuestas del nifio se registran on la hoja especialmente disehada para lio y los resullades pueden interpretarse segun las normas obtenidas en la aplicacién dol test aleciuada an Chile El test fue creado por Elizabuth Garrow y editado por primera vez en 1972, en una versién para hablantes cel inglés y otra para nifios hablantes del espafial, La apli- cacin en Chile que aqui $0 presanta so realizé utilizando la version para el espanol del Test for Auditory Comprehension of Language (TCL), correspondiente a la séptima edicidn de dicha texto (Carraw, €., 1976) En primera instancin, la validez del instrumento ctiginal se comprobé at cons- talar que existen diferencias significalivas entre Ins diferentes rangos de edad (2.0 - 3.41, 4.0- 4.11; 5.0—5.11 y 6.0 — 6.11) en una aplicacién del tes! efectuada en nifios hablantes del inglés y en nifios hispano hablantes (méxico-americanos). Cantribuyd a ratificar la validez de la prueba la existencia de diferencias esta- disticamente signiticativas entre nifios con problemas de comprensién (proviamente Fort pass lc cowsperenaien ssediton det lengua le © Carrow conacidas) y niftos sin problentas comprensivos, Asi, al aplicar el test, s¢ cunstataron diferencias entre nies disfasicos y nifius sin problemas de lenguaje. Se observa tam- bién qule existia correlacian (r- 0.80) entre el TCL y al C.l. an un grupo de nifios con felardo mental (entrenables). Finaimenta, también e! test result sensible para eviden- Giar el incremento de fa comprensisn en nifios con tastornes del lenguaje sometidos 4 tralamiento (Garrow, E.. 1976), La contiabilidad fue comprobada mediante ef métada de test - retest en la ver- sion en inglés de la prueba (aplicada ea 51 niftos) y en la versidn en espanol (aplicada 8 82 niflos méxico-americanos). La eorrelacidn enim fa primera y le segunda aphea- ‘cidn para la version inglésa fue 0.94 y para la espafola 0.93. En astudios posteriorss, la confiebilidad fue ratilicada con la prueba de Kuder- Richardson para varilicar In consistencia de los itemes en el tast (0.77) en un estudio Stectuado con nifios hablantes dal inglés (Carrow, E.. 1976) Il APLICACION EN CHILE DEL TEST PARA LA COMPRENSION AUDITIVA DEL LENGUAJE DEE. CARROW La principal motivacion para aplicar el tast de &. Carrow en Chile fue la inexis- tencia en nuestro pais de instrumentos para eveluar la camprensidn del lenguaje en. nifios que contaran con estudios de validez y confiabilidad y con normas referidas a nuestra realidad, Se cligié el test de E. Garrow parque presentaba una version valida y canfiable para hablantes de lengua espafola y porque sonsideraba la comprensidn del vora- bulario y también de aspactas marfalogicos y sintacticos. Por otra parte, ¢l test es aplicable en ranges de edad que son muy importantes en el desarrolla del lenguaje de un nifio. La version espafiola del Test parn Ia Gomprensidn Auditiva del Lenguaje de E Carrow (1978) fue aplicada en nuestra pais. en primer término, a 120 nifos sin pro- blemas de languaje do 3.0 a 6.11. afins de edad y, luego, a un grupo de 30 nifios con problemas de comprensin (Carrasco, L.: Urrutia, C. y Zelada, G., 1983; Acuna, C.; Gonzalez, S. y Orellana, J.. 1983; Gallegos, R.; Lattes, C.; Monje, V. y Sprohnia, E, 1985) Las aplicaciones se efectusron en el marco de seminaries de investigacion para optar al titulo de fonoaudidiogy, realizades en la Escuela de Fonoaudiologia de la Uni- versidad de Chile y tutoreadas por Maria Mercedes Pavez. Se canta gn allos con la asesoria metodolagica de Samuel Avila, y la asesorla psicolagica de Irene Oberti y Marcela Santander, La aplicacion del test exigid previamente la adaptacién del instramento a nues- tra realidad. Para ello fue necesario modificar algunas itemes, pero cautelande con- servar el aspecta lingliistico evaluado on al instumento original. Asi, se efectuaron modificaciones a algunos estimulos verbales y se adecuaren ciertos dibujos Test pars la compete nuit cel lonaeeaje de E Cerro: Adaptacién de los estimulos verbales En primer termina, se efectué una adaptaciin del léxieo para adecuar el va- eabulario al uso comin en nuestro pais. Las modificaciones generales se detallan a continuacién. En las instruecianes formuladas al nifio se cambiaren las consignas “Apunta’, “Ensefia’, “Halla” por “Muestra” que es utilizada usualmente en nuestro medio cuando: 6 solicita sefialar un teferente en un dibuja. Luege, se adapté el vucabulario sustituyando las siguientes palabras en tos Ite- mes originales por vacablas correspandientes al uso en Chile. (TEM ORIGINAL ADAPTACION “muchacha‘o” (lames: 3, 72. 73, 85, 88. 95) “carro® (itemes: 24, 47, 46, 49, 79, 93) “brincar (itames: 73, 32) “colorado” (itemes: 11, 97) “bamego™ (item : 6} “vate” {item : 89) “suavemente” “carifiosamente” (item : 41) “dentro de” sadentro de" item : 48) "sacos” “abrigos” (item : 68) “macsira” (loma usual de fos nifios pequefios para referirse su protesoma, ftom: 90) Los cambios anteriares no alteran el aspecto evaluade en el test original. Ella se puede obsetwar, por ejemplo, en el item 73 “La muchacha esta brincando” (desti- nado a evaluar tiempo del verbo) que tue adaplado coma “La nifia esta an el item 48 “El gata esta enire las carroe” (donde se evaliia fn preps adaptado como “El gato esta entre los autos” Aplicacien en Chie) Maria Marcades Paver Posleriarmente, en la seccién vocabulario s@ homogensiz6 la presentacion de los verbos (que eran evaluados come Iéxica) presentindolos en infinitiva. iTEM ORIGINAL ADAPTACION ‘Comiendo Comer (TEM 311 Brincar Seltar {item 32) Corienda Corner (item aap Viene Veni (item 34) Se va, nse (item 35) Peganda Pegar {item 36) Pascanda Tomar (item 37) Dando Dar litem 38) Ademas; en la misma seceién vocnbulario, ¢ adaptaron los siguientes itemes: ITEM ORIGINAL, ADAPTACION 5, Rancho Bote En el Iéxico usual en Chile, la palabra “rancho” (ullizada en ta version para el espahol) no corresponde a “farm” (“granja") que era el item original dal test an inglés. La aceprisn mas comin ds “tancho es "choza” o “casa pobre" y no es conocida por los nifios. Par ello, s2 cambié por la palabra ‘bate’, ditujo que esid en la misma lémi- na (ewitando asi modilicarla} y cuyo referente es mas tamiliar para los nifios ITEM ORIGINAL ADAPTACION 16, Chica Pequefio 17. Blandita Biando 22. Unos Varios Elitem 16 “chica” se cambid par "pequefia’, pomue posteriormente se evaluaid el mismo adjetive an supsrlative (pequenisimo). EI item 17, “blandita” de la version espanita dol test correspondia a la traduc+ clén dol origival en inglés. “sat” sin diminutivo, por elle se cambié por ‘blando’. El item 22, “unos” de la version esnafinla (traduccion de “some”? prasanta como referente correcto un dituja dande aparecen libras de distintos tamarios que podian cartesponder a "algunos" (libros) a a “varios” (libros) En un pilotaje efectando antes de la aplicacidn del test a la muestra datinitiva se probaron ambas altemativas y para los nihos resutté mas adacuado el témmina “varios”. ITEM ORIGINAL, ADAPTACION 29, Media manzana Tart pai ba covpiensici auction det leviquaje dé €: Caxre El término original dal test an inglés para este Ham (29) es “hall” y en la versién ‘espafola fue traducido por "media manzana’. Estd destinade a evaluar comprensién de sustantivas, por allo fue sustituido por “milad” Finalmente, en la seccion vocabulario del test se madificaran levemerte algu« nas instruccionas, sin inlerferit con el aspacto evaluado: ITEM OPIGINAL ADAPTACION 19. Apunta a los dos qua son iguales —-Muestfa los dos qua san iguales 20, Halla el cara de en medin Muestra el auta del medio 30. Aqui esti una estrella. Anora apunta Aqui estd una estrella, Ahara muestra ala que esta ala izquierdala botella que esta a la izquierda (el re- lalive “qua” tiene como antecedante a “estrella” y los nifios no compren- dian la ingtruecién, pues buseaban otra estrella. y on el dibujo solo hay dos bolellas, una cada lade de una estrella Ademds, la adaptacién pro- puesta correspande al original en in- gids “Here is a star, Now point to the battle en the left") En la seccién mortolagia del test, tue nacesario adaptar los itemes que se enu- meran @ continuacion, ITEM ORIGINAL ADAPTACION 50. Ranchera Profesor 52. Bateador Jugador Ambos flames estaban destinados a evaluar les sufijos “are” y "dor" res+ pectivamenta. Sin embargo, core ya s& explicé antes en relacidin al item “rancho”, “ranchero” no es usade en el wocabutario infantil y al iqual que “bateador* no tiene referents usual en nuasira realidad, Por ello, 8e cambiaran Ins términns por *protesar” y “jugador” (que tambign contignen suljos, “or' y “-dur’, respectivamente) y so modi ficaran las dibujes correspondicnies. 6 relerente de “jugadar fue un jugacior de fiitool que es conocido por los nifias an nuestea realidad. [TEM ORIGINAL ADAPTAGION 54, Mas pequerio Paquefisina 55, Mas alta Altisima 86. La mas gorda Gorisima Aplicecién en Chile ¢ Maria Mereédes Pave Los itemes 54 y 55 an la version espaficla del test correspondian a la evalua- cidn do sufjos comparalvos de la pruaba en inglés (-2r, srraller, taller) y al item 86 al supurlative (-eal, faltes!). En la morfologia dal espanol no existen sufijos comparatives equiparables a los dol inglés, por ello se dacidio moditicar los itemes usando terminos con sufijo superlative (- isim) quo es propia de la marfalagia espanola, ITEM ORIGINAL ADAPTAGION 64. Ella va de compras Ella va a comprar La oxpresion “va de compras", poco usual en Chile, fue sustituida por ‘va a comprar” que es utlizata normalmenta, mantenisndo la evaluacién de tiempo verbal como en el test original. ITEM ORIGINAL ADAPTAGION 85. Comemos manzanas Nosotros estamos comienda manzanas Este item (65) evaliia pronombre personal en funcién de sujeto, por allo se re- quiere la presentaciin exolicita del pronombre “nasotras’, ademas se usé el presente perlirastice (estamos comiendo) qua es usual en el espaiiol de Chile. ITEM OPIGINAL ADAPTACION 80. Al burrito se le esta cargande —_El burrito ns llevadio por el hombre. El fem 80 evalia voz pasiva que queda mojor expresada en la modificacin con la perifrasis “varbo ser + participiv" y permite mantener los dibujas originales. Se efectuaron cambios menores en otros itemes sin alterar la estructura eva- lwada para adecuarios major a a noma chilana. Las modificaciones se ilustran a con- linuacidn (se eseribe en cursiva la estructura evaluada). ITEM ORIGINAL ADAPTACION 62, Mama le dio la pelota a ella La mama le pasa la petola a ella 62. El perrito de él as blanca y negro El pero de dl as negra y blanco. 77. Elhombre haestado cartanda El hombra ha estado cortando arboles los Arboles. 78. Ella empuja a olla El nifio eimpuja a la nia 79, El carro choca con el tran El auto choca al tren 7. No esta corrienda La nia no esta corriendo 88. Nila muchacha nici muchacho Nila nifa ni al nino estan sallando esta brincando Ww ‘Test para ta compronsisne auitibivn det ied E, Carron Finalmente, en la section sintaxis de fa versiGn del test para sl espafiol fue ne- cesario adaptar el siguiente item: ITEM ORIGINAL ADAPTACION 97, Un carrito colorado Un auto toja y pequeno Este item 97 evalia frases nominales con das moditicadores y comesnonde a la traduccion del item de la version on inglés “A small 1d eal”. Par ello, fue modificado. Se efectuaran también algunas adaptaciones menores a otros itemes sin alte- rar la estructura evaluada, como se aprecia a continuacién, [TEM ORIGINAL ADAPTACION 90, No crucen No crue (evalda oracién imperativa simple negativa) 82. Tiene helado Tiene un helada (avalua sujato tacito) El listado final con los 101 itemes de la adaptacién para aplicar el test en Chile se presenta a centinuacién. Se sefiala con letra cursiva al elemento evaluade cuando corresponde solo a parie de la estructura presente en el item, El fam 98 qua avaliia el adverbio negative “no” cartesponda a la seccién mor- fologia como se registra en el test ariginal, Sin embargo, par la ubicacién de la kimina aparece junte alos Hlemes de sintaxis en la aplicacién de la prueba. Ello dificulla el re- gistro de los puntajas en Ia saccién morfologia, donde hay qua sumar el item 98, y en sintaxis dande hay que restarla. Para obviar esta dificultad, en ta aplicacién en Chile se le ubiod en morfologia junta 4 los itemes que evalian el mismo aspecto, asignan- dole el ndnnero 89. A partir de 41, se adecud corralativamente la numeration de las laminas ¢ itames posteriores. LISTADO DE LOS [TEMES PARA LA APLICACION EN CHILE 1, BICICLETA. | ta SRANDE =m 2. PAJARO 15. RAPIDO: 3. NIRA 18. PEQUENO 4, GATO 17, BLANDO i BOTE 1a ATO [6 OVEJA — 18, LOS DOS QUE SON IGUALES 7nANS — [za ESTOS 00s GON DIFERENTES 1 HoMEne pos 8. PINTURA 22 VARS 10. UN PAR 23. MUCHOS: 1, QUO 24. BLAUTO DEL MEDIO. 12, NEGRO 25, MAS ———— 13 Al Aplicacién en Chie / Matic Mercedes Paver 27, ALGUNOS: 6, SILAS 28, SEGUNDO 87, PELOTAS 28, MAITAD 68, ABFIGOS | [20 LAGOTELLA QUEESTAALAIZOUIERDA [sa MESA 31. COMER: 70, ESTA COMIENOO 32 BALTAR 71, BSTAN COMIENDO 33. DOARER 72, LANIWA ESTA COSIENOD. 34 VENI 74 LANINA ESTA SALTANDO 38 IRSE 74, ELHOMBRE PINTOLA CASA 34 PEGA 7. EL LEON Ha COMO 37_TONAR 7a ELLE PEGARAA LA PELOTA 38 DAR 77. HA ESTAGO CORTANDO ARBOLES 38. ARRIBA 7a_EL NERO. EMPORIA LA NIRUA (40. FAGILMENTE: 79. ELAUTO CHOCAAL TREN [SE CARIFIOSAMENTE 89, EL BURRITO £5 LLEVADO FOR EL HOMBRE. MORFOLOGIA Bt_ ELNINO ES PERSEGUIOO POR EL PERRO 42, ESE 82. JOUIEN ESTA AL LADO DE LA MESA? 42. ESTOS 83. sCUANDO DUERMES? 44, ENLAMESA B4, gQUE COMEMOS? 45, DegaJO DELAMESA BS LANINA ESTA GINUUANDO {#6 ADENTRG BELA GAIA 88, NO ES NEGRO 47. ELNINO ESTA AL LADG DEL AUTO NOESTA CORRIENDO 45, EL GATO ESTA ENTRELOS AUTOS. E_ Ni EL NING NILA NINA ESTAN SALTANDO. fos. EULA - (62. LAMAMA LE PASALAPELOTA A ELLA [63.6. PERRO 64 ELLA VAA COMPRAR 49, ELPERROESTAEN FRENTE DELAUTO | 68. LANINA NO ESTA NADANDO 50, PROFESOR SINTAXIS, 51. PINTOR 80, jANDATE! 52. WUGADOR Si NOCRUCE, 53, FESCADOR 82. DUERME 34, PEQUENISING [93 NENE UN HELADO 55, ALTISUAA [es ELAUTD QUE VAPORLA CALLE 56, GOADISING [95.EL GATO QUE NO TENE GOS 57 CICLSTA 36, ELLA LE MUESTRA Et NRO a La nIfia [58 PiANISTA a7, UNA PELOTA GRANDE VAZUL [5B ELLOS: [88 UN AUTO AQVO ¥ PEQUENO. o0.EL __}sa. 1 ERES La Tia (Tid) MUESTRA EL PERRITO, 3, EL PERRO OF EL ES NEGRO ¥ BLANCO SIMO MUESTRAEL OSITG 102, LO QUE NO ES NILAPELOTANILAMESA 101. MIRA EL TERGER DIBUWO, LUEGO MUES- TRAEL HUITO GE ESTE ANIMAL | GB. NOSOTROS ESTAMCS COMMENDO MANZANAS 19 Test pase ka eomepreneion avid:tivn det onguaje de & Cau se teall2uron para hacer mds claro el dibujo, para evilar confusiones y para adapta ol Adaptacion de los dibujos Las adecuaciones de las laminas, manleniendo el estimula linguistica evaluado, rolerente a nuestra medio, DIBUOS OFIGINALES IretlAspecto evALuaDo| pow capa hein ADECUACION 4)Un serrucho. 2) Un jar. 5 EJEMPLO |S) Una galleta (dibujo sitet aiuna | 3)'S0 peéreéeians con af dibujo de rus una galleta rectangular | 1) Un esto andando en bicicieta, o a 2) Una ria andando en bicilla, 3) Un mene andangoenbieicata. | 3) Se garmind of mano dajanda solo | biniiela rues tambien posi co- responder 8 "8" | Th Lin caer. = 2) Un eacinaro ¥ una cocina eon 61 Bla pela nenre muy destacado, 3) Una covinera sola con af pela sin /3) Se ¥e pinks noes al pela (pata ‘desing Hhoregensizarla con el dbuje 2 dare sie aparecla muy resatads Ia lgura | femening y, mu ence, iducia a ee gg como rospuneta comarca). =I | 1) Una mujer rete a una vitrina 2\Una mujer en acttud de pagar en inlenoe data Benda S| Eleva comprar |) uns mujercaminandooon una |) Una mujer salons de ta arta cartara, precisa por un rio gus [con una malla eon meneederias lleva un earro-con marcaderias. | para actarar el que ya salia de: la bendal. Aplicacién en Chie / Maria Mercedes Pavez 4) Una nifa |e muestra una manza raat, 655 |Nosatrs asiarios co-|2) Das nias camen unarancana {2} Un nifie yuna nia comiendo una mmiendo menzana | cada unis manzana caufh uno (para énpistar 3} Dos nition actad de conversar| el pranomsace nosotros” no *nosa- safalanda con a mano e ura nine. | tras"). 1) Un corjunto de elas plas ina |} 2 sles alineoctas una junto a tra 6 sites sobia lata, fara acta al dibujo} 2} Un sila 3) Una mesa. unoweaerconumbem, | nt ercoayone 2) Un bateador galpsand ta pelota ee 76 | Blepopard.ala |3) Un bateador comeraa despuis |22.Un gage ae tp con mperni: balan de golpeat ka potata oo * | Un jugador da tbo! sto pare folpear ls plata cone! pe {al fufbal es of deporte mis eani- 0 en nucstro pas, riantras que al bélsbot casino se canace). [unin 5 | 2)Un lala vari, cubes, una 4 | {Ou comemes? | 2) Unataa ae 22) Una hamburgucsa 2) Una pera yun plétane para cla rar el dibujo colocanda trutss como alimentos}. Hubo también dos Liminas (50 y 52) que debieron ser cambiadas porque el astinulo verbal fue modificadd, La modificacién del estimulo fue ceasionada porque los referentes no eran conocides en nuestra realidad. Los. cambios efectuados se detallan a continuacién, ASPEGTO EWALUADO DIBLJOS DISENADOS PARA EL NUEVO ESTINULD (2 POR CADA PAGINA) 1) Profesi fete & un pzarrén (ort igar de un tehchero) 13} Un juez de tinea con una hand lanzanide wa pelbta con la mano). Profesar 50 mi | 2) Edlicio de un ficbo fen lugar de un campo sembcado}, (en lugar de ‘rancher | 3) sjurmo escrtienda (en vaz-ce vacas én un paler} 11)Una piokea 68 hitbol galpeanda en ung exquina (en vez de una de disball. gp |dugador en vorde | 2) Un jupsdor de fino! en actiud de goipecr ia penta con el pe en vee bateador) ude un bateador en actiud de golneat Ia polata con un bate}. a (an lugar de un jugador aa beisboe a Test ten be compernodtin uation del lenguaie ce E. Carrow Aplicaciones én Chile del Test para la Comprension Auditiva del Lenguaje de E. Carrow Una vez etectuada la adaptacion de la varsidn del Test de Comprensién Audi- tiva dal lenquaje para el espanol, se realizé un pilotaje ef 30 nifas sin problemas de lenguaje, con un ranga comprendido entre 3.0 y 6.11 afios de edad. El objstive fue ra tificar si las. madificationes propuestas eran adecuadas y determinar, en los casos en que habia maa de una opsian, la alternaliva que seria la definitive Posteriarmente, la adaptacién tue aplicada a una muestra definitiva contormads par 120 nifios sin problamas de desarrolly del lenguaje, divididos en 4 rangos de edad: 3.0 —S.ahtos 11 meses; 4.0 — 4 aflos 11 meses: 5.0 - 5 afias 11 meses y 6.0 - 6 anos 11 meses. Gada range de edad, camprendia 30 nies (15 hombres y 15 mujeres}. To» dos [ng nihos pertenecian al nivel sociocultural bajo, segin los eriterivs de clasificacién social de Valenzuola (Valenzuala, J; Diaz, E. y Klagger, B.,1976) y asistian a jardines inlantiles © a Escuelas Bésicas en la Ragién Metropolitana, Ningdn nifio tenia antece- dentes de tastorna dol languajé ni se encontraba-en terapia fonoaudiolégica. En primer término, los nifios fueron seleccionados por las dacentes enearga- dos de ellos en las respectivas instituciones escolares. Luego, 9¢ constatd que pre- senlaban normalided aucitiva, articulacién adecuada para su edad, normalidad anato- matuncional de cara y boca y su C.| se encontraba dentro de rangos normales (segin el test de Goodenough y la escala de Binet-Simon, versién del Dr. Lewis M. Terman, traducida y adaptada para Chile por el Dr. Luis A. Tirepegui. El test adaptado se aplicd en forma individual siguiendo los procedimientos de aplicacién de la pruaba original (ver Instrucciones para aplicar el Test para Compren- sidn Auditiva del Lenguaje de E, Carrow). Apicacian en Chile / Maria Mercedes Pavez Andlisis Estadistica A continuacion 30 preventa al andlisis estadistico acerca dé la validez y contia- bilidad de Ia adaplacion del test. Validez de la Adaptacién del Test para la Comprension Auditiva del Lenguaje de E. Carrow Después de aplicar la adaptacian del test @ 120 nifios &in problemas de lengua- je, se compararan estadisticamants los puntajes obtonitas en los diferemes rangos de edad, mediante una ANOVA, Los resultados de la comparacién de los puntajes totales se prasantan en la Tabla N° 1. TABLA N? 4 Comparacién del puntsje total del Test para ia comprensin auditiva del lenguajé entre los diforontes ranges de edad so-a11 | 40-411 | so-s.1 | 60-611 i | n: 30 30 230 A:30 x DE [xX DE | xX OE) x DE PUNTAJE TOTAL EN LA ADAPTACION DEL TEST PARA LACOMPRENSION [5226 6.35]6293 903|8410 5.5|a90s 496 200.02 AUDITIVA DEL | LENGUAJE | | *p= 0.000 2 Test pe a coment tition He Uaepiage te. Carve ‘Come se observa en Tabla N° 1, existen diferencias significativas entre tos puntajes eblenidas por los 4 arupos etarios, Posteriormente se canstate, mediante la prueba de Bonferroni, que existian diferencias estadisticamente significalivas entre todos fos rangos de adad : 30-311 versus 4.0-4.11 : 16.14", p< 005 4.0-4.11 varsus5.0-5.11 © 12.8", p<0.08. 50-5.11 varsus6.0-6.11 | 12.85", p<0.05 30-11 versus 5.05.11; 118.33", p - 0.05 3.0 -3.11 versus 6.0~6.11 + t21.18", p< 0.05 4.0- 4.11 versus 6.0-6.1] ; 115.04", p< 0.05 Es decir, #1 puntaje total de la adaptacion de! Test para la Comprensién Audi- tiva del Lenguaje de E. Carrow discrimina entre tados los rangos de edad y aumenta signiticativamente a medida qué esta se incrementa en los nifios Se compataton también los puntajes oblenidas por cada rango dé edad en cada una de las secciones del test mediante una ANOVA, Los resultados de la com- paracién se aprecian an fa Tabla N? 2. TABLA NP 2 ‘Comparacién da Ins puntajes en cada saoclon det teat entre os distintos rangos de edad EDAD | 40-4. | 50-511 | 60-611 tn 30) (n.a0) in sa) SECCION x DE, x o&] x DE Seccidn Vacabulario [20.60 2.68/2859 446.}3570 262\a7.86 1.99] 145.81" Seenén Morfologla [23.19 4,37/2050 §65/38.96 3.72\4126 326) 117.3" | Seccidn Sintaxis 50 151/590 172/923 192/989 1.94| €7.86 *p=a.000 24 Aplicocidn en Chile / Maria Mercedes Pavez Como se observa an la Tabla N° 2, existan diferencias estadisticamente signiti- cativas entre los distintos rungos de edad en cada una de las socciones del test. Para establecer ins rangns etarios que aifarian entre si, se aplicd la prueba Bonferroni. Los resultadas de esa comparacién s¢ pueden apreciar a cantinuacidn, SECCION VOCABULARIO 3.0 - 3.11 versus 4.0 4.11 4.0 = 4.11 versus 5.0 5,11 5.0-5.11 versus 6.0 = 6.11 p< 0.05 p< 0.05 p= 0.05 3.0-3.11 versus 5.0= 5.11 3.0 = 3.11 versus G.0- 6.11 4.04.11 versus 6.0~ 6.11 p< 0.05 p< 0.05 p< 0.05 Esta seccidn dela adaptacién resulta allamente sensible, puesto que discrimina significativamente entre todos los rangos de edad, SECCION MORFOLOGIA 30-311 wersus 4.0- 4.17 2 t 478", ped.08 4.0-4,11 wersus 5.0-5.11 : t 9.92", p< 0.05 5.0-5.11 versus 6.0-6.11 : t 2.05, na significative 3.0-3.11 versus 5.0-5.11 2 t 14.11", p< 0.05 3.0-3.11 versus G0-6.11 2 118.46", p<0.05 4.0-4.11 versus 6.0-6.11 > t 11.97%, p< 0.05 La seccién Motologia discrimira significativamente entre todos las rangos de edad, excepia entre 5 afios y 6 afos donde los rendimientos de los nifos mayores. son mas altos. pero la diferencia ne aleanza a ser significaliva en terminos estadisti- eas (ver Tabla N? 2) SECCION SINTAXIS. 3.0-3.11 versus 4.0-4.11 no significative 4.0 —4.11 versus 5.0-5.11 p< 0.05 5.05.11 versus 6.0-6.11 ho significative 3.0 —3.11 versus §.0-5.11 p< 0,05 3.0 ~ 3.11 versus 6.0-6.11 p< 0.05 4.0~- 4.11 versus 6.0-6.11 p< 0.05 Txt par tx comprenin audition dot lengunge de & Carrece En esta sacclén, que contiene 6! menor numero de itemes (12), la mayoria dé los grupos difieren entre si. Solo no existen diferencias signilicalivas entre los 3 y 4 afins, y entre los S y 6 afos, aunque se advierte un incremento en el puntaje a madi- da que aumenta edad En sintesis, los resultados anteriores contribuyen a ralificar ta validez de la adaptacion del Test para la Compresion Auditiva dal Lenguaje de E. Garrow, puesto que su puntaje total, que aumenta segtin se incramenta la edad, discrimina significati- vamente entre tories los rangos etarios. Las seccianes también resullan validas pues también discriminan los rendi- mientos de los nifios, ¢n particular la Secciones Vocabularia y Morfologia. La seo Sintaxig, constituida por menos ftemes, tambidn discrimina entre loa grupos, pera no entra los 3y los 4 afas y entre fos 5 y los 6 afos, La validez de la adaplacién del test s¢ estudié también aplicandola a una muestra d@ 30 nies con problemas de lenguaje, 20 de ellos presentaban una com- prensidn claramante deficitaria y 10 presontaban trastorno especilica del lenguaje con problemas expresivos sin un compromiso significativa de la comprensiém (aunque esta estaba lavemente desoandida) (Gallegos, A. ef al, 1985) El grupo de nifies con comprension deficitaria estaba constituida por 10 nifios disldsicos, can una edad promedio de 5,6 aos {con un rango entre 4 alos 3 meses a anos 11 meses) y par 10 nifies con retardo mental, con un nivel equivalente @ “edu: cables” {range lave a moderado}, con una edad promedio de 11 afios 4 meses (con Un fango ante 9 afios 1 masa 12 afos 10 meses). Los 10 nifius con trastomo axpresivo tenian una edad promedia de § afos 3 meses en un range comprendide entre 4 afios 3 meses y 6 as 10 meses La comprension de los ninos s2 evalué madiante Ia subprueba receptiva del Test Exploratorio dé Gramatica Espafiola de A. Torenta, adaptacion en Chile del Screening Test of Spanish Grammar (Pavez, M.M., 2003). El desempero intelectual de los nifios se establecié a partir de la informacién de las fichas escolaras o clinicas donds constaban evaluaciones psicolégicas efectua- das con el WISC y la escala de Binel y Simon. Todos las nifies pertenecian al nivel seciecultural bajo, seguin tn clasilicacién de Valenzuela (Valenzuela at al,1976) ‘Se trabajo tambien con un grupo control de 30 nies con desarrollo narmal de lenguaje pareados par edad (mas menos 1 mes), sexo y nivel sociocultural con ios nifins can trastorno del languaje. Se aplicd la aduplaciin del Tast para la Cempransién Auditiva del Languaje a todos los nifios, Luego se campararan ies puntajes de ambos grupos con una t de Student, Los resultadas de la camparacién se presentan en Ia Tabla N* 3. Aplicacién-en Chils / Mario Mercedes Povez TABLA NPS Adantacién del Test para la Comprensin Auditiva del Lenguaje de E. Carrow. Gomparacién del randimianto de nifios con problemas de languaje y ninos sin problemas de languaje. NINOS CON NINOS SIN TAASTORNOS OE | TAASTOHNO DE LENGUAJE LENGUAJE ; nag 130 | x oe. x DE jrotat 838127 8 59.8 are |seocicn % . re 308 Sa 362 38 4.90" |nonFoLol A as 70 35 46 ne oot Bo Bd 900 14 ero { “p< 0,001 ‘Como se adviarte en la Tabla N 3, los nifios can trastomo de lenguaje presen- tan tendimientos significativamente menores qué los nifins sin problemas de lenguaje en of puntaje total de la adaptacitin del tect y en cada una da las secciones. Posteriormente, se efectud la comparncién considerando independientementa cada grupo de nifios con trastome de lenguaje (10 nifios con trastomo expresivo y lave descengo an la camprensidn; 10 nifios disfasicas y 10 nifios deficientes mentalos con problemas de comprensién), Los resultados so prasentan en las Tablas N° 4, N°S yee. we eet pa ls compresedion audition det lenguaje de &. Canoes TABLA N®4 Adaptacion del Test para la Comprensian Auditiva del Lenguaje de E. Carrow. Compatacién del rendimiento de nifios con trastoma expresive y nifies sin problemas de lenguaje. NINOS CON NINOS SIN TRASTORNO PROBLEMAS DE EXPAESIVO LENGUAJE ‘ no nia x DE x DE. PUNTAJE TOTAL ent 144 7o2d 11.45 1.93 NB SECCION VOCABULARIO. ee TD ae Ae SECCION MORFOLOGIA god 612 16350 BBA 1.80 NS. SECCION SINPAXES 69 178 gal 1.75 1.90 NS. N.S. = No significative La adaptacion dal test corrobora que Ins nifios con trastamo expresive del len- guaje no presentan descensos significatives de la compresian al ser comparados con nies sin problemas de lenguaja. Aplicacién sn Chile / Maria Mercedes Paver TABLA N* 5. Adaptacién del Test para la Comprension Auditiva del Lenguaje de E, Carrow. Comparacion del rendimiento de nifos con distasia y nifios sin problemas de lenguaje. | nisios con NIRS SiN DISFASIA PROBLEMAS DE LENGUAIE i n10 lo | x DE. x DE. PUNTAJE TOTAL S87 14.8 82.9 104 422 SECCION ‘- is 7 GCeEULAR: 30.2 65 356 at 2.08 SECCION a ORPOLUGIA 237 68 ane 54 526 SECCION 2 4 Sears | 48 28 88 158 S01 "p<005;"p<0.001 Los resuladus do la Tabla NP 6 compruaban que la adaplaciin det test diseni- ming entre los nifas con problemas. de comprensian y los nifos sin dificullades com. pransivas, questo que las nifios disfagicos obtiengn rendimientos signiicativamente inferiores tanta en el puntaje total coma en cada una de las secciones, Test pant he comeproncine audits det leneafe le E Carrere TABLA Nf 6 Adaptacidn del Test para la Comprension Auditiva del Lenguaje de €. Carrow Comparacion del rendimiento de nifias con deficiencia mental y nihos sin problemas de lenguaie. NIHOS CON NINOS SiN DEFICIENCIA PROBLEMAS DE MENTAL LENGUMIE f£ nto nia x oe x DE PUNTAJE TOTAL ea7 83 Boo as a2" SECCION a OGFBLCARIG: 30.0 44 300 as 6a ] SECCION ‘ @naeoroalk 26.4 45 ane oF ar | SECCION ne | fs pecan 62 Ww a0 = | 86 “p< 0.001 La adaplacién del test tambign discrimina entre nifios con deliciencia mental y baja comprension y nifias sin prablamas comprensivas, puaste que el puntaje total y el obtenida en cada una de las seociones per los nifios deficientas mentales es signifi- cativamente inferior Finalmante, se aplicé una prueba de corralacién de Pearson para establecer si existia relacidn entre los puntajes tatales abtenidos par los 30 nifias can trastomo de languaje en la adaptacién del tast de E. Carrow y los puntajes de la subpruche receptive del Test Exploratorio de Gramdtica Espafiola de A. Toronto. El valor do r fue 0.83 {con una p < 0.001), Es decir, existe corrstacion significativa entre ambas prue: bas, pese a que él Test Exploratorio de Gramatica Espanola solo evalua comprensi¢n de aspectos mortosintactices y no de vocabulario Aplicacién sn Chile / Maria Mercedes Paver Los datos anterionmente expuestos permiten corroborar que ta adaptacion del Test para fa Comprension Auaitiva del Lenguaje de &. Carrow 43 un instrumente va- lido para evaluar la comprensién del lenquaje. Es una pruaba que discrimina entre istinlos. rangos de adad y entre nifios con problemas comprensivns y ninos sin dif- culades en In. comprensi¢n: Confiabilidad de ja Adaptacion del Test para la Comprension Auditiva del Lenguaje de E. Carrow La confiabilidad de la adaplacidn se estudio con el método test-retest. Para ello, en la aplicacién a 120 nifios sin problemas de lenguaje, se esrogid aleatoriamente a 40 nifilos de cada rango de edad (conlormandese asi un grupo de 40 sujetos) y se les volvid a evaluar con él test luego de 15 dias de In primers evaluacién, La comparacion de los puntajes abtenidos por cada gruga elatio en ambas evaluacionas se efectud mediante una t de Student y les resultados se presentan en la Tabla N° ?, TABLA N27 ‘Comparacién de los puntajes obtenidos en la primera y segunda aplicacion de Ia adaptacion del Test de E. Carrow en nifias sin problemas de lenguale. 1 APLICACION 2" APLICACION t | x DE. x DE _ 30-311 (n 10) 52 58 S68 GT 1.82 NS. 40-4 nto) ele 94 ein | 72 1S2N.8. 50-511 ai B41 40 aA AO O.82NS : 0-86.11 - nih 203 3. 1a kB oe N.S. Como ae advierte en la Tabla N® 7, no existen diferencias significatives entre ambas aplicaciones en ninguno de los rangos stanos, io que corrobora la confiabllidad da la adaptacion dal test. a dost pa ba compress suditiva det langsje def, Carrene También se estudié Ia contiabilidad en la aplicacién del test electuada en les 20 nifies con trastome del lenguaje. Se usd la misma metodologia de test y re- tas! evaluando a 15 nifios elegides aleatoriamente luego du 15 dias de la primora evaluacién. La comparacién entre ambas evaluaciones avidencié que no existian dilerencias significativas entre ellas (primera aplicacién: X 61.6, D.E. 13.6: segunda aplicacion: X 68.0, D.E. 11.3; t: 1.8, no significativa). si, e5 factible concluir que la adaptackén dai Test para la Compransidn Audiliva del Lenguaje resulta contiabla 32 ll. INSTRUCCIONES PARA APLICAR EL TEST DE COMPRENSION AUDITIVA DEL LENGUAJE DE E. CARROW El test se aplica en forma individual en un lugar can condiciones ambientales adecuadas para efectuar una evaluacién, ¢5 decir, busna iluminacidn y ausencia de distractores auditivas y visuales. Es recomendable, ademas, que el examinador este familiarizado previamente con los itemes. la aplicaci6n, el registro ¢ interpretacién de los resultados dal test. La administracién dura alrededor de 20 minutos, sin embargo, no @ una prueba que exija Un tiempo determinada. Antes de iniciar la evaluaciGn, e8 conveniunte constatar que el nifc esta comeda y durante la aplicacién de la prueba se le puede dar un descanso si esta latigado o muy distraid. ‘Las liminas se presentan al nifio que esti sentaco frente al examinador, Las dibujos quedan delante del nina y el término linguistic evaiuado frente al exuminador para que este Io lea con facilidad Durante ta administracién del test, él examinador debe utilizar las instrucciones: tal como se presentan en este manual y hablar con claridad, No debe repelir ningun stimula ni comentar los dilujos. ‘La aplicackin del test se inicia leyendo las siguientes instrurciones: "AHORA VAMOS A VER ALGUNOS DIBUJOS. POR FAVOR, PON ATENCION, YO VOY A DECIA UNA PALABRA VY QUIERO QUE MUESTRES EL DIBUJO QUE CORRESPONDE ALA PALABRA QUE Dill El examinador abre el set de kiminas en ¢l ejemplo Ay solicita: "BUSCA EL CO- NEJO. MUESTAA EL CONEJO” Si at niha no sefiala al conejo, se le ayuda. Luego, se relters el procacimiento con los ejemplos B, C y D (donde ya se le dice directamente solo “muestra”, Se pue- den repetir los itemes de ejemplo hasta que el nifia comprenda claramente las insinuc- siones. Cuando lo ha logrado, se initia la evaluacion con el item N° 1. Se lee el esti- mulo exaclamsnte como est escrito en el set de ldminas. Es recomendable utilizar una pausa de alrededor de § segundos después de cada estimulo y se puede detener el test en cualquier punte para permitir que él nifio descanse. Las respuestas del nife se anatan en la Hoja de registra que se presenta a continuacién, Tent pur da conuporescsiie suaition def lanee de, Carros HOJA DE REGISTRO Test para la Comprension Auditiva del Lenguaje de E. Garrovr. Aplicacién en Chile. Nombre: . - Fecha de nacinianio ae Eaag: anes esos — T HORA Enesco | eHEME | ___PUNTASE wvrenpacraciou | 0646105) | ferieX-108yX- 208) | (taal 205) pee. pee ocaaluania tt) VOCARULARIO jwrmrovola za) MORFOLGGIA STARS (001 Sst eee eed tia # * = 3 EVES EVELRSV ERE S FUN | hia ie a i| jal i a| fi] | iz 2 [za 3 a 2 a a (a a 1 1 al is e| iz a/ [i a 2 4 a a 2 [a 1 1 [a 3 5 1 2 3 5 a is 2 s 2 | ¢ 3 ee ee ee [oe z|_/ io i z 1 ia : e p a i t 1 [= 2 6 z | lw i a i 9 a 2 i la i a 2 | i | i 2 a 1 2 1 lo a a 4 4 1 M i # i u 3 In 2 2 a | |e A a 2 in 2 2 1 | ia 1 fal i al | on 2 n 1 | 1" 2 A 2 a 2 al [ # 3 8 1 35 3 [s 1 5 a 35 2 i 2 % z wal |e % 2 6 7 if i u 1 a 1 7 2 a mel wl |e 3 i = 1 7 1 4 2 lie | [a = 2 | le 2 m | (2 w|i: ft eT EG wo] ([ | lw] fe [| [ml |e w(t Apicacion en Chile / Moria Mercedes Pavex La respuesta del nifio se registra en la columna correspondiente (“Respuestas del nic’), Para ello se escnbe en el espacio destinades al (tum, el nimero del dibujo que ol nifto selecciona (cada lamina contiene 3 ditujos numeradon), Frente a cada item, aparece también una columna con el nimero dal dibujo corespondiants a ta respuesta correcta (columna "Respuesta carecta’) para facilitar la posterior asigna- cién de puntaje. A cada respuesta correcta do! nifw se le asigna 1 punto. El puntaje total de! test se obtiene de la suma de todos los itemes correctas y el puntaje de cada sectidn de la Suma de tos itemes comprendides en ella. Los tomes estan secuenciacios por categorias linguiaticas y no par nivel de di- ficultad, por lo tanta, debe aplicarse toda el test para ulilizar el puntaje tolal y abtener una vision ganeral de la. comprension del nifia, Los puntajés oblenidos se anotan en fa seccién correspondiente de la hoja de fagistro (Puntaje). La interpretacion del puntaje otstanida por el nino se etectia con- frontindola con las normas que se presentan a continuacian y luego se puede reais- trar en la seccién destinada & elin en la hoja de registro (Interpretacién). Normas ¢ interpretacién de los resultados Las normas para la aplicacitin en Chile del last de E. Carrow se elaboraton can- siderando el rendimiento promedio y Ia desviacién estéindar de los nifes sin problemas de Ienguaje {n: 120) en cada rango dé edad. Como marco de referencia, se presentan tablas con el promedio y una o das desviaciones estéindar bajo y sobre el promedio en cada range elario, Es importanta destazar que fas nomas propuestas deben conside- rarse sola como referencia, porque no corresponden a una estandarizacion, TABLA NPS Puntaje total del Test para la Comprensidn Auditiva del Lenguaje de &. Carrow. ‘Aplicacién en Chile WENGS ] MENOS was WAS 2 1 1 2 oesv. | cesy. | PROMEDIO| ogy DESV. ESTANDAR | ESTANDAR ESTANDAR | ESTANDAR 3-a1tatos| 388 46.0 $28 88.6 6a s-Atianos | 4a 539 a9 79 m9 s-Sitanos| = 723 72 a4 a9 6| oe B-e1anas} 79.1 eat aot 4.0 a 35 “Tart pans tn conmpronedt accor ded lana oe E Carre TABLA N'9 Puntajes en la seecion Voeabularia en los distintos rangos de edad MENOS MENOS MAS MAS 2 1 1 2 DESV. cesv | PROMEDIO| pesy. ESV ESTANDAR | ESTANDAR ESTANDAR | ESTANDAR aH anos 182 209 236 264 mat 4-411 anos 201 26.5 342 98.8 5.11 altos. 30.3 33.0 357 384 41.0 G-G.11 anos 33.9 35.8 aro 39.0 41.0 TABLA N10 Puntajes en la seccién Morfalngia en los distintos rangos de edad MENOS | MENOS: MAS MAS: 2 1 i 2 nes pes. | PROMEDIO) peey. DESY. ESTANDAR | ESTANDAR ESTANDAR | ESTANDAR Seelieeas 143 487 | at ar8 319 SAUTeMCS | cama 228 | 285 a2 | 309 Rasel fete 35a | 39.0 427 | 46.4 SORULSRE | — esi 380 | ua 446 | 4an9 Aplicociéren Chile / Maria Mercedes Pawar TABLA N'11 Puntajes en la seccién Sintaxis en los distintos rangos de edad [a | MENOS | MENGS | mas | MAS 2 1 1 2 DESY, pesv. | PROMEDIO) peay DESY. ESTANDAR | ESTANDAR eSTANDaR | ESTANDAA a-aatates| 24 a7 5.0 53 76 4-4ttafos| 25 42 a 78 oa 8-Sttenos| 54 73 82 na 120 6-8ttanos| 72 as 28 nr | ize El puntaje total obtenido por #f nifo Se ubica en el rango etatie carrespondiente a su edad en la Tabla N° 9, relativa a puntaje total. Su desempefic es considerada normal si se ubica entre el promadio y la columna ‘menos 1 desviatidn esténdar" cluyendo =! puntaje de ella). Cuando su puntaje se sittia entre las columnas “menos 1 desviaciin estandar® y ‘menos 2 desviaciones estandar’ (incluide el puntaje de esta, Ultima), su desempefio esta descendido (lo que puede implicar que

    Вам также может понравиться