Taller III

Ismael Arinas Pelln

Pgina 1 de 6

EJERCICIO 07 USO DEL PAQUETE ESTADSTICO NSP 1) La primera operacin ha consistido en hacer una lista de palabras ordenadas por frecuencia de aparicin en el corpus. Teniendo en cuenta que para hacer esta lista se ha usado un fichero de palabras a excluir, la lista que se obtiene consiste en 54.659 tokens. Esta cifra de tokens puede disminuir si se expande la lista de palabras a excluir (stopwords) con la intencin de excluir el mayor nmero de tokens que carecen del potencial de formar parte de un trmino. Este es unmtodo basado fundamentalmente en definir qu se va a considerar una palabra vlida en el corpus (vase el fichero tokenfile.txt), cules de estas palabras vlidas se van a incluir en el recuento (vase el fichero stopwordfile.txt), qu componentes de las cadenas consideradas palabras vlidas se van a excluir (vase nontokenfile.txt), y ordenar las palabras resultantes segn su frecuencia en el corpus. Lo que se obtiene con este mtodo son listas de palabras sin lematizar que pertenecen a todas las categoras gramaticales y entre las cuales veremos trminos especializados y vocabulario de uso general. Tambin se ve que considera como tokens distintos a palabras en minscula y mayscula (aunque imagino que NSP puede distinguir entre maysculas y minsculas mediante algn parmetro de bsqueda). Una buena lista de palabras a excluir ser seguramente el resultado de la experiencia con un dominio especializado concreto. Esta experiencia ser el resultado de la repeticin de ciclos de prueba y error que van adaptando cada vez mejor el fichero de stopwords a un dominio concreto. Para este ejercicio imagino que baste con mostrar que se han identificado mejoras en la lista de stopwords para adaptarla al dominio del corpus que se est usando. Los contratos de compraventa incluyen trminos de los dominios legal y econmico. Por otra parte, el objeto de la venta introduce trminos del dominio alque pertenece. En el caso de este corpus, los contratos incluyen los dominios de la vivienda, los vehculos y las cosechas. A continuacin se presenta un listado de aquellos tokens que tienen una frecuencia de 25 o ms apariciones en el corpus. Marcados en negrita roja se destacan los trminos de esta lista:
DE<>808 contrato<>709 parte<>704 presente<>543 EL<>417 vivienda<>362 LA<>349 partes<>335 D<>295 arrendatario<>286 caso<>284 Y<>275 compradora<>264 fecha<>244 comprador<>243 <>238 pago<>229 escritura<>215 cuenta<>208 gastos<>206 precio<>206 vendedora<>198 cantidad<>186 EN<>182 arrendador<>177 entrega<>176 vendedor<>175 compraventa<>174 N<>171 nmero<>168 n<>166 finca<>161 CONTRATO<>155 renta<>152 QUE<>147 domicilio<>140 mes<>139 propiedad<>139 mismo<>136 objeto<>135 Que<>135 inmueble<>135 venta<>132 siguientes<>131 DEL<>126 POR<>125 derecho<>125 condiciones<>125 conformidad<>123 calle<>123 cualquier<>120 estado<>117 plazo<>115 conforme<>115 forma<>115 momento<>114 das<>113 da<>112 as<>110 LOS<>108 LAS<>108 Ley<>107 I<>106 concepto<>105 acto<>105 artculo<>104 Propiedad<>104 edificio<>102 VENDEDOR<>102

Taller III
Registro<>101 establecido<>101 otorgamiento<>99 firma<>98 segn<>97 total<>97 arrendamiento<>96 hasta<>96 nombre<>95 cargo<>95 efecto<>94 Cdigo<>93 prstamo<>93 pblica<>93 impuestos<>92 importe<>92 documento<>91 sern<>91 obligaciones<>88 MOBILIARIO<>88 local<>87 arrendataria<>86 lugar<>86 uso<>85 compra<>85 piso<>85 efectos<>83 encuentra<>82 resolucin<>82 cumplimiento<>82 ciudad<>82 C<>81 SE<>81 Comunidad<>80 Euros<>80 mayor<>79 dicho<>78 DON<>78 ante<>77 edad<>77 acuerdo<>76 Notario<>76 derechos<>75 legal<>75 partir<>74 fin<>73 PARTE<>72 LAU<>72 COMPRADOR<>72 letra<>71 firman<>71 cantidades<>71 pesos<>71 mediante<>70 CANTIDAD<>70

Ismael Arinas Pelln

libre<>70 cual<>70 misma<>70 anterior<>70 PRIMERA<>69 X<>69 Civil<>68 siendo<>68 siguiente<>67 todas<>67 PROVEEDOR<>66 clusula<>66 suma<>65 establece<>65 quien<>65 correspondiente<>65 dicha<>64 expresamente<>64 incumplimiento<>63 PARA<>63 obras<>62 O<>62 comunes<>62 responsabilidad<>62 adelante<>62 corriente<>62 Ambas<>61 obligacin<>61 previsto<>61 inters<>61 cargas<>60 Don<>60 euros<>60 pactado<>59 TERCERA<>59 tipo<>58 rgimen<>58 SEGUNDA<>57 dispuesto<>56 servicios<>56 ARRENDATARIO<>56 Vendedor<>55 CUARTA<>55 pueda<>54 propio<>54 vez<>54 QUINTA<>53 haya<>53 bajo<>53 CON<>52 corresponda<>52 sea<>52 opcin<>52 prueba<>52 compromete<>52

Pgina 2 de 6
PODER<>52 COMPRAVENTA<>52 Tribunales<>51 VIVIENDA<>51 Si<>50 EJECUTIVO<>50 meses<>50 desde<>50 obra<>50 conservacin<>50 SEXTA<>49 ESTE<>49 aplicacin<>49 fianza<>49 Propietarios<>49 Impuesto<>49
ARRENDAMIENTO<>49

anexos<>48 intereses<>48 generales<>48 condicin<>48 obliga<>48 causa<>47 superficie<>47 salvo<>47 Contrato<>47 pagar<>46 daos<>46 indemnizacin<>46 subrogacin<>46 vehculo<>45 descrita<>45 tales<>45 capacidad<>45 Comprador<>45 sita<>45 consecuencia<>45 cualquiera<>44 favor<>44 AL<>44 realizar<>44 declara<>43 elementos<>43 PARTES<>42 dominio<>42 demora<>42 SU<>41 II<>41 ello<>41 OCTAVA<>41 arrendada<>41 referencia<>40 recibo<>40 garanta<>40 NO<>40

Taller III
EUROS<>40 valor<>40 voluntad<>40 escrito<>39 DCIMA<>39 siempre<>39 metros<>38 descripcin<>38 propietario<>38 ocupantes<>38 autorizacin<>38 entidad<>37 comunidad<>37 someten<>37 c<>37 ltimo<>37 designe<>37 LO<>37 Escritura<>37 manifiesta<>37 BIENES<>37 Calle<>37 sean<>36 celebrar<>36 adquisicin<>36 DNI<>36 m2<>36 normas<>36 domiciliado<>36 contratantes<>36 SEGUNDO<>36 anual<>35 NOVENA<>35 ella<>35 antelacin<>35 PRESENTE<>35 UNA<>35 COMPRADORA<>35 legales<>35 poder<>35 reconocen<>34 plazos<>34 equivalente<>34 clusulas<>34 posesin<>34 PRIMERO<>34 arrendadora<>34 acuerdan<>34 Asimismo<>34 general<>34 duracin<>34 Primera<>34 expresa<>34 ARRENDADOR<>34 arrendado<>34

Ismael Arinas Pelln

llaves<>33 actualizacin<>33 correspondientes<>33 necesidad<>33 ENTIDAD<>33 construccin<>33 sido<>33 base<>33 relacin<>33 hipotecario<>33 conocer<>33 dems<>32 disposicin<>32 aos<>32 impuesto<>32 bienes<>32 toda<>32 NIF<>32 Precio<>32 representacin<>31 convienen<>31 normal<>31 perjuicios<>31 Madrid<>31 CONTRATISTA<>31 Nmero<>31 Nacional<>31 inscripcin<>31 duplicado<>31 unidad<>30 supuesto<>30 FECHA<>30 impago<>30 inscrita<>30 abono<>30 seor<>30 cuotas<>30 renuncia<>30 fe<>30 REUNIDOS<>30 etc<>30 Pblico<>30 vigente<>29 Entidad<>29 estipulado<>29 previa<>29 trminos<>29 ao<>29 bancaria<>29 carcter<>29 garaje<>29 denominado<>29 pudiendo<>29 habitacin<>29 responsabilidades<>29

Pgina 3 de 6
debiendo<>28 encabezamiento<>28 honorarios<>28 prrafo<>28 COMPRA<>28 escalera<>28 lote<>28 suficiente<>28 cuadrados<>28 regirpor<>28 Yo<>28 VENDEDORA<>28 obstante<>28 plaza<>28 vencimiento<>28 falta<>28 gravmenes<>28 sucesivas<>27 mximo<>27 Libro<>27 FIANZA<>27 ellos<>27 persona<>27 cumplir<>27 cambio<>27 jurisdiccin<>27 modificacin<>27 derivados<>27 Estatutos<>27 artculos<>27 negocio<>27 actos<>27 datos<>27 Copia<>27 legalmente<>27 certificacin<>27 vecino<>26 perodo<>26 COMO<>26 fija<>26 Sr<>26 rentas<>26 entregar<>26 hipotecaria<>26 CASO<>26 crdito<>26 noviembre<>26 recibido<>26 b<>26 Renta<>26 ninguna<>26 contenido<>26 plena<>26 Estado<>26 contrario<>26

Taller III
resto<>26 folio<>25 efectivo<>25 Administrador<>25 III<>25 Mxico<>25 queda<>25 Pblica<>25 serde<>25

Ismael Arinas Pelln

variacin<>25 hacer<>25 transmisin<>25 S<>25 viviendas<>25 VENTA<>25 perfecto<>25 proyecto<>25 ningn<>25

Pgina 4 de 6
saldo<>25 propietarios<>25 CLUSULA<>25 ley<>25 modificaciones<>25 Tomo<>25 permanente<>25 servir<>25

Tras revisar estas primeras palabras de la lista, se ven varios grupos de palabras que no no slo no son trminos, sino que tampoco van a ser productivas en la bsqueda de trminos polilexemticos. Entre las que son fcilmente clasificables (y por lo tanto predecible su aparicin sin necesidad de buscarlas previamente en toda la lista original) estn: a. Palabras y letras que se usan en el corpus para marcar la estructura de los contratos: PRIMERA, SEGUNDA, TERCERA, D, C, S, II, III, etctera. b. Palabras que hacen referencia a formas de trato: Sra., Sr., Don, Doa. c. Artculos, pronombres personales, adjetivos posesivos y elementos decticos: yo, ella, ellas, ellos, dicha, cual, mismo, todas, quien, la, el, lo, su, etctera. d. Conjunciones, adverbios y preposiciones no productivas: y, Y, que, as, si, salvo, siempre, etctera. e. Formas verbales personales e infinitivos no productivos: sern, encuentra, siendo, obliga, sido, sea, conocer, etctera. f. Nombres de lugares, meses, das: noviembre, Mxico g. Siglas y abreviaturas: m2, etc., LAU, h. Otros casos: palabras con todas las letras en mayscula que son versiones de elementos en minscula ya incluidos en la lista de exclusin. Una ventaja que tiene NSP es que la lista de exclusin utiliza el formato de expresiones regulares (una ventaja de usar programas escritos en Perl) y con algo de reflexin se pueden crear listas de exclusin que contengan patrones de exclusin. Por ejemplo pare excluir los ordinales en maysculas y minsculas de los contratos se podran hacer patrones como: /^[A-Za-z][TAVA|tava]$/ que excluira todos los ordinales terminados en OCTAVA u octava (decimoctava, vigesimoctava, trigesimoctava, etctera). 2) Clculo de frecuencias de unidades polilexemticas (100 primeros)
presente<>contrato<>295 500 303 parte<>compradora<>245 533 245 parte<>vendedora<>184 533 186 DE<>LA<>101 737 255 escritura<>pblica<>90 150 92 CONTRATO<>DE<>80 101 737 EL<>VENDEDOR<>67 410 70 Cdigo<>Civil<>66 90 68 EL<>PROVEEDOR<>65 410 66 CANTIDAD<>MOBILIARIO<>64 69 87 Ambas<>partes<>61 61 66 PODER<>EJECUTIVO<>50 51 50 presente<>documento<>50 500 50 EL<>COMPRADOR<>49 410 53 EL<>PODER<>45 410 52 DE<>LOS<>44 737 93 LA<>PARTE<>42 345 56 DE<>COMPRAVENTA<>42 737 45 compra<>venta<>41 44 49 DE<>VIVIENDA<>41 737 48 ARRENDAMIENTO<>DE<>39 44 737 LOS<>BIENES<>33 107 37 DE<>LAS<>32 737 66 elementos<>comunes<>31 36 61 LAS<>PARTES<>30 108 38 vivienda<>arrendada<>29 132 41 POR<>EL<>28 107 224 LA<>ENTIDAD<>28 345 28 PRESENTE<>CONTRATO<>28 34 132 capacidad<>legal<>26 34 71 DE<>ARRENDAMIENTO<>26 737 46 ESTE<>CONTRATO<>26 49 132 precio<>total<>25 76 64 parte<>arrendataria<>25 533 40

Taller III
propio<>nombre<>25 29 25 DE<>EL<>24 737 224 he<>recibido<>24 24 25 perfecto<>estado<>24 24 38 DE<>ESTE<>24 737 46 condiciones<>generales<>24 62 42 propiedad<>horizontal<>23 42 24 cantidad<>liquida<>23 80 23 DEL<>ESTADO<>23 125 23 prstamo<>hipotecario<>23 28 33 EN<>EL<>23 152 224 local<>arrendado<>23 34 33 Cdigo<>Postal<>22 90 22 vivienda<>sita<>22 132 45 PARTE<>VENDEDORA<>21 55 28 EL<>CONTRATISTA<>21 410 25 prrafo<>anterior<>21 21 58 DE<>COMPRA<>20 737 24 referencia<>catastral<>20 21 24 Escritura<>Pblica<>20 26 25 metros<>cuadrados<>20 22 28 autorizacin<>escrita<>20 27 21 PARTE<>COMPRADORA<>20 55 35 escritura<>traslativa<>19 150 19 presente<>Contrato<>19 500 23 POR<>LA<>19 107 255 finca<>urbana<>19 87 19 vivienda<>objeto<>19 132 81 adquisicin<>preferente<>19 20 19 Propiedad<>Horizontal<>19 52 19 COMPRAVENTA<>DE<>18 34 737 presente<>contratose<>18 500 18 partes<>acuerdan<>18 177 32 CAT bigramas presente<>contrato parte<>compradora parte<>vendedora escritura<>pblica Ambas<>partes Cdigo<>Civil CANTIDAD<>MOBILIARIO PODER<>EJECUTIVO compra<>venta EL<>VENDEDOR EL<>PROVEEDOR CONTRATO<>DE presente<>documento he<>recibido propio<>nombre EL<>COMPRADOR elementos<>comunes

Ismael Arinas Pelln

Pgina 5 de 6

LA<>FECHA<>18 345 29 DEL<>CONTRATO<>18 125 132 Bienes<>Inmuebles<>18 18 18 partes<>firman<>18 177 25 Notario<>Pblico<>18 24 30 forma<>parte<>18 73 40 uso<>normal<>18 43 26 DE<>ADMINISTRACIN<>18 737 22 CONTRATODE<>ARRENDAMIENTO<>18 18 46 nombre<>propio<>18 31 25 solo<>efecto<>18 21 27 cuenta<>corriente<>17 27 20 DE<>TABASCO<>17 737 17 finca<>objeto<>17 87 81 forma<>fehaciente<>17 73 21 garanta<>hipotecaria<>17 24 26 COMPRA<>VENTA<>17 18 25 urbana<>sita<>17 17 45 QUE<>EL<>16 116 224 Folio<>X<>16 16 52 plazo<>mximo<>16 42 20 LA<>EMPRESA<>16 345 16 arrendador<>mediante<>16 57 52 dicho<>prstamo<>16 78 23 Arrendamientos<>Urbanos<>16 16 16 DE<>FIANZA<>16 737 27 posible<>indemnizacin<>16 16 21 Finca<>X<>16 21 52 DEL<>PRESENTE<>16 125 35 reconocen<>mutuamente<>16 26 20 EN<>ESTE<>16 152 46 finca<>descrita<>16 87 39

Coefic. asociacin 0.0935 0.0768 0.0556 0.0378 0.0324 0.0311 0.0296 0.0282 0.0214 0.0204 0.0204 0.0172 0.0150 0.0149 0.0148 0.0144 0.0142

Ap. ambos 295 245 184 90 61 66 64 50 41 67 65 80 50 24 25 49 31

Ap. 1 500 533 533 150 61 90 69 51 44 410 410 101 500 24 29 410 36

Ap 2 303 245 186 92 66 68 87 50 49 70 66 737 50 25 25 53 61

17 primeros resultados con el mtodo TMI

Taller III

Ismael Arinas Pelln

CAT bigramas Bienes<>Inmuebles Arrendamientos<>Urbanos duplicado<>ejemplar compaas<>suministradoras Abogado<>aunque Cta<>cte puntos<>porcentuales Ajuar<>domestico conversaciones<>mantenidas decir<>verdad previas<>conversaciones Inmuebles<>Tambin Comisin<>Directiva entraren<>vigor PENAS<>CONVENCIONALES Coefic. asociacin

Pgina 6 de 6

1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 1.0000 15 primeros resultado con el mtodo DICE 3) Comparacin con los resultados que se obtendran con un mtodo lingstico. De haber utilizado un mtodo lingstico, el corpus de contratos tendra que haber sido previamente etiquetado (POS, etiquetas semnticas u otras). El mtodo lingstico permite obtener CAT segn los patrones de trmino: NOMBRE + ADJETIVO, NOMBRE + PREPOSICIN + NOMBRE, NOMBRE + ADJETIVO + ADJETIVO y otras combinaciones posibles tales como NOMBRE + ADJETIVO + PREPOSICIN + NOMBRE + ADJETIVO. Los CAT que no resulten trminos en la bsqueda lingstica lo sern porque la combinacin, siendo lingsticamente correcta, no constituye un trmino en el dominio para el que se busca, o la combinacin no es lingsticamente correcta (el adjetivo que sigue al nombre no lo modifica, la preposicin introduce un complemento circunstancial y el sustantivo que la precede pertenece a otro complemento circunstancial fueron en coche hasta la estacin). Por otra parte, el mtodo lingstico lematiza los CAT mientras que el mtodo estadstico presenta en ocasiones CAT en su forma plural y singular e incluso estas dos formas pueden aparecer tambin en las formas masculina y femenina. En el caso de la bsqueda de trminos que contengan formas verbales la lematizacin de los CAT es an ms ventajosa. Entre los CAT bigramas obtenidos con el mtodo estadstico no se han descartado combinaciones irrelevantes que un sistema lingstico permite descartar. Por ejemplo: NOMBRE + PREPOSICIN, ARTCULO + NOMBRE, PREPOSICIN + ARTCULO, DETERMINANTE + NOMBRE, VERBO AUXILIAR + VERBO CONJUGADO, CONJUNCIN + ARTCULO. Algunas de estos CAT bigrama son potencialmente la base de un CAT trigrama (contrato de resulta un trmino en el trigrama contrato de arrendamiento). Otros CAT que s son productivas como bigramas producen fragmentos de trminos ms largos (escritura traslativa es un fragmento de escritura traslativa de dominio). Tanto el sistema lingstico como el estadstico requieren un trabajo iterativo para detectar posibles patrones de CAT ms largos a partir de CAT ms cortos. Imagino que en espaol hay un lmite mximo de componentes que pueden tener la mayora de los trminos y que este lmite puede tener cierta relacin con el dominio en el que se busquen.