Dr.

Rafael Nez

Ranking Mundial de Universidades del Mundo

2013
El "Ranking Mundial de Universidades del Mundo" es una iniciativa del Laboratorio de Cibermetra, un grupo de investigacin perteneciente al Consejo Superior de Investigaciones Cientficas (CSIC), el mayor organismo pblico de investigacin en Espaa.

Metodologa
El Ranking Web (Webometrics) de Universidades proporciona la clasificacin ms completa y actualizada de instituciones de educacin superior de todo el mundo. El Laboratorio de Cibermetra (Consejo Superior de investigaciones Cientficas, CSIC, Espaa) publica desde 2004, cada seis meses, un ranking acadmico independiente con el objetivo de suministrar informacin fiable, multidimensional, actualizada y til sobre las universidades de todo el mundo teniendo en cuenta su presencia e impacto en la Web. En la actualidad el Ranking incluye ms de 21.000 universidades con dos ediciones, una que aparece a finales de Enero y una segunda disponible al terminar Julio.

Historia
El Laboratorio de Cibermetra lleva desarrollando estudios cuantitativos sobre la web acadmica desde mediados de los aos noventa. Nuestro primer indicador basado en enlaces fue presentado durante la conferencia EASST/4S en Bielefeld (1996) y la recoleccin de datos de sedes web de universidades europeas se inici en 1999 con el apoyo de proyectos financiados por la Comisin Europea (EICSTES, WISER). Estos trabajos son una continuacin de nuestra investigacin bibliomtrica iniciado en 1994, que se ha presentado en las Conferencias de la Sociedad Internacional para la Cienciometra y Informetra (ISSI, 1995-2011) y las Conferencias Internacionales sobre Indicadores de Ciencia y Tecnologa (STI-ENID, 1996-2012) y publicado en revistas de alto impacto (Journal of Informetrics, Journal of the American Society of Information Science and Technology, Scientometrics, Journal of Information Science, Information Processing & Management, Research Evaluation, y otras). En el ao 1997 comenzamos la edicin de revista totalmente digital, de acceso abierto y revisin por pares, Cybermetrics, que publica artculos en ingls sobre esta disciplina.

En 2003, tras la publicacin del ranking de la Universidad Jiatong de Shanghai, el Academic Ranking of World Universities (ARWU), se decidi adoptar el modelo con algunas mejoras e innovaciones.

El ranking se construye a partir de datos publicados en la web abierta (no intranets) e indizados por los motores de bsqueda. Indicadores de actividad e impacto (visibilidad web) se combinan en un indicador compuesto, y se produce una clasificacin con una cobertura verdaderamente global. La primera edicin fue publicada en 2004, y desde 2006 aparece dos veces al ao. En 2008, se comenzaron a publicar en el mismo portal los rankings web de centros de investigacin (8.000), hospitales (16.000), repositorios y escuelas de negocios.

Objetivos y motivacion
El objetivo original del Ranking es promover la publicacin en la web acadmica, mediante el apoyo a las iniciativas de acceso abierto, con el fin de incrementar significativamente la transferencia de conocimientos cientficos y culturales generados por las universidades a toda la sociedad. Para lograr este objetivo, la publicacin de rankings proporciona una de las herramientas ms poderosas y exitosas para iniciar y consolidar los procesos de cambio en el modo de publicacin del mundo acadmico, aumentando el compromiso de los profesores e investigadores y favoreciendo la adopcin de estrategias a largo plazo

El objetivo no es evaluar pginas web, su diseo o usabilidad o la popularidad de su contenido, de acuerdo con el nmero de visitas o diversidad de visitantes. En realidad, los indicadores Web de presencia e impacto pueden ser un mecanismo importante y objetivo para la correcta evaluacin, completa y profunda, de las actividades universitarias, de su gestin y gobernanza, de los servicios que ofrecen, de la calidad de su docencia e investigacin, y de la relevancia e impacto de los resultados cientficos, tecnolgicos, culturales o econmicos tanto a nivel local como internacional.

La fiabilidad del Ranking depende del compromiso de la institucin con la publicacin en la web, hasta que punto sta refleje especularmente lo que es y representa la universidad. Pero parece obvio que en plena segunda dcada del siglo XXI se entiende ya de forma universal que la Web es clave para el futuro de todas las misiones de la universidad, puesto que es de hecho la principal herramienta de comunicacin acadmica, el canal primordial para desarrollar la educacin a distancia, un espacio para la participacin de la comunidad y el escaparate abierto al mundo para atraer talento, financiacin y recursos de todo tipo.

Filosofa y justificacion
Slo se publica un nico ranking cerrado en cada edicin, puesto que variables y pesos se combinan tras una cuidadosa investigacin y este valor aadido no puede estar al albur de la eleccin individual por parte de usuarios que no tienen suficiente conocimiento o experiencia en este campo. Otros rankings proporcionan mltiples versiones, algunas con clasificaciones muy diferentes, utilizando exactamente los mismos datos en diferentes combinaciones, lo que es poco til y confuso.

El Ranking Web ofrece una clasificacin de todas las universidades del mundo, no slo unos pocos cientos de instituciones del mundo desarrollado. Como es de esperar el Ranking est encabezado por las llamadas universidades de "clase mundial", que por lo general no son instituciones pequeas o muy especializadas.

El Ranking Web es el resultado de un esfuerzo continuado de investigacin cientfica, buscando mejoras en cada edicin y adecuando la metodologa a los resultados, lo que lleva a realizar ciertos cambios tanto en los indicadores como en el modelo de ponderacin. La estabilidad no es una prioridad, por lo que la comparacin entre ediciones debe realizarse con precaucin. Realmente es una pena que algunos rankings usen la excusa de la estabilidad entre ediciones para no corregir errores o poner a punto los indicadores.

Hay rankings realizados por empresas con fines de lucro, que explotan dichos rankings con fines econmicos o polticos y que ofrecen resultados sesgados que deben ser evaluados con precaucin.

Los rankings basados nicamente en datos bibliomtricos slo miden una misin, la investigadora, que posiblemente solo es prioritaria para unos pocos centenares de universidades de todo el mundo. Ms an, las fuentes utilizadas sesgan una gran cantidad de disciplinas como las tecnologas e ingenieras, la informtica, las ciencias sociales y las humanidades, disciplinas que normalmente equivalen a ms de la mitad de los profesores y estudiantes en una universidad convencional. El Ranking Web mide, aunque de un modo indirecto, otras misiones tales como la enseanza o la llamada tercera misin, teniendo en cuenta no slo el impacto cientfico de las actividades de la universidad, sino tambin la importancia econmica de la transferencia de

tecnologa a la industria, el compromiso con la comunidad (social, cultural, medio-ambiental) e incluso la influencia poltica.

El Ranking Web utiliza el anlisis de enlaces para la evaluacin de la calidad, ya que es una herramienta mucho ms poderosa que el anlisis de citas o las encuestas pretendidamente globales. En el primer caso, las citas slo tienen en cuenta el reconocimiento formal entre pares, mientras que los vnculos no slo incluyen citas bibliogrficas, sino tambin la participacin e impacto de terceros en las actividades universitarias. Las encuestas no son una herramienta adecuada para la elaborar rankings mundiales ya que no hay ni un solo individuo con una experiencia intensa (varios semestres de estancia por institucin), plurinstitucional (varias docenas de universidades de distintos lugares del globo) y multidisciplinar (tanto con ciencias duras como con biomedicina, ciencias sociales o tecnologas) en un muestra representativa de universidades de todo el mundo.

Los resultados de la investigacin son tambin relevantes en la elaboracin del Ranking Web, que incluye no slo las publicaciones formales (revistas electrnicas, repositorios), sino tambin la comunicacin informal. La publicacin web es mucho ms barata, y no tiene porqu renunciar a los altos estndares de calidad de los procesos de revisin por pares, que en este soporte pueden ser ms amplios y transparentes. La web llega a audiencias enormes, incluyendo el acceso al conocimiento cientfico a investigadores e instituciones de pases en desarrollo y tambin a terceros actores (econmicos, industriales, polticos o culturales) en su comunidad local o internacional.

Tenemos la intencin de motivar tanto a instituciones e investigadores a tener una presencia web que refleje con exactitud sus actividades. Si el rendimiento web de una institucin est por debajo de lo esperado de acuerdo a su excelencia acadmica, los dirigentes universitarios deberan reconsiderar su poltica Web, promoviendo el incremento substancial del volumen y la calidad de sus publicaciones electrnicas.

Los estudiantes que busquen universidad para iniciar o continuar sus estudios superiores deben utilizar criterios adicionales porque, aunque el Ranking Web se correlaciona bien con la calidad de la enseanza impartida y el prestigio acadmico, otras variables no acadmicas como costes, alojamiento, seguridad deben tenerse en cuenta.

Indicadores compuestos y Factor de Impacto Web

Probablemente una de las principales contribuciones del Ranking de Shanghai fue la introduccin de un indicador compuesto, que combina con un sistema de ponderacin una serie de variables individuales. Anteriormente se utilizaban ndices bibliomtricos tales como el Factor de Impacto de Garfield, que es una proporcin entre artculos y citas que reciben, y que Ingwersen en 1997 utilizo para construir el Factor de Impacto Web (WIF) utilizando de forma similar relaciones entre nmero de pginas web y enlaces que las conectaban. Sin embargo esas relaciones sufren del comportamiento hiperblico (leyes de potencia) de las distribuciones de las variables y en el caso de escenarios grandes y complejos generan artefactos matemticos.

El modelo de Shanghai propone transformar las proporciones entre variables en sumas ponderadas de las mismas. As, en el Ranking Web el indicador E/PW (E=enlaces, PW=pginas web) se modifica en aE + bPW, donde E & PW se normalizan por adelantado y a y b son pesos que suman 1 ( 100%). Desaconsejamos el uso del WIF, debido a sus graves deficiencias. El indicador compuesto se puede disear con diferentes conjuntos de variables y ponderaciones de acuerdo con las necesidades del desarrollador y distintos modelos.

Diseno y peso de los indicadores

El Ranking Web utiliza un modelo "a-priori" para la construccin del indicador compuesto. Otros rankings optan por asignar pesos arbitrarios a variables que en muchos casos no son independientes y llegan incluso combinar a valores absolutos con proporciones. Ninguno de ellos parece establecer una relacin lgica entre las distintas medidas. Adems, como ya se indic anteriormente, algunas variables tienen valor mayor que cero tan slo para unas pocas universidades y en otras es difcil segregar las distintas universidades ya que las diferencias entre ellas son tan pequeas que incluso resultan inferiores a las tasas de error de la medida.

El Ranking Web utiliza una proporcin 1:1 entre indicadores de actividad, en este caso publicaciones y contenidos en la web, e indicadores de impacto, que para nuestros fines se miden 5

a travs del nmero de enlaces externos recibidos (visibilidad web). En trminos prcticos esto significa que cada grupo recibe una peso exactamente igual del 50%, es decir respetando el modelo 1:1.

En cualquier caso, la combinacin de indicadores exige la previa normalizacin de los mismos. Se pueden utilizar normalizaciones respecto a la suma total o al mximo valor, expresando los resultados en tantos por uno o porcentajes respecto de dichos valores. Sin embargo, puesto que los datos siguen una distribucin hiperblica (o de potencia) esta normalizacin no parece la ms adecuada. La relacin de 1:1 entre los grupos de indicadores actividad / presencia y visibilidad / impacto se mantiene con el siguiente esquema de indicadores y pesos individuales.

Visibilidad (50%)
IMPACTO. La calidad de los contenidos, se evalu a travs de un "referndum virtual", contando todos los enlaces entrantes que recibe el dominio web universitario de terceros, tanto acadmicos como no. Esos enlaces reconocen el prestigio institucional, el rendimiento acadmico, el valor de la informacin, y la utilidad de los servicios tal como se ofrecen en las pginas web de acuerdo con los criterios y opiniones de millones de editores web de todo el mundo. Los datos de visibilidad (enlaces y dominios enlazantes) se obtienen de los dos proveedores ms importantes de esta informacin: Majestic SEO y ahrefs. Ambos utilizan sus propios rastreadores, y generan bases de datos diferentes con informacin diferente, que a menudo no se solapa, por lo que es interesante utilizarlos en conjunto completar lagunas o corregir errores. El indicador es el producto de la raiz cuadrada del nmero total de vnculos recibidos por el nmero de dominios distintos que han originado dichos vnculos, por lo que no slo es importante la popularidad de los enlaces, sino tambin la diversidad de los mismos. El mximo valor de los resultados normalizados entre los dos proveedores es el indicador de impacto.

Actividad (50%)
PRESENCIA (1/3). El nmero total de pginas web alojadas en el dominio web principal (incluyendo todos los subdominios y directorios) de la universidad obtenidos del mayor motor de bsqueda comercial (Google). Se cuentan todas las pginas web, incluyendo todos los formatos reconocidos individualmente por Google, las pginas estticas y dinmicas y los archivos ricos. Como consejo general, no es posible tener una presencia fuerte sin la contribucin de todos y cada uno de los miembros de organizacin, la nica manera efectiva de publicar millones de pginas web. Tener dominios adicionales (departamentales, personales, de proyectos) o alternativos de los centrales (para versiones en otros idiomas) o con fines de marketing penaliza fuertemente el valor de este indicador, y tambin es muy confuso para los usuarios externos.

APERTURA (1/3). El esfuerzo global para crear repositorios institucionales de investigacin se reconoce explcitamente en este indicador, que tiene en cuenta el nmero total de ficheros ricos (pdf, doc, docx, ppt), publicado en sitios web tal como se recogen en el motor de bsqueda Google Acadmico (Google Scholar). Slo los nombres de archivos correctamente formados son tenidos en cuenta (por ejemplo, los archivos de Adobe Acrobat debe terminar obligatoriamente con el sufijo pdf). Solo se incluyen las publicaciones recientes, que en la actualidad son las publicadas entre 2008 y 2012.

EXCELENCIA (1/3). Los trabajos acadmicos publicados en revistas internacionales de alto impacto estn jugando un papel muy importante en todos los rankings de Universidades. Aunque se utilizan fuentes prestigiosas que realizan rigurosas selecciones de las revistas a considerar, usar simplemente el nmero total de documentos puede ser engaoso, por lo que se restringe el indicador slo a aquellas publicaciones excelentes. En este Ranking se consideran como tales los artculos comprendidos entre el 10% ms citados de sus respectivas disciplinas cientficas. Aunque sta es una medida de la produccin de alta calidad de las instituciones de investigacin, el proveedor de datos (Grupo SCImago) suministra valores para ms de 5200 universidades (perodo 2003-2010). En prximas ediciones se pretende hacer coincidir los perodos de cmputo entre Scholar y fuentes SCImago.

Ventajas y desventajas
COBERTURA El Ranking Web es el ranking ms grande por el nmero de instituciones de educacin superior analizadas, pero no proporciona una clasificacin institucional por lo que los listados incluyen tanto universidades, como colegios comunitarios, seminarios teolgicos y otras instituciones de tercer nivel. La razn esv que no existe una clasificacin a nivel mundial de dichas caractersticas, por lo que el interesado deber seleccionar bajo su propio criterio los subconjuntos que necesite, pudiendo utilizar los resultados para construir rankings especficos personalizados.

MISIONES DE LA UNIVERSIDAD La medicin directa de la misin docente a nivel universal y de forma normalizada es prcticamente inviable. Ni las evaluaciones basadas en las encuestas (subjetiva), ni la proporcin de estudiantes / profesor (datos no disponibles o fiables y una escasa capacidad de segregar) o la empleabilidad de los egresados (con muchas variables involucradas, no nicamente la calidad de la enseanza). El Ranking Web clasifica esta misin de forma indirecta, estimando que la presencia en la web es un indicador del compromiso de los profesores con sus estudiantes. No es perfecto, pero el futuro de esta misin est claramente en el mbito web y cualquier institucin o persona que no sea consciente de ello estar perdiendo terreno rpidamente.

GRANDES NMEROS La calidad de los datos no slo depende de la fuente utilizada, sino tambin de las cantidades implicados. Por ejemplo, el nmero de universidades con ms de un Premio Nobel es probablemente menor de 200 (incluidos todos los que se conceden desde 1900), lo que hace muy difcil clasificar correctamente instituciones con uno o dos galardonados e imposible las que no fueron nunca agraciadas. Lo mismo se aplica a los datos de las citas, la herramienta bibliomtrica ms poderosa que proporciona cifras en el orden de los miles o decenas de miles, lo que puede dar lugar a numerosos empates tcnicos. Los datos basados en el nmero de enlaces son mucho mayores, por lo general de hasta dos o tres rdenes de magnitud ms grandes. Ciertamente, los indicadores web son ms ruidosos pero estadsticamente son ms adecuados para discriminar (ordenar) un mayor nmero de instituciones.

IMPACTO DEL TAMAO No hay mucho que debatir sobre ste tema: Las clasificaciones ms populares, incluyendo el Ranking Web, son dependientes del tamao, aunque no se refiere necesariamente al nmero de profesores o estudiantes (Harvard o MIT no son grandes en ese sentido), pero si probablemente a los recursos (financiacin actual o pasada reflejada en instalaciones, laboratorios o bibliotecas). Pero esta crtica no es totalmente acertada ya que en realidad ninguno de los rankings est realmente midiendo eficiencia sino rendimiento global. Sirva como ejemplo que la riqueza econmica de las naciones puede ser medida en trminos de PIB (EE.UU., China, Japn) o en trminos de PIB per cpita (Luxemburgo, Emiratos, Noruega). Ambos indicadores son correctos y tiles, pero sus fines e interpretacin son completamente diferentes.

MALAS PRCTICAS EN LOS DOMINIOS WEB Los gestores universitarios todava luchan para que los autores asignen correctamente las direcciones en las afiliaciones de las publicaciones cientficas. La situacin no es mucho mejor en la Web, con varios cientos de instituciones que tienen ms de un dominio web central, manteniendo activos dominios antiguos, utilizando dominios alternativos para las pginas internacionales (ingls) o compartiendo dominios con terceros. Incluso entre aquellas universidades que slo tienen un dominio, las hay que lo cambian con frecuencia, a veces sin ninguna razn o ventaja aparente. Una extraa situacin, relativamente comn, es la transferencia de un dominio de primer nivel nacional (.ar, .es, .br) a un ".edu" que es un dominio de alto nivel diseado para nombrar universidades de EE.UU. Esto ocurre incluso cuando el pas cuenta con una estrategia claramente definida de subdominios acadmicos (edu.pl, edu.ua, ac.kr). Estos cambios y, sobre todo el uso simultneo de varios dominios, castiga muy severamente en Ranking de Universidades. An ms importante es el hecho de que esta prctica disminuye la visibilidad de su web de las universidades. Probablemente no tiene un efecto tan fuerte sobre las poblaciones locales, pero es muy confuso para las audiencias globales.

UNIVERSIDADES FALSAS Y NO ACREDITADAS Tratamos de hacer lo imposible para no incluir falsas instituciones acadmicas, comprobando especialmente las universidades en lnea, las sucursales internacionales y otras con dominios o subominios web sospechosos, pero seguramente se nos escapa alguna. Cualquier sugerencia sobre estos temas es muy bienvenida.

Objetivos del Ranking Mundial de Universidades del Mundo

El objetivo original de la clasificacin era promover la publicacin Web. Apoyo a las iniciativas de acceso abierto, el acceso electrnico a las publicaciones cientficas y otros materiales acadmicos son nuestros principales objetivos. Sin embargo indicadores web son muy tiles para propsitos del ranking tambin, ya que no se basan en el nmero de visitas o diseo de pgina, pero en el rendimiento global y la visibilidad de las universidades.

Como otros rankings se centraron slo en unos pocos aspectos relevantes, especialmente en los resultados de investigaciones, indicadores web refleja mejor clasificacin en base a toda la imagen, como muchas otras actividades de los profesores e investigadores se mostraron por su presencia en la web.

La Web cubre no slo la comunicacin acadmica slo formal (revistas electrnicas, repositorios), sino tambin informal. Publicacin web es ms barato, manteniendo los altos estndares de calidad de los procesos de revisin por pares. Tambin podra llegar a un pblico potencial mucho ms grandes, ofreciendo acceso al conocimiento cientfico a investigadores e instituciones de pases en desarrollo y tambin para terceros (econmicos, industriales, polticos o actores culturales) en su propia comunidad.

El Ranking de Universidades tiene una cobertura mayor que otros rankings similares (ver tabla abajo). La clasificacin no slo se centra en los resultados de investigacin, sino tambin en otros indicadores que pueden reflejar mejor la calidad global del investigador y las instituciones de investigacin en todo el mundo.

Tenemos la intencin de motivar tanto a instituciones y acadmicos para tener una presencia en la Web que refleje con exactitud sus actividades. Si el rendimiento web de una institucin se encuentra por debajo de lo esperado de acuerdo a su excelencia acadmica, los dirigentes universitarios deberan reconsiderar su poltica Web, promoviendo el incremento substancial del volumen y la calidad de sus publicaciones electrnicas.

10

Estudiantes candidatos debern utilizar criterios adicionales si estn tratando de elegir la universidad. Ranking Mundial se correlaciona bien con la calidad de la educacin impartida y el prestigio acadmico, sino otras variables no acadmicas deben ser tomados en cuenta.la educacin siempre y acadmicos de prestigio, pero otras variables no acadmicas deben tenerse en cuenta.

COMPARACIN DE LAS CLASIFICACIONES DE LAS PRINCIPALES UNIVERSIDADES DEL MUNDO:

COBERTURA DEL RANKING MUNDIAL DE UNIVERSIDADES DEL MUNDO

En esta tabla se resumen de la cobertura real de la clasificacin, en trminos del nmero de pases e instituciones de educacin superior de todo el mundo educacin instituciones de todo el mundo.

11

Diseno y peso de los indicadores

La unidad de anlisis es el dominio institucional, por lo que slo las universidades y centros de investigacin con un dominio web independiente son considerados. Si una entidad tiene ms de un dominio principal, dos o ms entradas se utilizan con las diferentes direcciones.

El primer indicador Web, Factor de Impacto Web (WIF), se bas en el anlisis de enlaces que combina el nmero de enlaces entrantes externos y el nmero de pginas de la pgina web, una relacin de 1:1 entre visibilidad y tamao. Esta relacin se usa para el ranking, aadiendo dos indicadores nuevos al componente del tamao: nmero de documentos, medido por el nmero de

12

ficheros ricos en el dominio web, y el nmero de publicaciones que se recogidos por base de datos de Google Scholar. Cuatro indicadores se obtuvieron a partir de los resultados cuantitativos proporcionados por los principales motores de bsqueda de la siguiente manera: Tamao (S) . Nmero de pginas recuperadas de cuatro motores: Google, Yahoo y Bing Search. Visibilidad (V) . El nmero total de enlaces externos nicos recibidos (enlaces entrantes) por un sitio, de acuerdo con Yahoo Site Explorer. Ficheros ricos (R) . Despus de la evaluacin de su importancia para las actividades acadmicas y de publicacin, y teniendo en cuenta el volumen de los diferentes formatos de archivo fueron seleccionados los siguientes: Adobe Acrobat (pdf)., Adobe PostScript (ps.), Microsoft Word (doc.) Y Microsoft Powerpoint (. ppt). Estos datos se obtuvieron a travs de Google, Yahoo y Bing. Acadmico (Sc). Los datos son una combinacin de artculos publicados entre 2006 y 2010 incluido en Google Scholar y la produccin mundial (2004.-2008) segn de Scimago SIR. Los cuatro rangos fueron combinados de acuerdo a una frmula en la que cada uno tiene un peso diferente pero manteniendo la proporcin de 1:1:

La inclusin del nmero total de pginas se basa en el reconocimiento de un nuevo mercado global para la informacin acadmica, por lo que la web es la plataforma adecuada para la internacionalizacin de las instituciones. Una presencia web fuerte y detallada que provea descripciones exactas de la estructura y las actividades de la universidad puede atraer a nuevos estudiantes y acadmicos de todo el mundo.

El nmero de enlaces entrantes externos recibidos por un dominio es una medida que representa la visibilidad e impacto del material publicado, y aunque hay una gran diversidad de motivaciones para la vinculacin, una fraccin significativa funciona de una manera similar a la cita bibliogrfica.

13

El xito de la auto-archivado y otros repositorios de iniciativas relacionadas puede estar representada por los ricos archivos y datos Acadmico. Los altos valores obtenidos para los formatos pdf y doc significa que no slo los informes administrativos y burocrticos estn implicados. Archivos PostScript y Powerpoint estn claramente relacionados con las actividades acadmicas.

Bibliografa
- Aguillo, I. F.; Granadino, B.; Ortega, J. L.; Prieto, J. A. (2006). Scientific research activity and communication measured with cybermetric indicators. Journal of the American Society for the Information Science and Technology, 57(10): 1296 - 1302.

- Wouters, P.; Reddy, C. & Aguillo, I. F. (2006). On the visibility of information on the Web: an exploratory experimental approach. Research Evaluation, 15(2):107-115.

- Ortega, J L; Aguillo, I.F.; Prieto, JA. (2006). Longitudinal Study of Contents and Elements in the Scientific Web environment. Journal of Information Science, 32(4):344-351.

- Kretschmer, H. & Aguillo, I. F. (2005).New indicators for gender studies in Web networks. Information Processing & Management, 41 (6): 1481-1494.

- Aguillo, I. F.; Granadino, B.; Ortega, J.L. & Prieto, J.A. (2005). What the Internet says about Science. The Scientist, 19(14):10, Jul. 18, 2005.

- Kretschmer, H. & Aguillo, I. F. (2004). Visibility of collaboration on the Web. Scientometrics, 61(3): 405-426.

14

- Cothey V, Aguillo IF & Arroyo N (2006). Operationalising Websites: lexically, semantically or topologically?. Cybermetrics, 10(1): Paper 4. http://cybermetrics.cindoc.csic.es/articles/v10i1p4.pdf

15