Artcul

RESUMEN

Se analizan y evalan mediante descriptores formales e indicadores cuantitativos las revistas

universitarias espaolas, que se publican en formato exclusivamente electrnico. Se estudia el impacto
y la visibilidad de estas publicaciones en la red. Se han estudiado tanto el nmero de publicaciones,
como sus caractersticas formales y de contenido y s se han adoptado las posibilidades y ventajas que
aporta el medio electrnico. Los resultados son pobres, habindose detectado problemas formales en la
edicin de las sedes web de las revistas, lo que redunda en una reducida visibilidad y, por lo tanto, en
un impacto muy bajo.

pg. 1

pg. 2

INTRODUCCIN
El sistema espaol de ciencia y tecnologa ha experimentado un cambio fundamental en la ltima dcada
debido a las decisiones estratgicas para la introduccin y uso de las tecnologas de informacin y de la
comunicacin (TICs). La universidad como institucin fundamental tambin se ha visto influida por estos
cambios. La expansin de las universidades ha contribuido al crecimiento de la actividad investigadora.
Esta actividad cientfica conlleva una gran produccin de informacin y documentacin, potenciada e
incrementada por el uso de los nuevos medios de divulgacin.
Uno de los canales de difusin que ms se ha prosperado en la ltima dcada ha sido internet. Sus
caractersticas de inmediatez, accesibilidad y economa satisfacen las nuevas necesidades de distribucin
de la informacin y el conocimiento cientfico, ya que facilitan la colaboracin internacional en materia
de investigacin que es vital para cualquier pas.
La gestin de contenidos cientfico-tcnicos es un sector estratgico para la sociedad del
conocimiento y la poltica cultural de un pas. La cantidad y calidad de la informacin y del
conocimiento que se encuentra en la web puede ser el escenario idneo para realizar un anlisis del
estado de la cuestin. De este modo, el estudio de su contenido permite saber el nivel de maduracin y
asimilacin del conocimiento cientfico de un pas.
Esta situacin ha facilitado que tipos tradicionales de documentos se hayan pasado al mbito
electrnico, como las revistas cientficas, formando parte del concepto de e-Ciencia, definido como
conjunto de actividades cientficas realizadas mediante recursos distribuidos accesibles a travs de
internet.
En el contexto de cdigos y elementos que aporta la world wide web es necesario establecer
indicadores para analizar el estado de la produccin universitaria en internet y cmo sta es eficaz para
alcanzar los objetivos planteados, ya que los criterios de evaluacin empleados en los documentos en
formato papel son insuficientes.
En los ltimos aos se han publicado distintas opciones para la evaluacin de recursos digitales en
general, y de revistas electrnicas en particular. Propuestas sobre parmetros e indicadores de recursos
digitales, suponen innovaciones metodolgicas para el establecimiento de una serie de pautas de calidad
web. Tambin han aparecido iniciativas de evaluacin de revistas cientficas, alguna de los cuales, como
RESH del Cindoc no tiene en cuenta las revistas electrnicas. Otros proyectos como los realizados por
la Universidad de Barcelona, de Granada o la de Zaragoza no cubren todas las reas de conocimiento
sino que se centran nicamente en revistas de las denominadas ciencias sociales y humanas.
En este estudio se pretende analizar los niveles de calidad que adquieren las revistas electrnicas
universitarias espaolas. Para ello se utilizan dos tipos de indicadores que se complementan entre s:
Cuantitativos: basados en criterios cibermtricos, definidos en el proyecto europeo Eicstes y
aplicados en la iniciativa Webometrics ranking of world universities
Cualitativos o descriptivos, que mejoran la visin global de los resultados a travs de mtodos
heursticos.

pg. 3

PROBLEMTICA-OBJETIVO

Para el presente estudio se adopt como unidad documental bsica para el anlisis la sede web de las
revistas electrnicas, como la pgina o conjunto de ellas ligadas a una principal identificables por un url
y que forman una unidad documental reconocible e independiente de otra, bien por su temtica, por su
autora o por su representatividad institucional.
La bsqueda y localizacin de las revistas se realiz a travs de diferentes estrategias de consulta
en busca- dores (Google Yahoo!), bases de datos especializadas (Latindex ISSN) y mediante navegacin
manual por las webs de las universidades espaolas. Los requisitos mnimos que deban tener las
publicaciones seleccionadas son: estar vinculadas a un grupo de investigacin, departamento, facultad o
universidad espaola; ser revistas electrnicas puras, es decir, editadas exclusivamente en formato
digital, y poseer ISSN propio.
Se realiz una navegacin completa por todas las que haban sido localizadas con el fin de
comprobar su estado general y proceder al establecimiento de los puntos a evaluar. Posteriormente se
constituy una serie de indicadores cuantitativos y cualitativos que valoran los diferentes aspectos que
informan de la calidad de las revistas citadas y que se utilizaron para calibrar los siguientes parmetros:
tecnologa, contenido y diseo.

pg. 4

ANLISIS Y DESARROLLO
Se construye y elabora un conjunto de indicadores Cuantitativos, Cualitativos y Formales que
modificarn el impacto y la visibilidad de estas publicaciones en la red.

Datos cuantitativos
La evaluacin cuantitativa de las revistas-e se efectu mediante indicadores cibermtricos, que
aportan medidas de tres tipos: descriptivas de las sedes web, de visibilidad e impacto y de popularidad.
Las herramientas utilizadas han sido:
Bases de datos del ISI Web of knowledge mediante su servicio Cited references se estudi el
nmero de veces que una aportacin cientfica es citada en los artculos posteriores, como medida del
impacto que un trabajo ha tenido sobre la comunidad cientfica especializada.
Motores de bsqueda y sus aplicaciones web, que permiten averiguar, por ejemplo, el vecindario
hipertextual, es decir, la relacin de las revistas con otros recursos digitales y sus patrones ms
habituales. Se perciben conductas que no se detectaran mediante el anlisis independiente de la web de
la revista. Los motores utilizados han sido Google Yahoo! Search y MSN Search, junto con otros
servicios como Google Scholar PageRank, etc. Se han utilizado delimitadores o comandos para la
obtencin de informacin de la visibilidad hipertextual (slo con Yahoo! Search y MSN Search pues
Google no proporciona valores de enlaces a dominios) y sobre popularidad (Alexa).
Mapeadores: Xenus Link Sleuth para generar informes cuantitativos de los objetos informticos
que componen la sede web.

Datos cualitativos
Se tuvieron en cuenta criterios de arquitectura de la informacin, como la actividad dedicada a
disear la organizacin, indexado, etiquetado y sistemas de navegacin necesarios para la bsqueda y
localizacin de todo sitio web. En este estudio se han englobado todos estos trminos bajo el epgrafe de
arquitectura de la informacin.
La conexin entre la extraccin de la informacin deseada y los indicadores cualitativos necesarios
origin la metodologa empleada, que se someti a los criterios de estudio de la usabilidad por
inspeccin, es decir, la evaluacin heurstica, que fue definida por Nielsen como la inspeccin
sistemtica del diseo de vista del usuario. Su propsito es encontrar los problemas de usabilidad en el
diseo como una parte del proceso de diseo interactivo.
La cantidad de informacin que ofrece una web podra ser un indicador de su calidad.

pg. 5

Se ha caracterizado cada uno en niveles como mximo, para poderlos cuantificar:

Indicadores de contenido
Se estableci que la cantidad de informacin que ofrece una sede web podra ser un indicador de su
calidad y as lo apoyan y lo premian las polticas europeas, como en el caso de eContent Los
indicadores que se establecieron para evaluar el contenido de las revistas electrnicas son los siguientes:
Autora de los artculos, estableciendo diferentes niveles de exhaustividad. Es importante
conocer este dato, as como la afiliacin institucional del autor, informacin de contacto o su
currculum personal.
Formato de los artculos. Html, que es el caracterstico de la web, facilita la visualizacin en
la pantalla, pero puede presentar dificultades cuando se trata de guardar o de imprimir el
texto. Otros, por el contrario, resultan ms fciles para el acceso a la informacin desde un
punto de vista prctico y enriquecen el acceso del usuario a la revista deseada. Es el caso del
pdf, que permite una gran calidad de impresin.
Publicacin diferida: los perodos de publicacin en internet deben estar slo
condicionados por el trmite que conlleva el envo de su artculo y su revisin, no debe
necesitar plazos fijos para cerrar la edicin de un nmero.
Internacionalizacin: adems de las implicaciones puramente lingsticas, el idioma
constituye tambin un factor de importancia en relacin con la accesibilidad del sitio que
contiene el texto, puesto que recientemente se ha comprobado que los motores de bsqueda
presentan claros sesgos idiomticos, particularmente positivos en el caso del ingls. Se ha
demostrado que el uso del ingls hace que la informacin que lo utiliza resulte ms visible
tanto para el usuario, como para el motor de bsqueda que lo indexa.

Indicadores formales
Accesibilidad: en la evaluacin de la adecuacin o no de las directrices de
accesibilidad establecidas por el W3C se utiliz una herramienta online, TAW, que
sigue las directrices de accesibilidad y est avalada por el Ministerio de Industria,
Turismo y Comercio
Direccin de la web: la url debe identificar explcitamente la sede web que nombra y
esto depende de la profundidad de la direccin url y del tipo que sea.
Estructura de la sede web: el nivel valorado ha sido el que establece una estructura
jerrquica o en rbol, por ser la ms usual y la ms correcta, al facilitar la navegacin
al usuario.
Estadsticas de uso: aportan informacin sobre cantidad de visitantes, visitas, pginas
vistas, va por la que llegaron los usuarios, palabras clave utilizadas en los
buscadores, las pginas de entrada, de salida, procedencia geogrfica, etc. Estos datos
dan informacin sobre la aceptacin y el impacto de la revista y el posicionamiento
web.

pg. 6

 Mencin de responsabilidad de la sede web: es necesario que se identifique el

responsable de sus contenidos y conocer el organismo que avala los artculos y la
autora de la sede.
Especificacin de modelo de licencia de la propiedad intelectual de los artculos: se
debe aclarar que tipo de licencia ampara la propiedad intelectual de los contenidos. El
modelo habitual en estos momentos es el copyright pero se estn abriendo paso
nuevo tiposcreative commons copyleft open access, etc.
Consistencia en la navegacin: segn Fox Instone (2001) todos los elementos que
requiere una web para navegar deben ser persistentes y comunes dentro de cada sitio.
Se trata de acceder en cualquier momento y del mismo modo a todas las opciones que
existan dentro del sitio web considerado.
Documentos multimedia de apoyo a la investigacin: la presencia de estos
materiales, tales como presentaciones de diapositivas, grabaciones de vdeo,
fotografas, etc., que justifiquen, complementen o amplen la informacin contenida
en los artculos de la publicacin.
Navegabilidad: se analiza si la web posee un buscador, barra de navegacin, mapa
o cualquier otra herramienta que facilite la navegacin y la localizacin de
informacin dentro de la misma.
Contenido semntico del ttulo de la sede web: el uso de ttulos descriptivos es un
elemento importante de la usabilidad (Nielsen, 2005), pues permite a las personas que
visitan una pgina establecer su contexto, guardarla con un nombre apropiado en sus
bookmarks etc. Incluso en algunos motores de bsqueda se le da mucha importancia a
las palabras del ttulo a la hora del posicionamiento (Baeza-Yates Castillo Lpez
2005).
Servicios y contenidos de valor aadido: se han tenido en cuenta determinados
servicios y contenidos de valor aadido que se consideran relevantes para este tipo de
publicacin, como son: informacin complementaria, retroalimentacin, ndices,
alertas o identificadores persistentes.

pg. 7

Indicadores de las sedes web de las revistas-e

Cuantitativos
Productividad

Nmero de artculos por volumen y ao.

Visibilidad en bases de datos

Presencia de los artculos en bases de datos como

ISI Web of knowledge o Google scholar

Visibilidad en motores de
bsqueda
Vecindario hipertextual
Tamao de las sedes web
Visibilidad hipertextual
Cualitativos

Anlisis de la importancia de la web por el PageRank.

Relacin entre las pginas web visitadas por los
usuarios.
Nmero total de pginas de una web y tipos de
formatos utilizados.
Anlisis y comparacin de los datos obtenidos
mediante dos herramientas: Yahoo! Search y MSN
Seach

a) De contenido
Informacin sobre los autores.

Autora de los artculos

Uso de los formatos que permite el medio digital en los

artculos
(pdf,
html,
Anlisis
de etc.).
la inmediatez de la publicacin de los
artculos.
Idioma en el que aparecen los artculos publicados en
las revistas, publicacin en un solo idioma, en varios o
versiones bilinges.

Formato de los artculos

Publicacin diferida
Internacionalizacin
b) Formales
Accesibilidad

Nivel de cumplimiento de las directrices WAI de

accesibilidad en las sedes web.

Direccin de la web

Anlisis de la url, profundidad y dominio propio.

Estructura de la web

Anlisis de la estructura de la url de la sede web;

relacin entre las urls de las diferentes pginas.

Estadsticas de uso
Mencin de responsabilidad de
la sede web
Especicacin del modelo de
licencia de la propiedad
intelectual de los artculos
Documentos multimedia de
apoyo a la investigacin
Navegabilidad
Contenido semntico del ttulo
de la sede web
Servicios y contenidos de valor
aadido

Utilizacin y publicacin de estadsticas de uso en las

sedes web.
Presencia o no.
Presencia o no.
Presencia de documentos multimedia que apoyen,
justiquen, complementen o amplen la informacin
contenida en los artculos.
Utilizacin de elementos que faciliten la navegacin en
una sede web, como buscadores, barras de navegacin,
mapas,
Empleo etc.
de ttulos descriptivos que permitan establecer
el criterio de la pgina, guardarla en bookmarks, etc.

Presencia de informacin de valor aadido,

retroalimentacin, ndices, alertas, identicadores
persistentes, etc.
Tabla 1: Indicadores cuantitativos y cualitativos aplicados a las revistas.

pg. 8

RESULTADOS
Indicadores cuantitativos
Productividad de las revistas: el incremento de las publicaciones que nacen cada ao ha sido
continuado, con pequeas oscilaciones a lo largo de los ltimos aos (figura 1). De cualquier
forma tienen en su mayora una productividad muy baja, con un nmero de artculos muy
reducido por ao, el 25% tiene una productividad de entre 0 y 5. En el otro lado est el 2,14%
de las revistas que tiene una produccin muy alta. Esto supone una gran dispersin de los
datos de productividad, la moda del nmero de artculos por revista est entre 26 y 40, en un
30% de las revistas analizadas.

Figura 1. Aos de nacimiento de las revistas electrnicas

Vecindario: se analiz el patrn de visitas de una web para comprobar qu pginas visitan los
usuarios de las revistas electrnicas que se estaban analizando y observar las relaciones entre
sedes. Se han diferenciado 4 tipos de relaciones: dependencia institucional, temtica, lingstica
y tipologa documental. La relacin ms comn es la lingstica, seguida por la temtica (figura
2).

pg. 9

Figura 2. Vecindario hipertextual de las revistas electrnicas

Tamao de la web: la mayora de las revistas estudiadas (59%) contienen menos de 100 pginas
en su sede, slo un 4% tiene ms de 1.000. La gran mayora (74%) se encuentra en html, mientras
que nicamente un 26% de ellas son visibles en formatos ricos, bsicamente en pdf.
Visibilidad hipertextual: consiste en el nmero de enlaces recibidos por una web, lo que se
interpreta como una medida de impacto. El hecho de que una web sea enlazada por otra se
entiende, en trminos de cita hipertextual, que es similar a la cita bibliogrfica en literatura
impresa, por lo que este dato es de gran importancia a la hora de analizar el impacto del contenido
de una revista electrnica. En este caso se han utilizado tanto Yahoo! Search
MSN Search
(tabla 2).En la tabla se recogen las 10 revistas ms enlazadas, ordenadas de forma descendente por
la suma de los parmetros que proporcionan los dos buscadores empleados. En primer lugar
aparece Espculo, que est situada muy arriba de la tabla por ambos, sin embargo, hay revistas
que estn muy bien situadas en uno y muy mal en el otro.
Ttulo de la revista

Yahoo!

MSN

Espculo

1.648

1.129

Boletn CF+S: ciudades para

un futuro ms sostenible

1.968

10

Hipertext.net

1.195

520

Lamusa

170

1.245

Medio ambiente & derecho

433

789

400

382

380

363

388

333

Anglogermnica online

45

556

Lemir: Literatura espaola

medieval y del renacimiento

88

417

Interactive educational
multimedia
Revista latina de
comunicacin social
Relieve: revista electrnica
de investigacin y evaluacin
educativa

Tabla 2: Ranking con las 10 revistas con mayor visibilidad hipertextual

Indicadores cualitativos
Indicadores de contenido
Autora de los artculos: el 75% de los trabajos analizados nicamente indican el nombre de los autores
y algn otro dato de localizacin de los mismos. Tan slo un 7% de las revistas electrnicas aporta otros
datos de identificacin, de contacto o un breve currculum vitae de los autores (figura 3).

Figura 3. Revistas por nivel de identificacin del autor

Formato de los artculos: el 16% de las publicaciones tiene acceso a los documentos
exclusivamente en html. El 50% de las revistas tienen sus artculos accesibles nicamente en
formatos ricos, generalmente en pdf. Tan slo un 34% permite elegir a los usuarios entre
formatos ricos y html.
Multilingsmo: el 8% de las revistas analizadas posee versiones completas de al menos una
tercera parte los documentos en otros idiomas, excepto en ingls. Y tan slo un 9% contiene
una versin en ingls de los documentos a texto completo (figura 4).

Figura 4. Multilingsmo de los artculos

Indicadores formales

Direccin de la sede web: nicamente un 6% de las revistas-e posee un dominio propio, lo cual
facilita su localizacin y su visibilidad. Un dato muy negativo es el hecho de que la mayora de
las revistas, un 58%, tiene una direccin con dos o ms niveles, lo que repercute en la visibilidad
de las mismas (figura 5).

Figura 5. Direccin de las webs de las revistas-e

Mencin de responsabilidad de la sede web: en el 39% de los casos aparece en la pgina de

inicio, en el
41% es visible desde cualquier pgina y en el 19% no se encuentra
Especificacin del modelo de licencia de la propiedad intelectual de los artculos: se indica en el
44% de las revistas, siendo el ms habitual el copyright
Consistencia en la navegacin: un 41% de las revistas presenta un diseo lgico y consistente
que fa- cilita la navegacin a travs de su contenido. El 33% muestran un diseo coherente que
aparece a lo largo de toda la sede web, de modo que se consigue una homogeneidad que facilita
su uso. Finalmente, un 26% acusa un diseo carente de consistencia (figura 6).

pg. 12

Figura 6. Consistencia en la navegacin de las webs de las revistas-e

Documentos multimedia de apoyo a la investigacin: la gran mayora de los casos, un 95%, no los
utiliza, pese a que el entorno digital favorece su uso.
Navegabilidad: El 76% de las revistas cuentan con la existencia de, al menos, un elemento que facilite la
navegabilidad, ya sea un men categorizado, una barra de navegacin, un motor de bsqueda o cualquier
otra utilidad. El 24% carece de todo dispositivo a tal efecto.

RECOMENDACIONES

Utilizar documentos multimedia de apoyo a la investigacin.

Contar con un elemento que facilite la navegabilidad, por ejemplo un men
categorizado, una barra de navegacin, un motor de bsqueda o cualquier otra
utilidad.
Utilizar contenido semntico del ttulo de la sede web.
Presentar un diseo lgico y consistente que facilite la navegacin a travs de
su contenido.
Indicar el nombre de los autores y algn otro dato de localizacin de los
mismos
Las revistas analizadas deben poseer versiones completas en otros idiomas
Revisar constatemente las estadsticas para poder seguir implementanto
algunos indicadores.

pg. 13

DISCUSIN Y CONCLUSIONES
Un primer anlisis de las revistas muestra unos resultados con un patrn difuso, debido posiblemente
al bajo tamao de la poblacin, pero que es coherente con lo que cabra esperar. Destacan las
universidades madrileas, catalanas, andaluzas y valencianas, son ms productivas las pblicas que las
privadas, y la contribucin de las politcnicas y las de enseanza a distancia es reducida.
Temticamente, las humanidades y las ciencias sociales explotan especialmente la web como canal de
comunicacin, destacando el nmero de ttulos de pedagoga, lingstica y derecho.
El estudio del impacto y la visibilidad de la literatura cientfica muestra que son muy pocas las
revistas analizadas que han sido citadas por las bases de datos Thomson ISI, lo que da una medida
clara del poco impacto que tienen todava las revistas electrnicas en general, y las editadas por las
universidades espaolas en particular.
El anlisis del patrn de visitas de los usuarios confirma que el acceso a la informacin en internet se
realiza mayoritariamente a travs de motores de bsqueda. Utilizando buscadores especializados las
relaciones temticas y lingsticas generadas a partir de patrones de visita se correlacionan con los
resultados de bsquedas temticas en los motores de bsqueda.
En los datos cuantitativos sobre las caractersticas principales de las webs, como pueden ser su
tamao (nmero y tipologa de los objetos informticos y documentales), riqueza hipertextual (enlaces y
su distri- bucin), etc., destaca el pequeo tamao en nmero de pginas que contienen. Tambin
muestran una escasa proporcin de archivos en formatos ricos o documentos multimedia, que facilitan el
acceso a la informacin desde un punto de vista prctico (unidades documentales), y que enriquecen y
complementan el acceso del usuario a la informacin.
Uno de los aspectos negativos son los graves problemas formales de las sedes web, que redundan en
la baja visibilidad y que dificultan de forma considerable el acceso a los contenidos de las revistas
electrnicas tanto de los usuarios finales como de los robots de los motores de bsqueda. Muchas sedes
tienen direcciones complejas, con urls excesivamente largas y/o poco descriptivas, los mecanismos de
pg. 14

navegacin son confusos o incluso opacos a los motores, y en bastantes casos las estructuras no son
jerrquicas. La responsabilidad ltima de este aspecto podra corresponder a las propias universidades e
indica la falta de un compromiso claro de las mismas hacia la edicin de revistas especficamente
electrnicas.
Las sedes analizadas no cumplen en su mayora con ninguno de los criterios de accesibilidad. La
falta de una adecuacin generalizada a las directrices recogidas explcitamente en la legislacin vigente,
perjudica el acceso a la informacin.
Otros aspectos formales tambin aparecen descuidados, a veces como resultado de la mera
transposicin de las normas habituales en papel, que resultan insuficientes cuando no pobres en el
entorno electrnico. La ausencia de enlaces a pginas personales en la autora, la dilacin innecesaria
para cumplir periodicidades, la no disponibilidad de versiones en formatos alternativos o en otros
idiomas o la falta de acceso a estadsticas de conTsumo son algunos de los ms destacados.
En trminos generales se puede indicar que la cantidad de revistas electrnicas universitarias
espaolas es baja y, salvo contadas excepciones, no forma parte del eje central de la comunicacin
cientfica en nuestro pas. Ello resulta paradjico ya que los datos muestran un impacto destacable en la
web de los ttulos electrnicos, debido a su mayor audiencia potencial como a las novedosas
posibilidades que ofrece el soporte. Lamentablemente la adopcin de dichas innovaciones, tanto
formales como de contenido, no se ha generalizado entre los ttulos estudiados.

BIBLIOGRAFA
Baeza-Yates, R. Rivera, C. Velasco, J. Arquitectura y usabilidad en la web. En: El profesional de la
informacin, 2004, v. 13, n. 3, pp. 168-178.
Codina, L. Parmetros e indicadores de calidad para la evaluacin de re- cursos digitales. En: 7as
Jornadas espaolas de documentacin 2000, pp.135-144.
Fecyt Libro blanco e-Ciencia en Espaa 2004. Consultado en: 15-05-06.
http://www.fecyt.es/documentos/e-Ciencia.pdf
Hitchcock, S. Carr, L. Hall, W. Making the most of electronic journals,
1998. Consultado en: 23-05-06.
http://xxx.lanl.gov/html/cs.DL/9812016
Laboratorio de internet. Webometrics ranking of world universities Con- sultado en: 01-05-06.
http://www.webometrics.info/

pg. 15