Por Maricela López y Graciela Cordero
Número 31

I. Introducción
La evaluación de las revistas científicas
Entre las características más importantes en las revistas científicas, se encuentra su evaluación. La evaluación de este tipo de publicaciones se ha justificado por la multiplicidad de títulos en el mismo campo temático, la poca cobertura, el financiamiento, la calidad del contenido, su incorporación a las bibliotecas, su indización en bases de datos, etc. (Giménez, Román y Sánchez, 1999).

El móvil más inmediato para evaluar a las publicaciones, generalmente surge de la necesidad de hacer una selección para solicitar apoyo financiero; sin embargo, los productos y las consecuencias de estos procesos de evaluación varían (Cetto,1999).

Por todos estos motivos, existen diferentes organismos o asociaciones encargadas de establecer sistemas para evaluar la calidad de las revistas científicas en todo el mundo, estos mecanismos están basados en múltiples indicadores que pretenden eliminar la subjetividad que conlleva cualquier proceso de evaluación (Giménez et al, 1999).

Los resultados que se obtienen en estos procesos de evaluación deben aportar información real y objetiva sobre la situación de cada publicación, principalmente en lo referente al contenido, de forma que el dictamen final, permita elevar la calidad, adquirir financiamiento, fortalecer el prestigio ante la comunidad académica, etc.

Antecedentes de la evaluación en las publicaciones científicas impresas
Las revistas científicas empezaron a multiplicarse a partir de 1665, con la publicación Journal des Savants, en París y Filosophical Transactions of the Royal Society, en Londres. Desde esa fecha, el número de publicaciones científicas ha ido en aumento doblándose aproximadamente cada dos décadas (Barrueco, 2000).

Sin embargo, la tradición de los estudios de evaluación en las publicaciones científicas data de 1934, cuando Samuel Bradford publica la "Ley Matemática de Bradford", vista en aquel tiempo como una simple observación empírica que intentaba medir la "productividad" de las revistas científicas. Esta ley subraya la tendencia intuitiva, según la cual el alejamiento del centro corresponde a una disminución de artículos pertinentes.

Pese a la vaguedad conceptual de la ley, Bradford entendió que hay títulos con menor relevancia para una disciplina o tema, pero con mayor importancia para otro tópico y que el núcleo esencial de las revistas forma la base de la literatura para todas las disciplinas, por consiguiente, la mayoría de los trabajos importantes son publicados en pocas revistas. Tres décadas más tarde, surge una ciencia llamada "bibliometría" ideada por el inglés Pichard, quién en realidad no hacía más que bautizar tardíamente una "bibliografía estadística", cuyas bases se remontan a los años treinta. Aún con el surgimiento de esta ciencia, la ley de Bradford captaba con mayor precisión la noción de "core journal"1 (Testa, 1998).

Paulatinamente, el desarrollo de esta noción tomó un nuevo giro cuando Eugene Garfield, a fines de los años cincuenta, profundizó en el tema de la indexación de las ciencias y en el papel de las citas, creando un nuevo concepto de evaluación en las publicaciones académicas (Barrueco, 2000).

A partir de los cincuenta, la investigación en materia de evaluación de revistas académicas se dio principalmente en Estados Unidos de Norteamérica y España, mientras que en los países latinoamericanos como Brasil, Colombia, Venezuela y México, dicho desarrollo, empezó a registrarse en la última década (Cetto, 1999).

Antecedentes en la evaluación de las revistas electrónicas, una mirada al material que se publica en Internet
Mientras que los estudios de evaluación en revistas impresas tienen más de cuatro décadas, la investigación en materia de publicaciones electrónicas cuenta con apenas diez, lo que indica que aún falta un largo camino por recorrer (López y Cordero, 2002).

De igual forma sucede con la aplicación de los criterios tradicionales que evalúan los medios impresos (normalización, gestión, visibilidad, indización, etc.), estos se encuentran definidos y claramente identificados, pero en el caso de los recursos en línea (motores búsqueda, enlaces, navegación, acceso, etcétera), no sólo no están definidos, sino también existen marcadas diferencias entre los autores al momento de organizar y especificar cada uno de ellos (López y Cordero, 2001).

Es necesario abordar la evaluación de las publicaciones electrónicas a través de los criterios aplicados para evaluar la información de Internet. Estos criterios originalmente se derivan de estándares establecidos para evaluar los recursos tradicionales, como contenido, autoridad, exactitud, revisores, etc. (Alastair, 1997; Alexander, 2000). Esta analogía entre el mundo de las publicaciones impresas y las digitales es real, sin embargo, en materia de evaluación no tiene el mismo peso, ya que mientras las revistas impresas cuentan décadas experiencia, las publicaciones electrónicas enfrentan la carencia de "mecanismos" o "procesos" de evaluación que garanticen su calidad, por consiguiente es indispensable primeramente identificar, definir y adaptar sus criterios a través de revisores especialistas en el área (Retting, 1996).

En este sentido, el principal interés de esta ponencia es describir la experiencia de validar un instrumento diseñado para evaluar la calidad de las publicaciones académicas electrónicas en Internet.

II. Método
Validación de un instrumento para evaluar revistas académicas electrónicas en Internet
El método propuesto, no sólo pretende beneficiar a organismos evaluadores de publicaciones científicas, sino también a centros de información (bibliotecas) y particularmente a los académicos que requieran utilizar algunos criterios para asegurar la calidad de la información extraída de Internet. Su estructurado contiene dos secciones, la primera se refiere al diseño del instrumento de evaluación y la segunda a la validación y reestructuración del instrumento. Ver Figura 1.

Figura 1. Método para elaboración de un instrumento para evaluar revistas académicas electrónicas.

Como se comentó anteriormente la metodología consta de dos fases:

La primera fase, Diseño del sistema para evaluar revistas académicas electrónicas tiene el propósito de crear y proponer un esquema que represente los criterios más utilizados para evaluar revistas académicas impresas, así como los criterios más significativos (recientemente ubicados) en la evaluación de publicaciones en línea. Esta fase consta de tres etapas:

1. Identificación de criterios del sistema de evaluación
   
2. Identificación de indicadores del sistema de evaluación
   
3. Elaboración de un instrumento para evaluar revistas académicas electrónicas.

Primera fase, etapa número 1
Identificación de criterios del sistema de evaluación.
Esta etapa tiene como propósito identificar los criterios que se utilizaran en el sistema de evaluación de revistas académicas electrónicas y consta de dos partes:

• Identificación de criterios en modelos de evaluación de revistas académicas impresas.
  
• Identificación de criterios del sistema de evaluación en revistas académicas electrónicas y recursos en línea.

Identificación de criterios en modelos de evaluación de revistas académicas impresas.
Primeramente se realizó una búsqueda en los principales modelos de evaluación de revistas académicas impresas que utilizan algunos de los más importantes organismos evaluadores de revistas científicas impresas en América y España.

Los modelos consultados fueron del Institute for Scientific Information (E.U.A.) (Testa, 1998), Organización de las Naciones Unidas para la Educación, la Ciencia y Cultura (UNESCO, 1964), el Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal (LATINDEX, 1999), el Consejo Nacional de Investigación de Canadá, el modelo aplicado a las revistas científicas y técnicas brasileñas (Favero, 1999), el modelo del Instituto Colombiano para el Desarrollo de la Ciencia y la Tecnología (Jack, 1999) y el modelo del Consejo Nacional de Ciencia y Tecnología de México (Bazdresch, 1999).

Ubicados los modelos, se procedió a realizar un análisis de sus criterios. El análisis consistió en revisar la frecuencia con que los criterios se repetían entre sí, tal como lo muestra la Tabla I.

Tabla I. Incidencia de criterios en modelos para evaluar revistas impresas

La Tabla I, muestra mayor incidencia en los siguientes criterios: calidad del contenido, periodicidad y pervivencia; normalización; propósito y cobertura.

Identificación de criterios del sistema de evaluación en revistas académicas electrónicas. Mientras en la primera etapa se seleccionaron los modelos evaluadores de revistas académicas impresas, en esta etapa la principal actividad consistió en buscar a los autores con estudios en evaluación de recursos en línea. De los autores revisados, sólo dos de ellos presentaron criterios específicos para evaluar revistas académicas electrónicas (Testa, 1998 y Cooke, 2000), los restantes referían su investigación a la evaluación de todo tipo de información publicado en Internet (Alastier, 1997; Alexander, 2000; Beck, 1997; Herbert, 2001; Phillips, 2000; Retting, 1996).

En esta búsqueda se encontró la escasez de autores, la falta de descripción de los criterios señalados y la presentación de los criterios en listas de cotejo y sin definir.

En la Tabla II, solo se enlistan los criterios encontrados con mayor incidencia según los autores consultados. También se observan algunos criterios establecidos en la evaluación de recursos tradicionales, lo que significa que estos criterios en la mayoría de los casos son aplicables a la evaluación de recursos electrónicos (Alastair, 1997).

Tabla II. Incidencia de criterios para evaluar recursos electrónicos

La Tabla II, muestra la similitud entre los criterios utilizados en la evaluación de revistas académicas impresas y los utilizados en las publicaciones académicas electrónicas. Los criterios con mayor incidencia son: actualidad y mantenimiento; reconocimiento externo del formato digital de la publicación y navegación y diseño gráfico.

Primera fase, etapa número 2.
Identificación de indicadores del sistema de evaluación
Esta etapa tiene como propósito identificar los indicadores que se utilizaran en el sistema de evaluación de revistas académicas electrónicas y consta de dos partes:

• Identificación de indicadores en modelos de evaluación de revistas académicas impresas.
  
• Identificación de indicadores del sistema de evaluación en revistas académicas electrónicas y recursos en línea.

Identificación de indicadores en modelos de evaluación de revistas académicas impresas. Este análisis supone la revisión de los indicadores de tres modelos utilizados para evaluar publicaciones impresas: el mexicano del Consejo Nacional de Ciencia y Tecnología (CONACYT, 2001), el español (Giménez, 1999) y el modelo brasileño (Favero, 1999). El resultado del análisis comparativo se observa en la Tabla III.

Tabla III. Identificación de indicadores de recursos impresos

Identificación de indicadores en revistas académicas electrónicas y recursos en línea. A diferencia del paso anterior, aquí se requirió realizar una búsqueda más profunda para identificar y reubicar cada indicador, ya que estaban descritos en pregunta (López y Cordero, 2001), por lo que resultó necesario clasificar primero el tipo de pregunta y posteriormente reubicar al indicador. La Tabla IV enuncia el resultado.

Tabla IV. Identificación de indicadores en recursos electrónicos

Primera fase, etapa número 3.
Elaboración del instrumento
Una vez identificados los criterios e indicadores propuestos en el sistema, se procedió a definirlos, como se observa en la Tabla V.

Tabla V. Enunciación final de los indicadores correspondientes a los criterios utilizados para evaluar revistas académicas electrónicas

Finalmente se procedió a diseñar las preguntas correspondientes de cada indicador. La Tabla VI, presenta sólo un pequeña parte del sistema.

Tabla VI. Enunciación final de los indicadores correspondientes a los criterios utilizados para evaluar revistas académicas electrónicas

La segunda fase, es la parte final del método, su propósito es validar y reestructurar el sistema de evaluación de revistas académicas electrónicas. Consta de tres etapas:

1. Elaboración de un cuestionario para validar el instrumento.
   
2. Identificación de los jueces que validaran el documento y envío del instrumento.
   
3. Reestructuración del instrumento validado por los jueces

Segunda fase, etapa número 1.
Elaboración de un cuestionario para validar el instrumento
Un modo eficaz de evaluar las capacidades y riesgos de este esquema es la utilización de una método para la valoración del sistema. Esta metodología se fortalece con la validación y pertinencia del instrumento a partir de la opinión de los expertos. De esta forma se pretende determinar hasta qué punto es adecuado para el uso que se pretende hacer del mismo.

Para elaborar el cuestionario, primero se analizaron los siete criterios utilizados para evaluar revistas académicas electrónicas (ver Tabla V); se consideró que los criterios utilizados particularmente en la evaluación de revistas académicas impresas (calidad del contenido, periodicidad y pervivencia, normalización y propósito y cobertura) han sido ampliamente estudiados, revisados, así como utilizados por diferentes organismos internacionales, encargados de la evaluación de este tipo de publicación impresa por más de tres décadas.

Contrariamente, los criterios que no se ha estudiado a fondo y que se consideran específicos para evaluar recursos electrónicos son: actualidad y mantenimiento; reconocimiento externo del formato digital de la publicación, y navegación y diseño gráfico. Por esta razón, se decidió validar estos tres últimos criterios, sus indicadores y preguntas.

El instrumento está integrado de la siguiente manera: presentación y objetivo, características, explicación de su estructura, instrucciones generales para realizar la validación y sus respectivos formatos de respuesta, tres tablas, con su correspondiente explicación, las tablas contienen la lista de criterios seleccionados con definición (actualidad y mantenimiento; reconocimiento externo del formato digital de la publicación, y navegación y diseño gráfico).

En este documento también se incluyeron tres cuestionarios, uno para cada criterio. Los cuestionarios cuentan con una lista de indicadores y una serie de preguntas que pretenden extraer la opinión de los expertos sobre: la claridad de los indicadores indispensables, su importancia, correspondencia con el criterio y así como su pertinencia o eliminación según el criterio, finalmente se solicitó el currículum vitae del evaluador.

Segunda fase, etapa número 2.
Identificación de los jueces que validaran el documento
El propósito de esta está es identificar las características de los editores y a los propios editores que fungirán como jueces en la validación del sistema de evaluación de revistas académicas electrónicas. Consta de dos partes:

• Definición de las características de los jueces y las revistas participantes.
  
• Envío del instrumento.

Definición de las características de los jueces y las revistas participantes.
Se identificaron a 36 editores de revistas académicas en electrónicas en Internet como posibles jueces para la validación del instrumento. Los participantes se seleccionaron según las siguientes características: ser editor de una revista arbitrada cuyo organismo responsable sea reconocido, distribuida en formato electrónico, preferentemente hispanoamericana y con una pervivencia mínima de dos años. La principal actividad de los jueces consistió en identificar si el instrumento reunía los criterios necesarios para evaluar una revista académica electrónica.

Envío del instrumento. Seleccionadas las revistas, se procedió a enviar por correo electrónico la invitación para participar en la validación. En dicha invitación se explicó de forma general el objetivo del proyecto y se anexó la relación de las revistas seleccionadas.

Para fines de un mejor registro, se llevó el control de las revistas que aceptaron participar, indicando nombre y dirección electrónica, país, área de desarrollo, nombre y correo electrónico del editor, institución y organismo responsable, fecha de aceptación y fecha de recepción del cuestionario contestado.

Segunda fase, etapa número 3
Reestructuración del instrumento y análisis de los datos enviados por los jueces (fase aún en construcción)
Esta fase consta de tres etapas:

• · Análisis de los datos enviados por los jueces referentes al instrumento.
  Las observaciones de los jueces se clasificaran en cada uno de los criterios del instrumento y se analizará la pertinencia de cada indicadores.
  
• Descripción de los resultados de la evaluación realizada por los jueces a sus revistas.
  Se hará una descripción de los resultados de la evaluación de las revistas académicas electrónicas seleccionadas.
  
• Reestructuración del instrumento.
  La sistematización de la apreciación de los jueces permitirá eliminar o agregar indicadores, rectificar la importancia de los mismos y su incorporación dentro del criterio, revisar la redacción del indicador.

Conclusión
La analogía entre el mundo de las publicaciones impresas y las digitales es real, sin embargo, los criterios aplicados necesitan ser identificados, definidos y adaptados al medio.

Las técnicas de evaluación de revistas electrónicas se encuentran en proceso de desarrollo y evolución constante; para avanzar en este proceso, es necesario crear estándares y guías que puedan ser utilizadas de acuerdo a los intereses y necesidades del usuario y a las características de la publicación. De forma que el instrumento propuesto, debe ser aplicado según las características propias de cada publicación.

Finalmente es necesario comentar que el resultado de este trabajo debe entenderse entonces como un proyecto cuyo producto final deberá adaptarse a la dinámica evolución que las propias publicaciones digitales enfrentan ante los constantes cambios de las nuevas tecnologías de la información y comunicación.

Notas:

1 Dentro del ámbito de las publicaciones científicas, C core Journal, representa el núcleo principal de la literatura en cualquier disciplina científica

Referencias:

Bazdresch, C. (1999), El índice de Revistas Mexicanas de Investigación Científica y Tecnológica del CONACYT, en Cetto, A. y Alonso, O. (Comp). Revistas científicas en América Latina. México: FCE. (pp. 337-353).
Cetto, A. y Alonso, O. (Comp.) (1999). Revistas científicas en América Latina. México: FCE. (pp. 17-28).
Cordero, Cordero, G. y López, M. (2000). Diseño y validación de un modelo de evaluación de revistas académicas electrónicas. Comunicación presentada al III Encuentro Internacional de Investigadores y Estudiosos de la Información y la Comunicación, La Habana, Cuba.
Cordero, Cordero, G. y López, M. (2002) Las revistas académicas electrónicas: una revolución en el ámbito editorial. Revista Semillero, 31, enero-marzo.
De Pablos, José M. (2001). La red es nuestra. Barcelona: Paidós.
Favero, R. y Gonzaga, M.(1999). Evaluación de publicaciones científicas y técnicas del brasileñas, en Cetto, A. y Alonso, O. (Comp). Revistas científicas en América Latina. México: FCE. (pp. 406-423).
Giménez, T., Román, A. y Sánchez, N. (1999), Aplicación de un modelo de evaluación a las revistas científicas españolas de Economía: una aproximación metodológica. Revista Española de Documentación Científica, 23 (3), 309-324.
Jack, G. (1999), A propósito de un ejercicio de evaluación de publicaciones seriadas científicas, en Cetto, A. y Alonso, O. (Comp). Revistas científicas en América Latina. México: FCE. (pp. 375-385).
López, Ornelas, Maricela y Cordero, G. (2001, noviembre): "Indicadores para evaluar una revista electrónicas". Trabajo presentado en el Seminario de Investigación Educativa, Ensenada, Baja California.
López, Ornelas, M. y Cordero, G. (2001). Una propuesta metodológica para evaluar la calidad de las publicaciones académicas electrónicas. Comunicación presentada al III Bienal Iberoamericana de Comunicación, Cholula, Puebla.
Villagra, R.; Anta C.; Valverde, A.; Ruiz, M., Espinosa, M. (2000). Gestión del conocimiento en ciencias sociales a través de la red: las revistas electrónicas españolas. CINDOC, Dep. Documentación Científica en CC. Sociales, pp. 419-434.

Referencias electrónicas:

Alastair, S. (1997). Testing the Surf: Criteria fir Evaluating Internet Information Resources. The Public-Access Computer Systems Reviews 8, no. 3.
<http://info.lib.uh.edu/pr/v8/smit8n3.html>
(27 julio 00).
Alexander, J. and Tate M.(2000). Evaluating Web Resources. Widener University. Wolfgram Memorial Library Information Gateway.
<http://www2.winder.edu/Wolfgram-Memorial-Library/Webevaluation/webeval.htm>
(27 julio 00).
Barrueco, M. (2000). Revistas Electrónicas: normalización y perspectivas. Universidad Valencia.
<http://www.uv.es/~barrueco/badajoz.pdf>
(16 enero 01).
Beck, S. (1997). The Good, The Bad & The Ugly or Why it's a Good Idea to Evaluate Web Sources. Humanities & Social Sciences Services Department. New Mexico State University Library.
<http://lib.nmsu.edu/instruction/eval.html>
(18 agosto 00).
Beck, S. (1997). Critical Evaluation of Resources on Internet. University of Alberta.
<http://www.library.ualberta.ca/guides/criticalevaluation/index.cfm>
(1 eneo 01).
Indice Latinoamericano de Publicaciones Científicas Seriadas. LATINDEX (1998).
<http://conacyt.main.conacyt.mx/conacyt/icientif/tallervinc/latindex.html>
(1 sep. 99).
Janicke, H. (1997). Resource Selection and Information Evaluation
<http://alexia.lis.uiuc.edu/-janicke/avail.html>
(27 junio 00).
Phillips, M. (2000). Critical Evaluation of Resources. Library, University of California Berkeley.
<http://www.lib.berkeley.edu/TeachingLib/Guides/Evaluation.html>
(28 agosto 00).
Retting, J. (1996). Beyond "Cool". Analog Models for Reviewing Digital Resources. Online Inc.
<http://onlineic.com/onlinemag/SepOl/rettin9.html>
(18 agosto 00)
Testa, J. (2000). Current Web Contents: Developing Web Site Selection Criteria. ISI
<http://www.insinet.com/isi/hot/essays/23>
(28 agosto 00).