Por Maricela López
Número 52

La evaluación como proceso de legitimación y reconocimiento
Una de las características más importantes de las revistas académicas es que permiten la difusión del conocimiento científico, y una de sus necesidades más apremiantes es la evaluación. En este tipo de publicaciones, la evaluación se ha justificado por la multiplicidad de títulos en un mismo campo temático, la falta de profundidad y la calidad en los contenidos, el otorgamiento de financiamiento, su incorporación a bibliotecas, su indización en bases de datos, entre otras razones (Giménez, Román y Sánchez, 1999; Alonso, 2001).

El motivo más frecuente para evaluar las publicaciones generalmente surge ante la necesidad de seleccionarlas para otorgarles apoyo financiero; sin embargo, los productos y las consecuencias de estos procesos de evaluación varían (Cetto, 1999), ya que la evaluación también se percibe como un proceso de legitimación y reconocimiento ante la comunidad académica.

Existen diferentes organismos y asociaciones que se han encargado de establecer modelos o sistemas para evaluar la calidad de las revistas científicas en todo el mundo1; los cuales, a su vez, tienen como base múltiples indicadores para eliminar la subjetividad que conlleva cualquier proceso de evaluación (Giménez et al., 1999).

Los resultados generados por dichos procesos deben aportar información real y objetiva sobre la situación de cada publicación, principalmente en cuanto a su contenido; de forma tal que esta pueda elevar su calidad, adquirir un financiamiento, fortalecer su prestigio ante la comunidad académica, mejorar su productividad o elevar el reconocimiento de quienes publican en ella (López-Ornelas, 2004).

La evaluación2 de la publicación académica en México, un esfuerzo en conjunto
Concientes de la importancia de los procesos de evaluación, en México se crea el Consejo Nacional de Ciencia y Tecnología (CONACyT), organismo gubernamental, dependiente del poder ejecutivo federal, que define la política científica y tecnológica del país. Encargado de asignar recursos para estimular y desarrollar las actividades académicas que le son consustanciales (Loría, 2001, p. 36).

En este sentido, uno de los modelos más conocidos en la evaluación de revistas académicas lo propuso el Consejo Nacional de Ciencia y Tecnología. Por vez primera, en 1993, este organismo convocó a las revistas científicas mexicanas que se consideraran de calidad internacional a someterse a una evaluación que les permitiera ingresar al Índice de Revistas Mexicanas de Investigación Científica y Tecnológica (IRMICyT).

En la primera convocatoria, participaron 127 publicaciones, siendo aprobadas sin reserva 27 revistas (Bazdresch, 1999). En 1995, después de la primera evaluación, el Índice fue actualizado, permitiendo la incorporación de 41 revistas que habían sido condicionadas en la primera convocatoria. La aprobación de las revistas fue obtenida a través del cumplimiento de las recomendaciones solicitadas por un comité integrado por 14 académicos mexicanos expertos en diversas áreas del conocimiento, de los cuales un tercio se sustituye cada año, de forma tal, que cada tres años es renovado por completo (Bazdresch, 1999).

De acuerdo con la experiencia adquirida en 1993 y 1995, dicho comité estructuró un nuevo documento, en 1997, con nueve criterios de evaluación que fueron incorporados a la convocatoria de ese año, en la que participaron, además de las revistas nuevas, las que ya pertenecían al Índice. El resultado final incluyó 61 revistas, 5 aceptadas como emergentes3 y 5 como proyectos de consolidación y desarrollo (CONACyT, 1999).

En la convocatoria de 20014, los criterios del Índice de Revistas Mexicanas de Investigación Científica y Tecnológica fueron reestructurados y detallados con más claridad. En este proceso de evaluación ingresaron al IRMICyT 76 publicaciones; ninguna se registró como emergente o con proyecto de consolidación y desarrollo aceptado. En la actualización de 20025, se registra una como emergente.

El primero de julio del 20056, el IRMICyT registra cinco criterios de evaluación: 1.- contenido, 2.- arbitraje, 3.- contribuciones, 4.- edición y distribución y 5.- criterios formales, de los que se desprenden varios indicadores. Estos criterios se aplicaron en la convocatoria de 2004, y el resultado actualizado al 24 de julio de 2006, corresponde a un total de 89 publicaciones aceptadas.

Estos criterios se aplican a todas las revistas científicas por igual, independientemente del área de conocimiento de éstas: perfil de la publicación, calidad en el contenido, impacto, regularidad y distribución. En cuanto al contenido, como requisito, la revista necesita incluir en esencia, artículos arbitrados que sean producto de investigación que presenten resultados originales; dichos artículos deben representar al menos el 75% del total del material publicado al año. Al menos el 60% del total de los autores deben estar adscritos a instituciones distintas a la que edita la revista (CONACyT, 2006).

También considerara la existencia de un comité editorial interinstitucional e internacional; el arbitraje riguroso especializado y documentado por evaluadores; equilibrio en la procedencia de los artículos (nacionales y extranjeras); evitar que el director de la institución de donde emana la revista, sea el director de la publicación; que exista registro de la evaluación de los artículos de por lo menos dos árbitros adscritos a instituciones nacionales y extranjeras, especialistas en todas las áreas que aborda la revista. Adicional a esto, la revista debe documentar todas las revisiones independientemente del resultado (CONACyT, 2006).

Por otra parte, los árbitros, no pueden evaluar a sus propios compañeros de institución. Otro criterio en este mismo apartado, exige entregar el listado de árbitros activos durante el periodo de evaluación de la revista, incluyendo: grado académico, institución, dependencia de adscripción, disciplina y número de artículos arbitrados (CONACyT, 2006).

En la convocatoria de 20017, la antigüedad mínima de las revistas era de tres años, para la convocatoria del 2004 (actualmente cerrada -24-juli-2006), aumentó a cinco. La periodicidad mínima de la revista debe ser semestral, esto para garantizar que el contenido sea oportuno y actualizado. Además de contar con una pervivencia ininterrumpida y sin retraso según la periodicidad establecida en la portada; la distribución necesita ser a nivel nacional e internacional y anexar datos comprobatorios respecto (CONACyT, 2006).

Con referencia a los artículos, éstos deben incluir en su contenido el resumen en el idioma original del artículo y en otro idioma, ambos colocados siempre al principio, palabras clave, fechas de recepción y aceptación, así como, dirección institucional de los autores. Otros elementos básicos son la portada (título de la publicación; fecha de aparición, ISSN; volumen y número), contraportada (nombres de los editores; comité editorial y/o consejo editorial; permisos legales). Índice o tabla de contenido -colofón, (información sobre la fecha de tiraje y de impresión) (CONACyT, 2006).

Hasta el momento, la información presentada sobre CONACyT resulta conocida por aquellos que nos dedicamos al medio, sin embargo, más allá de pretender resaltar el esfuerzo a favor de la difusión de la ciencia en México, también se espera platear algunos retos en materia de evaluación de revistas académicas electrónicas:

• En la primera convocatoria realizada por CONACyT, 27 revistas fueron consideradas de excelencia, en 1995, una vez actualizado el Índice, se incorporaron 41 publicaciones (Bazdresch, 1999), ninguna con versión electrónica.
• Para el 2000, el IRMICYT había considerado un total de 64 revistas, diez con formato en línea (Reyna, 2000).
• En la convocatoria de 20018, ingresaron al Índice 76 publicaciones, 27 ofrecían su versión digital.
• En la actualización de 2002 de la convocatoria anterior, de las 67 revistas aceptadas en el Índice, una ser registrada como emergente y 24 del total, podían consultarse en línea.
• En febrero de 2004, no se registraron cambios.
• Para mayo de 2005, de las 89 revistas incluidas en el índice, 39 ofrecían versión en Internet.
• En la actualización del 10 de febrero de 2006, no hubo incremento en la cifra anterior.
• El registro del 28 de marzo del mismo año, de las 89 revistas aceptadas en el IRMICYT, 49 ofrecían versión digital, es decir, más del 50% de las revistas consideradas de excelencia en el país, se han dado a la tarea de contar con una versión en línea.
• Un avance significativo, se muestra en la actualización del 14 de junio del 2006, pues de las 89 publicaciones incorporadas en el IRMICYT, 43 disponen de su versión electrónica, considerando un total de 6670 artículos de texto completo (CONACYT, 2006)9.

De lo anterior, destacan tres aspectos importantes:

a) La tendencia de la publicación científica en el país,
b) la importancia y responsabilidad que los editores reflejan al darse a la tarea de crear una versión electrónica de su revista impresa, y
c) el reto10 que el CONACyT tiene para incluir en la siguiente convocatoria criterios que permitan la evaluación de las revistas académicas electrónicas del país.

En una comunicación personal realizada el 16 de marzo del 2006 con el Lic. Ricardo Alcaraz., Jefe del Departamento de Evaluación de Revistas Científicas y Tecnológicas de CONACyT, comentó, que aún no se tenía una fecha definida para la siguiente convocatoria, porque dependía de diversos factores de orden interno, y que esperaba estuvieran resueltos en unas tres o cuatro semanas11. Respecto a la consideración de las revistas científicas electrónicas para la siguiente convocatoria, expresó, que la propuesta entrega al comité, si integraba su incorporación al índice (R. Alcaraz, comunicación personal, 16 de marzo de 2006).

Pero veamos, si el retraso de no incluir en su índice a las revistas académicas electrónicas ha correspondido al desconocimiento de los criterios que evalúan este tipo de publicaciones, habrá que atender los trabajos que se han hecho sobre el tema:

En el ámbito internacional hay varias propuestas recientes, de Estados Unidos Alison Cooke (1999) con Authoritative guide to evaluating information on the Internet, en el mismo país también se encuentra James Testa (2001) con Current Web Contents: Developing Web site selection criteria del Institute for Scientific Information (ISI); de España Isidro Aguillo (1999), con trabajos de Cibermetría, y Lluis Codina (s.f) con “Seminarios sobre Evaluación publicaciones digitales”. En Brasil, Laerte Packer et al. (2001), con el proyecto “Bibliotecas científicas electrónicas en línea”, mejor conocido como Scientific Electronic Library Online (SciELO); en Chile destaca Atilio Bustos (2002) con una “Metodología para la evaluación de revistas científicas electrónicas”, en Alemania, Schulz et al. (1999) desarrollan una excelente y rigurosa propuesta “Criterios de calidad para publicaciones electrónicas en medicina”. En México, el trabajo se ha repartido, como se muestra a contiuación.

En julio de 2005 el cuerpo editorial12 de la Revista Electrónica de Investigación Educativa (REDIE) <http://redie.uabc.mx> , en trabajo en conjunto con la Dra. Graciela Cordero Arroyo, directora del Instituto de Investigación y Desarrollo Educativo de la Universidad Autónoma de Baja California, presentaron ante el CONACyT una propuesta para la evaluación de revistas académicas electrónicas.

La propuesta, que a continuación se presenta, atendió solo aquellos criterios que no han sido contemplados por el IRMICyT, es decir, que lo descrito en la Tabla I, debe tener anexos los requisitos que CONACyT incluye en su proceso de evaluación.

Por otra parte, existen organismos que, a pesar de no ser considerados como rigurosos evaluadores de la calidad en las revistas científicas, influyen significativamente en la edición, distribución y vida académica de éstas, debido principalmente a que dichos organismos establecen una serie de requisitos para su incorporación, de forma que las revistas que cumplen tales criterios, obtienen un estatus y reconocimiento significativo el ámbito académico. Tal es el caso del Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal, mejor conocido como Latindex.

Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal (Latindex)
Latindex, anteriormente conocido como Índice Latinoamericano de Publicaciones Científicas, surgió en 1995 como un sistema de información bibliográfica de revistas científicas y tecnológicas publicadas en América Latina y el Caribe. Cuatro años más tarde se extendió a España y Portugal (Alonso, 1998).

Latindex contiene información bibliográfica sobre las publicaciones seriadas, tanto periódicas como series monográficas, científicas y técnicas especializadas en todas las disciplinas de las ciencias exactas, naturales, sociales y humanas. Algunos de los motivos más importantes que justificaron el surgimiento de Latindex, son los siguientes:

• Los autores científicos de América Latina constituyen una porción bajísima en la producción total de los países desarrollados, a pesar de que dichos autores son los principales productores en materia de publicaciones científicas en su propia región.
• América Latina carece de mecanismos permanentes de normalización y estandarización en materia de literatura científica, así como de una política al respecto basada en criterios propios de la región13.
• Existe la práctica de valorar a las revistas científicas por su inclusión en los índices, específicamente, por su factor de impacto definido por ISI14 con base en las citas recibidas, al margen de otros indicadores de calidad (Latindex, 1999).

Latindex, es producto de la cooperación de una red de instituciones que funcionan de manera coordinada para reunir y diseminar información bibliográfica sobre las publicaciones científicas seriadas producidas en la región (20006:1).

Sus principales funciones son establecer políticas y acciones que conduzcan a integrar los esfuerzos que se realizan en las diferentes regiones y países participantes en materia de producción, difusión, sistematización y uso de información; reforzar y elevar la calidad y el impacto de las publicaciones científicas latinoamericanas, dar a éstas una mayor visibilidad y cobertura a nivel internacional; utilizar la información procesada como base para la elaboración de subproductos e influir en los ámbitos nacional e internacional en materia de información, documentación y publicación científica.

En agosto de 2002, se registró en la página electrónica de Latindex la adquisición del nombre actual como Sistema de Información, en lugar de la denominación original de Índice. Desde esa fecha, tres productos están disponibles en el sitio:

• Un Directorio, que desde 1997 proporciona datos normalizados de más de 14,874 revistas académicas, con información que permite conocer su trayectoria, especialización temática, organismo editor, responsables editoriales, dirección completa, procedimientos de distribución, precios, bases de datos que cubren la revista, entre otros (descripción elaborada de acuerdo con las normas del International Serials Data System, disponible a través de Internet).
• Un Catálogo de las revistas científicas editadas en América Latina, el Caribe, España y Portugal, agrupadas por campo de conocimiento, el cual fue puesto en línea en marzo de 2002 (http://latindex.org), con información descriptiva y de contenido adicional a la que ofrece el Directorio. El Catálogo contiene actualmente poco más de 2,169 títulos de revistas académicas editadas en los siguientes países participantes: Argentina, Brasil, Colombia, Cuba, Chile, España, México, Puerto Rico, Portugal y Venezuela. Conforme se incorporen más países a los trabajos del Catálogo y se avance en su construcción, la lista de títulos crecerá.
• Índice de Recursos Electrónicos, el cual ofrece actualmente cerca de 2,460 enlaces a sitios de revistas electrónicas, registradas en el directorio, que ofrecen acceso a textos completos a través de Internet (Latindex, 2006).

Latindex también se ha dado a la tarea de reestructurar y/o eliminar algunos de sus criterios.

Características básicas

1. Mención del cuerpo Editorial
2. Contenido
3. Antigüedad mínima 1 año
4. Identificación de los autores
5. Lugar de edición
6. Entidad editora
7. Mención del Director
8. Mención de Dirección

Características de presentación de la revista

9. Páginas de presentación
10. Mención de periodicidad
11. Tabla de contenidos (índice)
12. Membrete bibliográfico al inicio del artículo
13. Membrete bibliográfico al inicio del artículo
14. Miembros del consejo editorial
15. Afiliación institucional de los miembros del consejo editorial
16. Afiliación de los autores
17. Recepción y aceptación de originales

Características de gestión y política editorial

18. ISSN
19. Definición de la revista
20. Sistema de arbitraje
21. Evaluadores externos
22. Autores externos
23. Apertura editorial
24. Servicios de información
25. Cumplimiento de periodicidad
Características de los contenidos
26. Contenido original
27. Instrucciones a los autores
28. Elaboración de las referencias bibliográficas
29. Exigencia de originalidad
30. Resumen
31. Resumen en dos idiomas
32. Palabras clave
33. Palabras clave en dos idiomas

(Latindex, 2006).

Citas Latinoamericanas en Ciencias Sociales y Humanidades (CLASE) e Índice de Revistas Latinoamericanas en Ciencias (Periódica)
Otros dos organismos similares a Latindex son las bases de datos CLASE (Citas Latinoamericanas en Ciencias Sociales y Humanidades) y Periódica (Índice de Revistas Latinoamericanas en Ciencias). Ambas fueron creadas en la Universidad Nacional Autónoma de México en 1975 y 1978, respectivamente, con el objetivo de cubrir las necesidades de información especializada de una de las más grandes y diversas comunidades académicas en el mundo, la de la UNAM; así como para ofrecer bibliografía global y actualizada que compilara sistemáticamente el producto de trabajos realizados y publicados en América Latina.

Los objetivos generales de éstas dos bases de datos son: compilar bibliografía actualizada de documentos publicados en una selección de revistas académicas editadas en América Latina y el Caribe, y ofrecer esa información a la comunidad universitaria integrada por estudiantes, profesores, investigadores, técnicos académicos, administradores y tomadores de decisiones (Alonso, 2001). Sus políticas de selección se basan en la evaluación de revistas editadas por universidades, instituciones de educación superior y de investigación y organismos internacionales, donde los países latinoamericanos son mayoría. Para ello, utilizan criterios que se han clasificado en tres grupos:

• De normalización editorial, los que tienen que ver con la observancia de normas técnicas para la presentación de revistas.
• De gestión y visibilidad, los que permiten conocer cómo es la administración de la revista, su historia, estabilidad y tipo de difusión.
• De contenido para fines de indización, los que revelan la calidad de los contenidos y son utilizados por los indizadores de la base de datos para describir bibliográficamente los documentos publicados en cada fascículo.

Red de Revistas Científicas de América Latina y El Caribe, España y Portugal (Red ALyC)
Es organismo que reúne publicaciones y utiliza criterios para la inclusión de éstas, es la Red de Revistas Científicas de América Latina y El Caribe (Red ALyC), un proyecto incorporado a Internet el 1 de octubre de 2002, creado por académicos de la Facultad de Ciencias Políticas y Administración Pública de la Universidad Autónoma de Estado de México (UAEM). Red ALyC se presenta como una hemeroteca científica innovadora, exclusiva para el área de las ciencias sociales; de acceso libre a los contenidos completos de los artículos incluidos en su acervo.

Su misión es permitir que la literatura científica generada en América Latina esté rápida y eficazmente disponible, para con ello estudiar, difundir, criticar y citar la producción científica de la región, con el fin de coadyuvar en su consolidación e internacionalización (Red ALyC, 2006:1).

Objetivo son permitir que la literatura científica producida en y sobre Iberoamérica esté rápida y eficazmente disponible al público en general, con el fin de contribuir a incrementar su visibilidad, internacionalización e impacto entre la comunidad académica del mundo entero. Para ello se propone:

• Contribuir al fortalecimiento de la comunicación científica en Iberoamérica.
• Favorecer la difusión e incrementar la visibilidad tanto de las revistas científicas, como de sus contenidos específicos.
• Facilitar la vinculación entre los actores del quehacer editorial científico.

El proyecto de Red ALyC pone a disposición del lector interesado los más destacados avances científicos desarrollados en Iberoamérica, cientos de revistas de todas las áreas del conocimiento y miles de artículos a texto completo que podrán leer, citar, criticar y analizar. Los parámetros que esta hemeroteca utiliza para incluir a las revistas son los que previamente se han convenido con el Catálogo de Latindex (Red ALyC, 2006).

Comentarios finales
A manera de reflexión, se puede decir que el constante avance de las nuevas tecnologías de la información y la comunicación, y los retos que han significado para el campo de las publicaciones académicas electrónicas, enfatizan la necesidad de seguir buscando “métodos o sistemas de medición” que evalúen la calidad de este tipo de publicaciones, sin embargo, el compromiso no solo corresponde al CONACyT, sino también a todas aquellas instituciones de educación superior (IES) que como la Universidad Nacional Autónoma de México (UNAM), el Instituto Tecnológico y de Estudios Superiores de Monterrey (ITESM), la Universidad Autónoma del Estado de México (UAEM) y la Universidad Autónoma del Estado de Baja California (UABC), por mencionar algunos, han contribuido al reconocimiento y legitimación de nuestras revistas académicas electrónicas.
De igual manera se reconoce el esfuerzo de todas aquellas IES, que a través de artículos, proyectos de investigación, foros, conferencias, etc., han disipado poco a poco la incertidumbre que el Consejo Nacional de Ciencia y Tecnología había mostrando sobre el tema los últimos cinco años.

Finalmente, la moneda ha sido lanzada al aire, ahora solo restar esperar y cuando esto suceda, CONACyT nos ofrecerá una respuesta que con seguridad irá adaptándose a las transformaciones propias del medio, entonces, habremos ganado camino.

Notas:

1 El Consejo Internacional para la Ciencia (ICSU) existe desde los años treinta, aunque en 1988 su nombre cambió de International Council of Scientific Unions al de International Council for Science. Sus objetivos siguen siendo representar a la ciencia a nivel internacional, tratar asuntos de interés común para los científicos de todo el mundo y crear organismos y programas interdisciplinarios que trasciendan la fragmentación de la ciencia. En octubre de 2001, el Comité de Diseminación de Información Científica de ICSU publicó la tercera edición de su guía para publicaciones científicas <http://biblioteca.ucv.cl/guidelines/guidelines.htm>, por primera vez en versión electrónica.
Otro organismo que también promueve la calidad en las publicaciones académicas es la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO). También se encuentra el Institute for Scientific Information –ISI– (Instituto de Información Científica), empresa dedicada a la elaboración de bases de datos; considerada como uno de los principales órganos evaluadores de las publicaciones periódicas en el mundo.
2 La evaluación de las publicaciones (que son el último eslabón del trabajo académico) constituyen un punto central que define o por lo menos incide determinantemente sobre las demás evaluaciones (Loría, 2000:166)
3 Las revistas aceptadas como emergentes, se identifican porque sus artículos pueden ser tomados en cuenta como artículos científicos, mientras que las denominadas proyecto de consolidación y desarrollo aceptado, son publicaciones que les faltan pocos requisitos y, por consiguiente, adquieren el compromiso de mejorar su calidad en un plazo de tres años. (CONACyT, 1999).
4 Actualizada el 2 de agosto de 2002.
5 Información consultada de <http://www.conacyt.mx/dac/revistas/index.html> el 18 de marzo de 2004.
6 Información consultada de <http://www.conacyt.mx/> el 23 de abril de 2006.
7 Actualizada el 2 de agosto de 2002.
8 Actualizada el 2 de agosto de 2002.
9 Información consultada de <http://redalyc.uaemex.mx/redalyc/conacyt/index.jsp> el 24 de julio de 2006.
10 Su misión es impulsar y fortalecer el desarrollo científico y la modernización tecnológica de México, mediante la formación de recursos humanos de alto nivel, la promoción y el sostenimiento de proyectos específicos de investigación y la difusión de la información científica y tecnológica (CONACYT, 2006).
11 La convocatoria del IRMICYT se revisó por última vez, el 24 julio de 2006. La fecha de actualización de la página, corresponde al 7 de enero de 2005, consultado en
<http://www.conacyt.mx/consolidacion/indice_revista_convo2004.html>
12 M.C. Lewis McAnally Salas, Lic. Kiyoko Nishikawa Aceves y M.C. Maricela López Ornelas.
13 Algunos de los principales problemas que enfrentan las revistas latinoamericanas son de arbitraje, distribución, normalización, evaluación, etc. (Almada, 2000); además de sus problemas de calidad, producción y distribución (González, 1999).
14 "Asumir los indicadores del ISI como patrones para medir la calidad de una revista de la región es como tratar de medir la longitud de un madero, empleando para ello un termómetro" (Cetto, 1999, p. 24).
Revisión realizada el 28 de septiembre del 2005 en <http://www.latindex.unam.mx/>.

Referencias:

Alcaraz, R. G. (2006). Comunicación personal.
Alonso, J. O. (1998). Acceso a revistas latinoamericanas en Internet. Una opción a través de las bases de datos Clase y Periódica. Ci. Inf, 27 (1), 90-95.
Alonso, J. O. (2001). Revistas académicas mexicanas: su presencia en bases de datos. En Loría, E. (Ed.), Los dilemas de las revistas académicas mexicanas (pp. 115-131). México: Universidad Autónoma del Estado de México.
Bazdresch, C. (1999). El Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del CONACyT. En A. Cetto y O. Alonso (Comps), Revistas científicas en América Latina (pp. 337-353). México: International Council of Scientific Unions-Universidad Nacional Autónoma de México-Consejo Nacional de Ciencia y Tecnología-Fondo de Cultura Económica.
Cetto, A. M. (2001). Publicación electrónica en ciencia. Retos y oportunidades. Ciencia y Desarrollo, 158, Núm. 61-63.
Cordero, G. y López Ornelas, M. (2005). La evaluación de la calidad de las publicaciones académicas electrónicas en México. Trabajo presentado en el Foro Internacional sobre Tecnologías de la Información, Colima, Colima.
Consejo Nacional de Ciencia y Tecnología. (1997, 10 de octubre). Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Criterios de evaluación. Consultado el 14 de septiembre de 1999 en el sitio Web del Consejo Nacional de Ciencia y <Tecnología: http://www.conacyt.mx/daic/critrevev97.html>
Consejo Nacional de Ciencia y Tecnología. (1999). Actualización del Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Convocatoria 1999. Consultado el 6 de mayo de 1999 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://www.main.conacyt.mx/conacyt/convocatorias/convrevistas.html>
Consejo Nacional de Ciencia y Tecnología. (1999). Índice de revistas mexicanas de investigación científica y tecnológica. Criterios de evaluación. Consultado el 17 de enero de 2000 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://www.main.conacyt.mx/daic/critevev97.html>
Consejo Nacional de Ciencia y Tecnología. (1999, 1 de marzo). Solicitud para el registro en el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Convocatoria 1999. Consultado el 30 de mayo de 2001 en el sitio Web del Consejo Nacional de Ciencia y Tecnología:
<http://www.conacyt.mx/search?NS-search-page=document&NS-rel-doc-name=/daic
Consejo Nacional de Ciencia y Tecnología. (2001, 7 de mayo). Actualización del Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Convocatoria 2001. Consultado el 30 de mayo de 2001 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://triton.main.conacyt.mx/daic/revistas/convrevistas.html>
Consejo Nacional de Ciencia y Tecnología. (2001, 7 de mayo). Criterios de evaluación para el Índice de Revistas Mexicanas de Investigación Científica y Tecnológica del CONACYT, 2001. Consultado el 30 de mayo de 2001 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://triton.main.conacyt.mx/daic/revistas/criterios_eval.html>
Consejo Nacional de Ciencia y Tecnología. (2002, 2 de agosto). Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Actualización 2001. Consultado el 20 de octubre de 2002 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://www.conacyt.mx/dac/revistas/>
Consejo Nacional de Ciencia y Tecnología. (2004, 18 de febrero). Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Actualización 2001. Consultado el 18 de marzo de 2004 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://www.conacyt.mx/dac/revistas/index.html>
Consejo Nacional de Ciencia y Tecnología. (2005, 7 de enero). Actualización del Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Convocatoria 2004. Consultado el 24 de abril de 2006 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://www.conacyt.mx>
Consejo Nacional de Ciencia y Tecnología. (2006, 28 de marzo). Índice de Revistas Mexicanas de Investigación Científica y Tecnológica. Actualización 2006. Consultado el 10 de mayo de 2006 en el sitio Web del Consejo Nacional de Ciencia y Tecnología: <http://www.conacyt.mx>
Codina, Lluis (2000) “Evaluación de recursos digitales en línea: conceptos, indicadores y métodos”. Revista Española de Documentación Científica, 23 (1): 9-44.
Giménez, E. R. y Román, A. (1998, 29-31 de octubre). Problemas metodológicos en la evaluación de revistas científicas españolas. Trabajo presentado en FESABID 98, VI Jornadas Españolas de Documentación, Valencia.
LATINDEX. (2004). Índice de Recursos electrónicos. Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal. Consultado el 28 de septiembre de 2005 en: <http://www.latindex.unam.mx/>
LATINDEX. (2006). Índice de Recursos electrónicos. Sistema Regional de Información en Línea para Revistas Científicas de América Latina, el Caribe, España y Portugal. Consultado el 23 de abril de 2006 en: <http://www.latindex.unam.mx/>
López Ornelas, M., Cordero, G. y Backhoff, E. (2005). Measuring the Quality of Electronic Journals. Electronic Journal of Information Systems Evaluation, 8 (2), july. http://www.ejise.com/volume-8/v8-iss-2/v8-i2-art6-lopez.pdf
Loría, E. (Ed.). (2001). Una evaluación del sistema de evaluación de las revistas académicas mexicanas. En Loría, E. (Ed.), Los dilemas de las revistas académicas mexicanas (pp. 25-51). México: Universidad Autónoma del Estado de México.
Loría, E. (2000). Un debate sobre el sistema de evaluación de las revistas académicas mexicanas. Revista de Ciencia y Tecnología de América Interciencia, 5 (3), mayo – junio. <http://www.interciencia.org/v25_03/loria.pdf>
Reyna, F. R. (2000, 5-6 de octubre). La publicación electrónica en México, vista a través de las revistas académicas. Trabajo presentado en el XVIII Coloquio Internacional de Investigación Bibliotecológica y de Información, México, D. F.