Por Gloria Gómez
Número 40

Introducción
La evaluación web es una disciplina ejercida principalmente por consultoras, empresas dedicadas al desarrollo tecnológico y por profesionales de la documentación. Los criterios evaluadores varían en función de los agentes que realizan la evaluación y del propio desarrollo de la web, definido en gran medida por las demandas del usuario.

Tras estudiar diferentes listas de evaluación que aparecen publicadas en la red, se observan principalmente dos tendencias evaluadoras: priorizar el “contenido” del documento web o dar más importancia a la relación funcional, de uso del documento web por parte del usuario.

Es frecuente desde estas checklists la propuesta de los criterios de Contenido, Diseño y Tecnología como criterios de evaluación diferenciados, reflejando quizás un proceso de creación necesariamente dividido en áreas (al menos en buena parte del mismo).

Se considera que, al realizar la evaluación de un documento web, es necesaria una perspectiva integradora que aglutine los tres criterios de evaluación. Esta perspectiva permitiría identificar las funciones de determinados elementos en el documento web en un momento dado y anticipar posibles papeles desarrollados por otros.

En este artículo se plantea una aproximación a la evaluación web desde la perspectiva de la comunicación a través de la propuesta de cuatro niveles de evaluación que surgen después de haber estudiado con detalle criterios de evaluación publicados por festivales que premian comunicación web.

Por último, se proponen diez criterios de evaluación de ninguna manera definitivos que plantean la posibilidad de una perspectiva evaluadora desde la ciencia de la comunicación. Los diez criterios aparecen definidos a través de indicadores.

La Necesidad de una perspectiva evaluadora desde la ciencia de la comunicación
En la actualidad la evaluación web es una disciplina ejercida principalmente por consultoras, empresas dedicadas al desarrollo tecnológico y por profesionales de la documentación.

Normalmente, la evaluación se desarrolla desde las consultoras y se apoya fundamentalmente en dos técnicas: Evaluación por expertos y Test de usuarios. Los dos métodos se utilizan indistintamente aunque, debido a su mayor coste, el segundo suele usarse para identificar fallos que en la evaluación de expertos han pasado inadvertidos. (Manchón, Eduardo en <http://www.ainda.infoheuristico_vs_test_usuarios.htmlaind.info>)

Una propuesta de indicadores permite cubrir una checklist que nos aporta datos sobre el nivel de calidad que presenta la página. Aún teniendo una lista de criterios o de niveles a evaluar, es necesario contar con un grado de incertidumbre o subjetividad en el proceso evaluador. Respecto a esto, Grigore Burdea y Philippe Coiffet explican las complicaciones que surgen en la evaluación aplicada a sistemas de realidad virtual:

Por la naturaleza misma, es decir, por sus características de inmersión e interactividad, la relidad virtual involucra a “casi todo el ser humano”: todos sus sentidos y toda su atención. En consecuencia, la medición del rendimiento no va a ser fácil. Y estará sujeta a cierta subjetividad.” Burdea / Coiffet, 1996, p. 231
Pese a las dificultades, aclaran que “parece más que necesario evaluar o calificar los sistemas de realidad virtual” y como principal motivo, sitúan la “necesidad tecnológica”. Es decir, comprobar “si las herramientas y simulaciones de realidad virtual se dirigen correctamente al hombre (comprensión y acción). 1996, p.231

En este punto es donde se establece la necesidad de una evaluación desde la perspectiva de la comunicación, encargada de tasar la calidad de la comunicación que se establece entre usuario y documento.

En el contexto de nuevos códigos y elementos que aporta Internet, es necesario desarrollar parámetros e indicadores para realizar una evaluación de la calidad comunicativa de los documentos web. La gran cantidad de elementos que nos brinda el soporte electrónico para construir comunicación, convierte a la evaluación en pieza clave en lo que respecta a su desarrollo.

Si de verdad llega a disponerse del hipertexto, especialmente en las versiones fantasiosas de las que se está hablando ahora_ en las cuales se puede disponer de palabras, sonidos, gráficos de ordenador, simulaciones y más cosas con sólo tocar la pantalla_ entonces resulta difícil imaginar que haya alguien capaz de preparar el material. Harán falta equipos enteros de personas. Según mis cálculos, tendrán que realizarse muchos experimentos, y tendrá que haber muchos fracasos, antes de que se comprendan totalmente las dimensiones de esta nueva tecnología. Norman, 1988, p.261

Evaluar la calidad comunicativa de los documentos web permite identificar los requisitos que debe incluir un sitio web así como el propósito de cada una de ellos desde el punto de vista situado en la intersección de la relación que se establece entre el usuario y el documento web.

Una propuesta de niveles de evaluación
En una investigación centrada en el estudio de los criterios de evaluación publicados por festivales que premian documentos web (Martí Pellón / Gómez. Diago, 2003), después de realizar un análisis comparativo entre los festivales que publican sus criterios con detalle: Worldbestwebsites <http://www.worldbestwebsites.com>, Maestroawards <http://www.maestroawards.com>, Assessrisk <http://www.assessrisk.com>, The Beeline Awards, <http://www.bton.com> Iptop <http://www.Iptop.com> y Webbmagic <http://www.webmaggic.com>, se concluye que los criterios más utilizados son Tecnología, Contenido y Diseño.

Además, aparecen los criterios de Funcionalidad, Interactividad, Creatividad y Overall Experience. A excepción de este último, los otros tres criterios no aportan cuestiones diferentes a las que plantean Tecnología, Contenido y Diseño.

En este estudio, al tratar con detalle los elementos o indicadores propuestos por los organizadores en los tres criterios, se comprueba que:

- En un mismo criterio los indicadores nacen desde diferentes puntos de vista.Así, en el de contenido tenemos expresión verbal y estructura, organización. Expresión verbal se refiere a la ortografía, a la gramática y al spelling mientras que estructura tiene que ver con la presentación del contenido y el desglose de sus elementos.

- Los indicadores que se han colocado en cada uno de los criterios tienen un equivalente en los otros dos. Así, en Tecnología un indicador expresa que los links deben de estar activos, en el criterio de contenido aparece que el link debe estar relacionado con su origen y en el de Diseño se expresa que los links deben tener un diseño homogéneo para su localización.

Al analizar un documento web, la separación Tecnología / Contenido / Diseño ocasiona errores de planteamiento y confusiones puesto que resulta imposible evaluar desde esas tres perspectivas por separado.

Respecto a este tema, hay una investigación publicada en la red: Content or Graphics?. An empirical análisis of criteria for award winning websites, realizada por la Universidad de California, Berkeley en colaboración con la Academia Internacional de las Artes y Ciencias Americanas, organizadora de los Webby Awards. <http://www.sims.berkeley.edu/~sinha/papers/sinha_hfw01.html>. Las autoras se plantearon averiguar, mediante encuestas, cuál fue el criterio que más tuvieron en cuenta los miembros del jurado en la edición de los Webby 2002.

De los seis criterios que planteó el festival ese año, y que se mantienen <http://www.webbyawards.com/main/webby_awards/criteria.html>:
Contenido, Estructura y Navegación, Diseño Visual, Funcionalidad, Interactividad y Overall Experience, las autoras concluyen que el que se considera más importante por el jurado es el de Contenido con una gran diferencia con respecto a los otros.

El segundo criterio en importancia es el de Interactividad y, el último, el de Diseño visual. Además, comprobaron mediante los cuestionarios que Overall experience aglutina la adicción de todos los criterios.

El planteamiento de este estudio resulta muy interesante pues tiene como objetivo el constatar a qué área dan más importancia los jurados a la hora de establecer un ranking de premiados. Además, a través de sus resultados nos permite plantearnos la eficacia de la separación entre Contenido, Diseño y Tecnología. Que hayan concluido que el criterio que más se tiene en cuenta es el de contenido parece revelar que dentro del concepto de Contenido, los evaluadores, han tenido en cuenta también un criterio Tecnológico (es necesario que el documento web provea al usuario de los programas que necesite para su utilización), y un criterio de Diseño (es fundamental que los links estén identificados para poder clicar sobre ellos).

Los indicadores que nos proporcionaron los festivales en cada uno de sus criterios, nos permitieron identificar niveles de significación dentro de los mismos. Mediante el método card sorting, establecimos agrupaciones de los indicadores desde diferentes puntos de vista.

La perspectiva definitiva es la calidad comunicativa. Es decir, desde el grado de relación entre el documento web y el usuario. De este modo, establecimos cinco niveles para evaluar la calidad de un documento web. Cada uno de los niveles integra aspectos referentes al Contenido, al Diseño y a la Tecnología:

1. Legalidad
2. Acceso y visibilidad
3. Composición
4. Integración e Innovación
5. Adecuación y eficacia

La lectura de estos niveles es de arriba abajo, siendo el de Legalidad el nivel básico que deben cumplir los documentos web. A continuación, trazo algunas de las cuestiones que tienen en cuenta cada uno de los niveles.

1. Legalidad: requisitos de copyright, respeto a los derechos humanos, etc.

2. Acceso y Visibilidad: requerimientos necesarios para minusválidos (Web Content Accessibility Guidelines, en <http://.www.3org/TR/WAI_WEBCONTENT/>), que baje rápido, resolución estándar, incluir plugins si son necesarios, links con color estándar, texto y fondo diferenciados, etc.

3. Composición: Se refiere a la estructuración del documento web, a que tenga una disposición lógica del contenido, a que haya un equilibrio entre imágenes y texto, etc.

4. Integración e Innovación: uso adecuado de los elementos hacia un mismo propósito, por así decirlo: Este nivel mide si los recursos de audio y video, por ejemplo, se hayan integrados dentro del conjunto del web. Además, Innovación se refiere a los elementos que posibilitan la participación del usuario como son los chats, foros, etc.

5 . Adecuación y eficacia: Este último nivel presenta diferencias en su significado en función del tipo de documento que estemos evaluando. Si nos referimos a una web de una empresa que tiene presencia en otros medios, la adecuación tiene que ver con que sigamos el manual de estilo que ya posee. Eficacia está en relación con el que creador del documento web consiga sus propósitos a través de la misma, que se dirija a su tipo de usuario de un modo correcto. Hay que decir que para medir la eficacia de un web site, podremos disponer de indicadores cuantificables, en función del tipo de propósito que tenga el documento web. Es decir, si lo que hace es vender discos, podremos tener fácilmente el número de compradores así como el número de usuarios registrados.

Del mismo modo que, hablando de la ficción interactiva, se plantea la falta de conceptos referidos a la interacción para detectar diferencias entre diferentes tipos de videojuegos, en la evaluación web se demanda una perspectiva evaluadora desde comunicación que aglutine las perspectivas tecnológica (Jacob Nielsen y la IPO HCI- Human Computer Interaction, AIPO: Asociación Interación Persona Ordenador, en España), la que tiene como origen la psicología cognitiva (Donald Norman, Eduardo Manchón) y la documentalista y docente (Wolfgram Memorial Library, en <http://www2.widener.edu/Wolfgram-Memorial-Library/webevaluation/inform.htm>)

Se trata de desarrollar a través de la propuesta de conceptos lo que los consultores realizan de una forma cotidiana. Esto permitirá disponer de un registro pautas de calidad web que haga más fácil proponer nuevos patrones, que posibilite el intercambio de ideas en el marco de la ciencia de la comunicación y, gracias a esto, acercarnos con más precisión tanto a la realidad web y como a los marcos de investigación en evaluación que se desarrollan desde otras perspectivas.

Una propuesta de diez criterios de evaluación
Partiendo de la necesidad de superar la diferenciación: Contenido, Diseño y Tecnología para evaluar documentos web, se plantea un mapa de evaluación estructurado en diez criterios: Buscabilidad, Accesibilidad, Identidad, Credibilidad, Cobertura, Novedad, Lectura, Manipulación, Acción y Recursos.

La propuesta de estos criterios está basada en las características que tiene que tener un documento web con respecto a la satisfacción del usuario y los indicadores propuestos en cada uno de ellos han sido extraídos de más de un centenar de listas de evaluación (checklists) que aparecen publicadas en la red, aunque bajo otra propuesta de criterios.

El método utilizado para asignar los indicadores a los criterios propuestos ha sido el de “card sorting”. Este sistema, que consiste en ir asociando términos por tener en común alguna perspectiva o por disociación es muy empleado por las consultoras que construyen documentos web y muy útil en trabajos como este, consistentes en hacer más sencilla la aproximación a conceptos que presentan unos límites semánticos poco claros.

Evidentemente, no es propósito de este artículo otorgarle a la propuesta que sigue un carácter definitivo. Se trata de compartir una forma de aproximación a la evaluación web desde la Ciencia de la Comunicación.

10 criterios para evaluar la Calidad Comunicativa WEB

1. Buscabilidad: localizado en creíble directorio o buscador, url relacionada con el tema del documento web, key-word adecuadas

2. Accesibilidad: acceso a minusválidos, resolución de pantalla adecuada, posibilidad de efectuar descargas de programas necesarios para acceder al documento web, seguridad en lo referente a la necesidad de introducir datos personales para acceder al docuemto web, ventanas de ayuda que posibiliten salir de un error en la navegación y que informen de los pasos que hay que seguir.

3. Identidad: que el documento no esté en construcción, faqs adecuadas que respondan a las preguntas básicas que se hace el usuario, home page que exprese de un vistazo los principales contenidos del documento web, su propósito y el tipo de usuario.

4.Credibilidad: linkeado por webs de referencia, experiencia autor, verificar autor (Google), revisión de contenido, más de un punto de vista, web/ bibliografía, testimonios, premios, patrocinador, link al patrocinador, distinción entre publicidad e información, publicidad apropiada para la audiencia, e-mail autor

5. Cobertura: actualización, soporte complementario, contenido para diferentes usuarios.

6 . Novedad: comparación con otros medios, comparación con webs similares, punto de vista original

7 . Lectura: ortografía y gramática, claridad visual, contraste texto/ fondo, tipografía y tamaño adecuado, tono y estilo del texto, color de los links estándar, imágenes refuerzan el texto, index, redacción concisa, metainformación, etiquetas de contenido, títulos en las páginas.

8 . Manipulación: links con el mismo criterio, disposición lógica del contenido, funcionalidad, errores de navegación, diferentes navegaciones en función de tipo de usuario, sistema de ayuda, buscador interno, balance entre el número de links interiores y exteriores, que los links exteriores tengan html, que los links exteriores permitan volver a la home, tiempo de espera razonable, que sea posible hacer cosas mientras baja un documento, mejor no scroll horizontal

9. Acción: tareas, foros, experiencia que engancha a usuario

10 . Recursos: fácil imprimir, posibilidad de colgar trabajos, versión en texto

Referencias:

Burdea, Grigore / Coiffet Philippe (1996), Tecnologías de la realidad virtual. Barcelona: Ediciones Paidós Ibérica S.A., y Buenos Aires: Ediciones Paidós SAICF,
Martí Pellón, Daniel, Los jurados de premios a websites llevan años evaluando casi los mismos criterios, en <http://comunisfera.blogspot.com/2004_02_01_comunisfera_archive.html> (consulta 27/02/2004)
Martí, Pellón, Daniel Factores comunicativos en la evaluación de usabilidad, en <http://comunisfera.blogspot.com
/ 2004_02_01_comunisfera_archive.html#107606076231553612> (consulta 06/02/2004)
Martí Pellón, Daniel / G. Diago, Gloria (2003) Tecnología, Contenido y Diseño. Criterios de los premios a websites. VV.AA: Interacción 2003 (coord. Pérez Cota, Manuel). IV Congreso Internacional de Interacción Persona- Ordenador ISBN:84-932887-4-8
Norman, Donald (1990), La psicología de los objetos cotidianos. Madrid: Editorial Nerea S.A
Sinha, Rashmi/ Hearst Marti, Ivory, Melody. Content or Graphics?. An empirical análisis of criteria for award winning websites, en <http://www.sims.berkeley.edu/~sinha/papers/sinha_hfw01.html> (consulta 05/09/2003)