El estudio de la funcionalidad de los portales gubernamentales: Una propuesta metodológica desde la e-salud

The Study of the Functionality of Government Portals: A Methodological Proposal from the E-health

Ramón Bouzas-Lorenzo* y Xosé María Mahou Lago**

* Profesor titular de la Universidad de Santiago de Compostela. En la actualidad es visiting scholar en la Goldman School of Public Policy (Universidad de California en Berkeley). Universidad de Santiago de Compostela, Facultad de Ciencias Políticas y Sociales. Campus Vida, s/n, 15782 Santiago de Compostela, España. Tel: 34 88 18 15 181. Correo-e: ramon.bouzas@usc.es.

Artículo recibido el 12 de junio de 2012.
Aceptado para su publicación el 5 de enero de 2013.

Resumen

Los planes de e-gobierno contribuyen a transformar el modo de entender las relaciones entre los diversos actores involucrados en la implementación de políticas públicas. como parte de las innumerables contribuciones transdisciplinares a este proceso de cambio, la literatura ha reservado un amplio espacio para el desarrollo de enfoques que permiten mejorar los dispositivos ofrecidos a través de Internet, en particular, los alojados principalmente en portales web. A partir de un estudio centrado en salud, una de las áreas en las que con mayor visibilidad se han producido avances, el objetivo principal de este estudio, basado en el empleo combinado de un test de accesibilidad, test heurístico y experimento de e-usuario misterioso, es sugerir un método con el cual analizar cualitativamente de forma integral un sistema de provisión de servicios y atención al ciudadano descentralizado territorialmente, atendiendo a las prestaciones de accesibilidad, usabilidad, oferta informativa y de servicios, y mecanismos de comunicación facilitados.

Palabras clave: gobierno electrónico, salud electrónica, portal, metodología, usabilidad, accesibilidad, información, comunicación, servicios.

Abstract

Keywords: e-government, e-health, portal, methodology, usability, accessibility, information, communication, services.

INTRODUCCIÓN

El desarrollo de dispositivos que facilitan la interacción entre los ciudadanos y las administraciones a través de internet ha avanzado considerablemente durante la última década en los países desarrollados (Comisión Europea, 2010; OCDE, 2009; CapGemini, 2010b). Los progresos logrados han contribuido a transformar el modo de entender las relaciones entre los diversos actores involucrados en el proceso de implementación de políticas públicas (Griffith y Wilding, 2008; Klijn y Steijn, 2010). Además de aspirar a superar tradicionales barreras burocráticas y a promover la participación y la democracia (Fountain, 2001), se ha puesto énfasis en intentar satisfacer las expectativas y las necesidades de los usuarios del modo más eficiente y ajustado a la disponibilidad presupuestaria (West, 2004; Bertot y Jaeger, 2008).

El enfoque centrado en el usuario requiere comprender el modo en que éste interactúa con la administración (OCDE, 2009). Se trata de un paso inicial, obligado, de la estrategia más ambiciosa de lograr una mayor eficiencia en los servicios y un alcance más efectivo de los públicos objetivos en un contexto de mayor interoperabilidad entre las diversas organizaciones involucradas en las políticas públicas (CapGemini, 2010a; Soares y Amaral, 2010).

En línea con las definiciones más extendidas (OCDE, 2005; UNDESA, 2012), el gobierno electrónico se puede concebir como el uso intensivo de las tecnologías de la información y la comunicación (TIC) con el propósito de generar condiciones de buen gobierno a través de una prestación de servicios y una transferencia de información eficientes, así como de un fortalecimiento del proceso de políticas públicas fundamentado en la creación de nuevas vías de participación de los actores implicados.

Uno de los principales soportes utilizados para generar las condiciones requeridas por el e-gobierno es el portal web (Vassilakis, Lepouras y Halatsis, 2007; Luna-Reyes, Hernández García y Gil-García, 2009), una vía de acceso preferente para acceder a los servicios no presenciales, como ponen de manifiesto informes recientes (UNDESA, 2012; ONTSI, 2012a).

El portal facilita a usuarios externos e internos el acceso a recursos y servicios relacionados con diversas áreas de competencia. Al focalizar el interés en el usuario, y no tanto en la dimensión técnica, el portal permite analizar un punto de acceso privilegiado a la información, funciones y servicios que son relevantes para los intereses laborales o personales de un individuo (Jupp, 2001; Oh et al., 2005; Granić, Mitrović y Marangunić, 2011).

Por otra parte, análogamente al concepto de gobierno electrónico, el término e-salud o e-health presenta una enorme variedad interpretativa y extensa aplicabilidad a diferentes ámbitos (Black et. al., 2011). La comisión Europea (2010) define el término como el "conjunto de herramientas auxiliares basadas en las tecnologías de la información y la comunicación que se emplean en tareas de prevención, diagnóstico, tratamiento, seguimiento, así como en la gestión de la salud y del modo de vida". En la misma línea, la Organización Mundial de la Salud (OMS) relaciona la e-salud con "la rentabilidad y el uso seguro de las tecnologías de la información y la comunicación en apoyo a los diferentes ámbitos relacionados con la salud" (OMS Resolución WHA58.28).

Teniendo en cuenta que, por definición, el éxito de la implementación de una política pública reside en la activación de una actuación combinada, coordinada e interoperable de los múltiples organismos concernidos, el propósito de este trabajo es sugerir un método con el que analizar de forma integral la arquitectura de provisión de servicios y atención al ciudadano a través de portales web públicos en un ámbito sectorial descentralizado territorialmente, atendiendo a las prestaciones de accesibilidad, usabilidad, oferta informativa y de servicios, así como a los mecanismos de comunicación facilitados.

En estas páginas se amplían las aproximaciones precedentes que han tratado de forma inconexa los aspectos de back y front office en el entorno del e-gobierno (Badenoch y Tomlin, 2004; Andreassen, et al., 2007; Hesse y Shneiderman, 2007; Wilson, 2008) o se han limitado a inventariar comparativamente la gama de servicios provistos (ONTSI, 2010; OMS, 2010 y 2012a); la política de salud se sitúa en el centro del análisis.

El ámbito en el que se ha aplicado el método que se sugiere es el de las administraciones regionales españolas (comunidades autónomas), cuyos portales son sometidos a un examen que combina las técnicas de test de accesibilidad, test heurístico y experimento de e-usuario misterioso en dos niveles: uno, más tecnológico, que pone el foco en las prestaciones de accesibilidad y usabilidad, y otro, más operativo desde el punto de vista del e-gobierno, que valora la oferta de contenidos, el grado de profundidad de la tramitación no presencial de servicios básicos y la amplitud de los soportes de comunicación puestos a disposición del público, así como la calidad de la atención dispensada a través de ellos. como resultado, se obtiene una medida del avance de las prácticas de e-gobierno en una política que no sólo depende de la acción aislada de un provisor de servicios, sino de la capacidad interdependiente del sistema interadministrativo multinivel de satisfacer las demandas del ciudadano.

Tras esta introducción, la organización de este trabajo se desenvuelve con una exposición del método de investigación adoptado, en la que, además de esclarecer las principales dimensiones tratadas, se justifica la elección de las diversas técnicas aplicadas y se comenta su entronque con algunos destacados estudios precedentes. A continuación, se exponen y comentan los principales resultados logrados tras la aplicación de la propuesta al examen de los portales web que dan soporte en España a la política de salud ejecutada por las administraciones regionales.¹ Finalmente, se extraen conclusiones sobre el rendimiento del método empleado.

MÉTODO

Base conceptual

El método propuesto, inspirado en los estudios que durante los últimos veinte años se han hecho sobre usabilidad, toma como unidad de análisis la red de portales que una administración intermedia pone al servicio de una política sectorial, cuya eficiencia dependerá no sólo de las prestaciones que ofrezca dentro de su ámbito de competencia, sino también de su capacidad de interoperabilidad con otras administraciones del mismo nivel dentro del entramado de un sistema en el que una administración central opera como coordinadora.

La presente aportación proyecta su luz sobre los conceptos de accesibilidad, usabilidad, servicio electrónico, información y comunicación.

El objetivo de la producción documental sobre accesibilidad ha sido triple (Friedman y Bryen, 2007): proporcionar prescripciones de origen legal, elaborar y difundir estándares industriales e indagar sobre las causas y efectos de los fallos de accesibilidad. Sin embargo, como indican Kuzma, Yen y Oestreicher (2009), aun disponiendo de estándares y normativas, la accesibilidad completa a páginas web gubernamentales es todavía una rareza y la mayor parte de las páginas no cumplen algunos requisitos comunes.

La usabilidad, por su parte, puede interpretarse como la facilidad de interacción del usuario con el sitio web en relación con diversas propiedades (ubicuidad, diseño, eficiencia, funcionalidad y fiabilidad). La usabilidad es un atributo de calidad que evalúa la facilidad de uso de las interfaces de usuario. Por lo tanto, a través de su estudio se examina "la forma de diseñar sitios web para que los usuarios puedan interactuar con ellos de la forma más fácil, cómoda e intuitiva posible" (Hassan, 2002).

Las investigaciones sobre evaluación de la usabilidad llevadas a cabo durante la última década se han centrado en la auditoría de las prestaciones de los portales desde una perspectiva preocupada por el usuario (Sandoval-Almazán y Gil-García, 2012) y en la búsqueda de nuevos enfoques que susciten beneficios para los ciudadanos y una producción de bajo costo para los desarrolladores (Hvannberg, Law y Larusdottir, 2007). La literatura metodológica derivada de esta línea (usabilidad contextualizada, tests, evaluación e inspección de usuarios) ha resultado extraordinariamente prolífica y acentuadamente transdisciplinar (Marcos y cañada, 2003; Hasan y Abuelrub, 2011; Granić, Mitrović y Marangunić, 2011).

Un volumen bibliográfico de proporciones similares lo ha cosechado la investigación de la provisión de servicios (Layne y Lee, 2001; West, 2004; Reddick, 2005; Anthopoulos, Siozos y Tsoukalas, 2007; Schedler y Summermatter, 2007; Mills, Carter y Belanger, 2010), la gestión de información (Eschenfelder, 2004; Muñoz y Chaín, 2004) y la comunicación en el entorno de e-gobierno (Chang y Wang, 2008; Belanger y Carter, 2012), campos tradicionalmente abordados por los estudios de usabilidad.

En el contexto del e-gobierno, en línea con los trabajos desarrollados por Vassilakis, Lepouras y Halatsis (2007) y Wang y Liao (2008), el servicio electrónico puede definirse como el conjunto de prestaciones que son implementadas por una entidad a través de aplicaciones alojadas en sus respectivos sitios web con el fin de satisfacer necesidades de interés para los actores por ellas concernidos. A los efectos del método que a aquí se describe, la atención se centra en los servicios destinados a la ciudadanía.

La información, por su parte, se concibe como un conjunto de datos que la administración pone a disposición —abierta o restringida— de los usuarios, a través de una página web, y que atañen a la diversidad de actuaciones de interés público de su competencia (Leornard, 2003; Charvet-Berard, Chopard y Perneger, 2008).

Y, finalmente, la comunicación se entiende como una relación multidireccional, vía web, que facilita la participación activa de los usuarios en las políticas públicas por medio de fórmulas de cooperación (debate, reclamación, consulta, sugerencia) que posibilitan el alineamiento de la acción administrativa a las expectativas de la ciudadanía (Anthopoulos, Siozos y Tsoukalas, 2007; Osimo, 2008; Chang y Wang, 2008).

Si bien estas dimensiones han formado tradicionalmente parte de los análisis de usabilidad, en especial la accesibilidad (Hassan y Martín, 2003a), en convergencia con el enfoque del proyecto eGovernment Benchmark Measurement (comisión Europea, 2010) y con el fin de evitar la imprecisión y el déficit informativo derivado de la inclusión de la totalidad de las dimensiones en una única herramienta de análisis, en el presente trabajo se otorga a la usabilidad un carácter eminentemente técnico —en cuanto al cumplimiento de una serie de requisitos desde el punto de vista del diseño y navegación— y se examina individualmente el resto de las dimensiones acentuando su contribución al desarrollo del e-gobierno.

Desde la perspectiva expuesta, la propuesta de análisis de la funcionalidad de los portales gubernamentales sectoriales se basa en la utilización combinada de tres técnicas consolidadas en las comunidades científica y profesional: test de accesibilidad, text de experto y experimento de e-usuario misterioso.

Test de accesibilidad

Según lo comentado más arriba, el objetivo del análisis de la accesibilidad es comprobar si la página web examinada permite el acceso a todos los usuarios, independientemente de sus características diferenciadoras.

La mayor parte de la investigación que ha desvelado anomalías relacionadas con la accesibilidad se ha llevado a cabo a partir del empleo de aplicaciones automáticas como Cynthia Says^®, eXaminator^®, HERA^®, Truwex^®, Wave^® o WAT^®, basadas en la verificación de las Pautas de contenido accesible en web 1.0 (WAI, 1999) y 2.0 (WAI, 2008), normas ambas que constituyen la referencia fundamental en esta materia.

De las diversas aplicaciones disponibles, en este caso se opta por el test de accesibilidad web² (TAW^®), en su versión 3.08, que explora el grado de adaptación de las páginas examinadas a las Pautas 1.0.

Recopiladas las incidencias que revela TAW, a partir de una escala de cien puntos, se penaliza cada página examinada según el número de deficiencias graves (vulneración de aspectos de obligado cumplimiento) y moderadas (desajuste respecto a elementos de cumplimiento sugerido) detectadas de modo que la puntuación final refleje los obstáculos que para la accesibilidad presenta cada página analizada, con independencia de la vía de acceso al contenido.

Test de experto (test / examen heurístico)

Según se puede confirmar en la literatura (Gant y Gant, 2002; Donker-Kuijer, De Jong y Lentz, 2010), el test de experto es uno de los métodos empleados con más frecuencia para el análisis de las prestaciones de páginas web gubernamentales. En función de lo expresado en las directrices de reconocidos trabajos (Nielsen, 1994; Dumas y Redish, 1999; Kruk, 2000, Hassan y Martin, 2003b) que sugieren el modo de llevar a cabo un reconocimiento especializado de la página web, la verificación, en contraste con un patrón, de la disponibilidad y calidad de diversos dispositivos, así como la descripción de sus problemas potenciales, se propone una aplicación de la técnica a las dimensiones de usabilidad técnica, información, comunicación y servicio.

Respecto a la usabilidad técnica, el modelo de check-list (cuadro 1) para examen heurístico abarca cinco parámetros:

1. Buscabilidad: Se basa en la idea de que la página analizada debe resultar visible para el usuario, debe disponer de un entorno singularizado y gozar de las mejores posiciones en un motor de búsqueda.

2. Identidad: La página debe aportar suficiente información sobre la organización a la que pertenece.

3. Diseño-estilo: La interfaz del sitio debe ser amigable y atractiva para el usuario. Asimismo, la página debe mostrar una estructura informativa coherente, así como disponer de mecanismos que faciliten la discriminación de la información ofrecida según su importancia para el usuario.

4. Navegación: El sitio web debe facilitar el desplazamiento del usuario y su posibilidad de acceso a los contenidos dentro del sistema. El usuario debe poder desplazarse rápidamente, sin perderse, y debe disponer de unas herramientas de ayuda de calidad.

5. Seguridad: La página debe garantizar una experiencia de navegación lo más confidencial posible, la preservación, con todas las garantías legales, de los datos generados por la comunicación con el usuario, así como la protección de éste frente a un uso no autorizado de tales datos.

Por su parte, en relación con el examen de la información (cuadro 2), la práctica de test de experto valora la completud (la página web ofrece información comprehensiva de todos los elementos que se examinan), la estructura expositiva (coherencia temática, distribución y jerarquía de contenidos), la comprensibilidad (adaptación del contenido ofertado al perfil del destinatario) y la capacidad de actualización de contenidos en relación con cinco tipos de información orientada a los ciudadanos:

1. Institucional y del sistema: información sobre la organización, funcionamiento y actividades del administrador del área competencial.

]]> 2. Catálogo de servicios: información detallada sobre los diferentes servicios que se prestan on-line.

3. Programas: información sobre actividades desarrolladas en el marco de programas y campañas (difusión de nuevos servicios, campañas de inducción de cambios de comportamiento en el usuario relacionados con la racionalización del uso del servicio o la infusión de nuevos valores).

4. Otras entidades: información sobre otras organizaciones y administraciones que operan en la misma área competencial.

5. Repositorios documentales: información sobre servicios documentales.

En lo que concierne a la comunicación, el enfoque del test de experto parte de que la página o el portal, además de garantizar un vínculo fluido con quienes gestionan la web, debe proporcionar soportes para la comunicación, al menos a través del mismo canal que otros servicios proporcionados por la organización, así como con el entorno de ella (stakeholders). Se presta, por lo tanto, atención a la oferta de dispositivos que favorecen la comunicación multidireccional y, en especial, aquella realizada de forma sincrónica con el usuario. Para ello, el examen se edifica sobre tres parámetros, atención al usuario, consulta y debate, y sugerencias y reclamaciones (cuadro 3).

Finalmente, el análisis heurístico de la dimensión de servicio (cuadro 3) se fundamenta en la exploración de la disponibilidad y nivel de tramitación de servicios facilitadores de prestaciones genuinas del área competencial y servicios complementarios de tipo documental, respecto a una escala convencional de cuatro niveles que abarca desde la ausencia de oferta hasta una transacción completa que no requiere, en ninguna fase del proceso productivo del servicio, la presencia física del receptor.

La elección de los indicadores considerados en el protocolo de test de experto se basó en la literatura precedente tanto sobre usabilidad como sobre evaluación de calidad de servicios, información y comunicación del área competencial sobre la que se aplicó (véanse cuadros 1 (2) a 3).

Posteriormente, teniendo en cuenta la importancia de cada dispositivo desde la perspectiva de un servicio al usuario lo más completo posible en el marco de la tecnología actualmente disponible, se asignó un peso específico a los diversos parámetros y dimensiones empleados (accesibilidad, 15%; usabilidad técnica, 15%; información, 20%; comunicación, 20% y servicios, 30%). De hecho, cada uno de los indicadores es puntuado, según su disponibilidad y calidad, de acuerdo con una escala de conformidad particular y, adicionalmente, la puntuación agregada para cada parámetro se pondera según su peso en la dimensión correspondiente. Tal asignación, así como la previa selección de indicadores, se determinó mediante un proceso analítico jerárquico para ponderación exógena (OCDE-JRC, 2008), durante el cual se elevó una propuesta a un panel compuesto por ocho expertos académicos de reconocida trayectoria investigadora en prácticas de e-gobierno y otros tantos técnicos de la misma área con experiencia vinculada a dependencias de gobierno y administración y, en concreto, a la dirección de proyectos de incorporación de TIC al sector público.

Empleada para completar el examen de la dimensión de comunicación, esta técnica, ampliamente contrastada en la literatura (Voss, 2000; Leuenberger, Schegg y Murphy 2003; Matzler et al, 2005), se implementa por medio del diseño de escenarios en los que, a través de una identidad ficticia, se interactúa con los dispositivos de comunicación proporcionados por el sitio web para evaluar cualitativamente la capacidad de respuesta a las demandas de los usuarios del portal sectorial.

A través del dispositivo de contacto proporcionado por el portal, empleando identidades falsas, se requiere atención sobre cinco materias: información sobre un tema concreto del área sectorial, indicaciones sobre el procedimiento a seguir en un servicio incluido en el catálogo on-line, indicaciones sobre el procedimiento a seguir en un servicio off-line, información sobre el acceso a datos personales (que obran en poder de otra administración) relacionados con el área sectorial cuando el ciudadano ha trasladado su residencia a otro territorio (región) y formulación de una reclamación.

Los indicadores utilizados para medir la calidad de atención son el tiempo de respuesta, el formato de respuesta, la claridad de comunicación, la calidad de la información suministrada y el nivel de ajuste de la respuesta a la demanda del usuario.

Procedimiento

Para llevar a cabo el examen propuesto, se revisaron inicialmente todas las páginas web del área competencial gestionadas por las administraciones regionales. Igualmente, se examinaron los portales principales de las mismas administraciones, así como las webs de los departamentos responsables del área de salud en los gobiernos regionales. Como resultado, se obtuvo un mapa de localización de contenidos y servicios especializados en salud disponibles en webs oficiales de las diversas administraciones.

Dado que, según se comprobó, la información y la ubicación de los puntos virtuales de servicio mostraban diferencias significativas (distribución de contenidos, jerarquización de niveles acceso y de oferta informativa y de servicio) de unas administraciones a otras, se determinó tomar como unidad de análisis la red de páginas web vinculadas con el área sectorial (en este caso, salud) en cada administración regional, que, según se constató, presenta una arquitectura arquetípica con cuatro puntos de acceso para el usuario (diagrama 1).

El enfoque del análisis sobre la web regional sectorial (portales oficiales suministradores de información, comunicación y servicios especializados en el área) exige un trabajo más profundo que el reducido al examen de un único portal, pero asegura la supervisión completa de la estructura de e-gobierno relacionada con el área sectorial, y proporcionan una investigación más exhaustiva de los diversos generadores de información y servicios.

Obtenidos los datos proporcionados por el test de accesibilidad y el test de experto, el examen concluyó con la realización del experimento de e-usuario misterioso.

Tras las adaptaciones oportunas de las herramientas, en concreto las relativas al examen de servicios y contenidos informativos, en función de la experiencia llevada a cabo, estimamos que el procedimiento completo puede ser aplicado contando con un mínimo de dos analistas, en menos de cinco semanas (sin incluir la redacción de informes) sobre un total de diez portales. Las técnicas comportan costos de personal, equipamiento y financiación bajos (cuadro 4).

RESULTADOS

Se sintetizan a continuación los resultados de la aplicación de este método a los portales de las 17 administraciones regionales españolas en el área de salud.

Accesibilidad

Tras cinco años de la entrada en vigor de la normativa que obliga en España al ajuste a las WGAC 1.0, el examen a través del TAW revela el incumplimiento de las condiciones de accesibilidad en la mayor parte de las administraciones analizadas e infiere la existencia de cinco niveles de accesibilidad en función de las condiciones de diseño en que se encuentran los portales (cuadro 5).

Usabilidad

Con respecto a la usabilidad técnica, las prestaciones son, en general, adecuadas en las webs regionales, tal como refleja el cuadro 6. Los problemas detectados en lo que concierne a la "buscabilidad" están relacionados con la confusión que en algunos casos crea la diversidad de vías de ingreso y su posición poco destacada en motores de búsqueda. En lo que atañe a la "identidad", el estudio revela, prácticamente, la inexistencia de problemas. No obstante, las administraciones más deficitarias al respecto, muestran sus mayores debilidades en la desaparición del logo identificador en páginas secundarias o, incluso, en la ausencia de datos que familiaricen (etiqueta "acerca de") al usuario con la actividad de la entidad.

Acerca del "diseño", la puntuación media obtenida es aceptable. Los casos en los que la puntuación alcanzada es media o baja están relacionados con un escaso atractivo del portal, el empleo de etiquetas poco descriptivas, la oferta inexistente o defectuosa de catálogos de servicios on-line o la falta de dispositivos multimedia asociados.

En lo relativo a la "navegabilidad", los datos recabados muestran una adecuada oferta de dispositivos. Las puntuaciones más bajas están relacionadas con los dispositivos de elección de idioma, la ausencia o mal funcionamiento de motores de búsqueda propios o la imposibilidad de acceder de forma rápida a los contenidos más buscados.

Por último, los datos relacionados con la "seguridad" revelan, nuevamente, una situación aceptable, aunque cabe subrayar la inexistencia, en algunas de las administraciones analizadas, de mecanismos de interacción mediante certificado o documento de identidad electrónicos.

Oferta informativa

Respecto al parámetro "información institucional y del sistema", la media se sitúa en 21.16 puntos, y ocho administraciones se encuentran por debajo de ella. En la mayoría de los casos no se proporciona información de contacto, respuesta a preguntas frecuentes ni información sobre algunas prestaciones destacadas (servicio de urgencias). E, igualmente, los datos suministrados sobre el sistema de salud, la normativa o la atención sanitaria son escasos y remiten a otros sitios web.

Con respecto al catálogo de servicios, ninguna administración regional alcanza una puntuación solvente. Los servicios que proporcionan una información óptima sobre su funcionamiento son los relativos a la cita previa para atención primaria, expresión de voluntades por parte del paciente, expedición o gestión de tarjeta sanitaria y formulación de reclamaciones y sugerencias, mientras que la posibilidad de elegir centro de salud, información sobre receta electrónica de medicamentos y la gestión de la cita para pruebas o atención por parte de un especialista son objeto de explicación en un número reducido de administraciones.

El tipo de información que mejores resultados arroja es el relacionado con los programas de salud. Todas las administraciones, excepto dos, proporcionan detalles sobre las acciones orientadas a mejorar las condiciones de salud de la población. En líneas generales, la información es completa, comprensible y con una estructura expositiva bien organizada.

En cuanto a la información sobre otras entidades prestadoras de servicios o de información, únicamente en cinco casos se aportan datos completos y bien estructurados sobre asociaciones y colegios profesionales así como de organismos públicos. Sorprende, en este sentido, que seis administraciones no permitan acceder desde sus sitios web a otros servicios de salud del territorio estatal, máxime cuando la función de estos portales es proveer al usuario de una ventana única al sistema.

Por último, la mayoría de los portales ofrecen información aceptable sobre repositorios documentales. Los contenidos se alojan en bibliotecas o centros de documentación con una amplia variedad de recursos bibliográficos, generalmente organizados por temas o perfiles.

COMUNICACIÓN

Se constata un déficit de prestaciones ligadas a los mecanismos de comunicación (cuadro 8). Sólo los medios que permiten la formulación de sugerencias y reclamaciones alcanzan una presencia aceptable; los restantes, tanto los dispositivos de atención a los usuarios como, en especial, los relacionados con la consulta y debate, ofrecen resultados paupérrimos.

En particular, en lo que atañe a las prestaciones ligadas a los dispositivos de atención al usuario, resulta sorprendente comprobar que todavía el buzón virtual no ha comenzado a generalizarse y a convertirse en la principal vía de contacto con la administración. Asimismo, resulta frecuente detectar mecanismos para la formulación de reclamaciones.

Sin embargo, existen aspectos más decepcionantes: la indicación y disponibilidad de un buzón de contacto sólo se encuentra en la mitad de las webs regionales; tanto el asistente virtual como el gestor propio de correo son prácticamente inexistentes; los mecanismos de participación se reducen a foros centralizados para toda la administración y la presencia en redes sociales y la atención a la ciudadanía a través de ellas es, en la mayoría de los casos, nula o muy deficiente.

Estos magros resultados son corroborados por el experimento de e-usuario misterioso: únicamente diez administraciones respondieron a alguna de las consultas formuladas.

La solicitud que más respuestas generó fue el procedimiento de cita médica on-line, seguida de las peticiones de información sobre un tema concreto de salud y el procedimiento de servicio off-line. A la petición de acceso a datos personales (de exigible transferencia entre administraciones) y a la formulación de una sugerencia solamente se respondió en cinco casos.

En cuanto a los resultados de cada requerimiento según los indicadores de calidad, si bien el nivel de respuesta es bajo, los datos indican que cuando la administración se comunica con el usuario la atención dispensada es relativamente buena, alcanzando un nivel de calidad medio-alto (7.6 sobre 10).

Servicios on-line

Los resultados del test heurístico muestran que existe un número reducido de servicios ofertados bajo un formato totalmente on-line (cuadro 9).

El bajo promedio que obtienen las administraciones examinadas se debe a que no todas ofertan la gama completa de servicios básicos considerada, excepto la solicitud de la tarjeta sanitaria. Por otra parte, hay servicios prácticamente inexistentes: los resultados de pruebas médicas no se dispensan en ninguna administración a través de la web, mientras que la certificación médica, el acceso a la historia clínica electrónica y al registro de voluntades del paciente, así como la consulta de listas de espera únicamente pueden encontrarse en muy pocos casos.

CONCLUSIONES

En este artículo se ha sugerido un método predominantemente cualitativo para analizar de forma integral la arquitectura de provisión de servicios y atención al ciudadano de los portales web sectoriales en el contexto de la implementación intergubernamental de una política pública.

El método propuesto ha sido aplicado a los portales de las administraciones regionales españolas cuyos contenidos están especializados en salud, materia que ha configurado una de las arenas más prolíficas del e-gobierno.

Los portales web públicos especializados en salud han posibilitado una mayor conectividad entre usuarios, profesionales y gestores suscitando simultáneamente una participación activa en la generación de contenidos y en la búsqueda de sistemas de mejora de la gestión y la toma de decisiones. La producción científica resultante revela la centralidad de los portales web desde la perspectiva de la medición del nivel de desarrollo de los sistemas nacionales de salud (Czaja, Sharit y Nair, 2008), pero también del benchmarking con otras áreas de desarrollo del gobierno electrónico (OMS, 2010 y 2011; Comisión Europea, 2010; CapGemini, 2010a y 2010b).

La aportación de la que se ha dado cuenta en estas páginas se ha inspirado en los estudios sobre usabilidad realizados durante las últimas décadas, algunas de cuyas contribuciones (Dumas y Redish, 1999; Gant y Gant, 2002; Nielsen, 2003; Donker-Kuijer, De Jong y Lentz, 2010; Fernández, Insfran y Abrahâo, 2011; Health on the Net, 2011) han auxiliado el diseño de los instrumentos empleados (test de accesibilidad, test de experto y experimento de e-usuaro misterioso) y, en concreto, la delimitación de las dimensiones (accesibilidad, usabilidad técnica, información, servicios y comunicación) y la significación de los indicadores incorporados.

Con arreglo a las directrices seguidas por estudios transnacionales recientes (Comisión Europea, 2010), a diferencia de la vía adoptada por buena parte de los estudios precedentes (Nielsen, 2003; Hassan y Martín, 2003a), el método planteado ha tratado independientemente cada dimensión, sometiendo su examen al empleo aislado o combinado de las técnicas elegidas.

Asimismo, desde el punto de vista de la unidad de análisis, frente a las aproximaciones seguidas por otros estudios, especialmente los relacionados con la evolución del e-readiness en perspectiva comparada (UNDESA, 2012) o la adoptada por los análogos en el ámbito de la e-salud (Bermúdez-Tamayo et al., 2006; OMS, 2011), el método propuesto no se ha limitado al escrutinio exclusivo de los recursos contenidos en un portal único que la administración correspondiente ofrece como repositorio referente de información y vía de acceso a los principales servicios sectoriales, sino que ha tomado en consideración la totalidad de los sitios web oficiales (gobierno, departamentos/secretarías, agencias/organismos autónomos) que desde un mismo nivel administrativo proveen información y servicios sobre la materia gestionada. La amplitud lograda, en coherencia con el concepto mismo de portal (Sandoval-Almazán y Gil-García, 2012), se ajusta de forma más natural, no sólo al modo en que se articula el sistema de roles en la implementación de una política y, por lo tanto, se distribuyen determinados contenidos entre diversas páginas web oficiales, sino a la arquitectura arquetípica a la que se enfrentan los ciudadanos a la hora de obtener información y, en especial, acceso a determinados servicios.

En lo que atañe a los resultados obtenidos tras su aplicación en el ámbito de la salud gestionada por las administraciones regionales españolas, el análisis ha desvelado la existencia de una estructura heterogénea de disposición de información y servicios electrónicos vía web caracterizada por el alcance de una discreta calidad tanto en la funcionalidad —inferior a su capacidad tecnológica— como en sus prestaciones —de oferta asimétrica desde el punto de vista comparado y de limitada capacidad de transacción.

Por otra parte, el estudio de la accesibilidad por medio del Test TAW^® 3.08 ha puesto de manifiesto que la mencionada heterogeneidad de acceso no garantiza una efectiva accesibilidad de los usuarios, incumpliendo la mayor parte de las administraciones las pautas WGAC 1.0, tal como Kuzma, Yen y Oestreicher (2009) observan que sucede todavía en el mundo. Un problema que se agrava, como demuestran los datos, por la escasa visibilidad en motores de búsqueda de los portales y páginas que alojan información y servicios públicos sectoriales, no obstante es la única deficiencia reseñable relacionada con unas prestaciones de usabilidad técnica (diseño, navegabilidad y seguridad) razonablemente aceptables.

La oferta informativa es moderadamente positiva en términos de completud, estructura expositiva, comprensibilidad, actualización de contenidos y ubicación de la información, pero, en particular, deficiente en la dotación de contenidos sobre la organización general del sistema de salud, catálogo de servicios y datos relativos a otros actores de relieve en la política de salud.

Finalmente, los datos recabados sobre comunicación y servicios han desvelado una oferta muy pobre: en lo que atañe a los primeros, especialmente deficiente en lo relativo a los dispositivos de atención a los usuarios; respecto a los segundos, de gama limitada y de escaso nivel de tramitación en general, a excepción de los servicios de petición de cita médica y gestión de la tarjeta personal de acceso al sistema.

El estudio realizado deja claro el potencial informativo resultante de la aplicación del método sugerido teniendo en cuenta el volumen de datos que los indicadores manejados ofrecen sobre los aspectos técnicos de la arquitectura de accesibilidad y usabilidad, la calidad y estructura de la información ofrecida, los mecanismos de comunicación desplegados y el grado de desarrollo y adaptación al usuario de los servicios electrónicos en un entorno de e-gobierno.

En general, teniendo en cuenta la diversidad de servicios proporcionados y el tipo de información ofrecida, los hallazgos coinciden con las tendencias que sobre el desarrollo del e-gobierno en salud han puesto de relieve algunos estudios de referencia sobre el mismo ámbito de estudio (ONTSI, 2012a), e incluso por aquellos realizados desde la perspectiva del uso de servicios de salud por parte de la ciudadanía (ONTSI, 2012b). Sin embargo, el nivel de análisis alcanzado ha revelado deficiencias imperceptibles por otros procedimientos y ha contribuido a matizar la realidad descrita por esas mismas fuentes (OMS, 2011), difiriendo radicalmente del optimismo que éstas reflejan en cuanto al grado de desarrollo de los dispositivos. A diferencia de otros estudios de usabilidad, el método propuesto no se limita a hacer un inventario y obtener un comparativo del grado de oferta de contenidos informativos y servicios, sino que profundiza en su rendimiento y calidad. Asimismo, al comprender la totalidad de la estructura de portales y páginas web puestos a disposición del usuario por parte de una administración en un área sectorial concreta, se logra una medición de todas las dimensiones abarcadas más precisa que la alcanzada en otros estudios (ONTSI, 2012a) y, en especial, los basados en la autogestión de cuestionarios (OMS, 2011).

Consideramos, en suma, que el método propuesto refuerza el análisis planteado desde la perspectiva del usuario y puede servir de inspiración para otras aplicaciones sectoriales y de soporte para ulteriores estudios más profundos centrados en la experiencia del usuario y en la medición de su satisfacción.

Anexo

REFERENCIAS BIBLIOGRÁFICAS

Andreassen, H.K., M.M. Bujnowska-Fedak, C.E. Chronaki et al. (2007), "European Citizens' Use of E-health Services: A Study of Seven Countries", BMC Public Health, 7, pp. 53.         [ Links ]

Anthopoulos, L.G., P. Siozos e I.A. Tsoukalas (2007), "Applying Participatory Design and Collaboration in Digital Public Services for Discovering and Re-designing E-government Services", Government Information Quarterly, 24, pp. 353-376.         [ Links ]

Badenoch, D. y A. Tomlin (2004), "How Electronic Communication is Changing Health Care: Usability is Main Barrier to Effective Electronic Information Systems", BMJ, 328, p. 1564.         [ Links ]

Belanger, F. y L. Carter (2012), "Digitizing Government Interactions with Constituents: An Historical Review of E-government Research in Information Systems", Journal of the Association for information Systems, 13 (5), artículo 1.         [ Links ]

Berland, G., M.N. Elliott, L.S. Morales et al. (2001), "Health Information on the Internet: Accessibility, Quality and Readability in English and Spanish", JAMA, 20 (285), pp. 2612-2621.         [ Links ]

Bermúdez-Tamayo, C., J. Jiménez-Pernett, J.F. García Gutiérrez et al. (2006), "Cuestionario para evaluar sitios web sanitarios según criterios europeos", Atención Primaria, 5 (38), pp. 268-274.         [ Links ]

Bernstman, E.V., D.M. Shelton, M. Walji y F. Meric-Bernstam (2005), "Instruments to Assess the Quality of Health Information on the World Wide Web: What Can our Patients Actually Use?", International Journal of Medical Informatics, 74, pp. 13-19.         [ Links ]

Bertot, J.C. y P.T. Jaeger (2008), "The E-government Paradox: Better Customer Service doesn't Necessarily Cost Less", Government Information Quarterly, 25 (2), pp. 149-154.         [ Links ]

Black, A.D., J. Car, C. Pagliari et al. (2011), "The Impact of E-health on the Quality and Safety of Health Care: A Systematic Overview", PLoS Medicine, 8 (1).         [ Links ]

CapGemini (2010a), Estudio sobre mejores prácticas en gobierno electrónico en Europa, disponible en: http://administracionelectronica.gob.es/?_nfpb=true&_pageLabel=P4000382301321438526766&langPae=es [fecha de consulta: 16 de noviembre de 2012]         [ Links ].

----------(2010b), Estudio sobre planes y políticas en gobierno electrónico en Europa, disponible en: http://administracionelectronica.gob.es/?_nfpb=true&_pageLabel=P4000382301321438526766&langPae=es [fecha de consulta: 16 de noviembre de 2012]         [ Links ].

Chang, H.H. e I.C. Wang (2008), "An Investigation of User Communication Behaviour in Computer Mediated Environments", Computers in Human Behavior, 24, pp. 2336-2356        [ Links ]

Charvet-Berard, A.I, P. Chopard y T.V. Perneger (2008), "Measuring Quality of Patient Information Documents with an Expanded EQIP Scale", Patient Education and Counseling, 70, pp. 407-411.         [ Links ]

Comisión Europea (Directorate General for Information Society and Media) (2010), Smarter, Faster, Better E-government, en 8^th E-government Benchmark Measurement, disponible en: http://ec.europa.eu/information_society/eeurope/i2010/docs/benchmarking/egov_benchmark_2009.pdf [fecha de consulta: 2 de julio de 2011]         [ Links ].

Czaja, S.J., J. Sharit y S.N. Nair (2008), "Usability ofthe Medicare Health Web Site", Journal of the American Medical Association, 300 (7), pp. 790-792.         [ Links ]

Donker-Kuijer, M.W., M. de Jong y L. Lentz (2010), "Usable Guidelines for Usable Websites? An Analysis of Five E-government Heuritics", Government information Quarterly, 27(3), pp. 254-263.         [ Links ]

Dumas, J. y J.C. Redish (1999), Practical Guide to Usability Testing, Exeter, Intellect Books.         [ Links ]

Eschenfelder, K. (2004), "Behind the Web Site: An Inside Look at the Production of Web-based Textual Government Information", Government information Quarterly, 21, pp. 337-358.         [ Links ]

Eysenbach, G. y C. Kohler (2002), "How do Consumers Search for and Appraise Health Information on the World Wide Web? Qualitative Study Using Focus Groups, Usability Tests, and In-depth Interviews", BJM, 324 (9), pp. 573-577.         [ Links ]

Fernández, A., E. Insfran y S. Abrahâo (2011), "Usability Evaluation Methods for the Web: A Systematic Mapping Study", Information and Software Technology, 53 (8), pp. 789-817.         [ Links ]

Fountain, J.E. (2001), Building the Virtual State: information Technology and institutional Change, Washington, D.C., Brookings Institution Press.         [ Links ]

Friedman, M. y D. Bryen (2007), "Web Accessibility Design Recommendations for People with Cognitive Disabilities", Technology & Disability, 19 (4), pp. 205-212.         [ Links ]

Gant, J.P. y D.B. Gant (2002), "Web Portal Functionality and State Government E-service", Proceedings of the 35th Hawaii International Conference on System Sciences, IEEE.         [ Links ]

Granić, A., I. Mitrovic y N. Marangunic (2011), "Exploring the Usability of Web Portals: A Croatian Case Study", International Journal of information Management, 31, pp. 339-349.         [ Links ]

Griffith, M., K. Wilding y ncvo Third Sector Foresight (2008), ICT Foresight Report: How ict is Shaping the Future Design and Delivery of Public Services, Londres, NCVO/The ICT Hub, disponible en: http://ec.europa.eu/digital-agenda/futurium/sites/futurium/files/futurium/library/Griffith,%20Wilding%20-%202008%20-%20ICT%20Foresight.%20How%20ICT%20is%20shaping%20the%20future%20design%20and%20delivery%20of%20public%20services(3).pdf [fecha de consulta: 3 de diciembre de 2013]         [ Links ].

Hasan, L. y E. Abuelrub (2011), "Assessing the Quality of Web Sites", Applied Computing and informatics, 9, pp. 11-29.         [ Links ]

Hassan, Y. (2002), "Introducción a la usabilidad", No sólo usabilidad, 1, disponible en: http://www.nosolousabilidad.com/articulos/introduccion_usabilidad.htm [fecha de consulta: 2 de julio de 2011]         [ Links ].

Hassan, Y. y F.J. Martín (2003a), "Qué es la accesibilidad Web". No sólo usabilidad, 2, disponible en: http://www.nosolousabilidad.com/articulos/accesibilidad.htm [fecha de consulta: 2 de julio de 2011]         [ Links ].

---------- (2003b), "Guía de evaluación heurística de sitios Web". No sólo usabilidad, 2, disponible en: http://www.nosolousabilidad.com/articulos/heuristica.htm [fecha de consulta: 2 de julio de 2011]         [ Links ].

Health on the Net (2011), HONcode Site Evaluation Form, disponible en: http://www.hon.ch/cgi-bin/HONcode/Inscription/site_evaluation.pl?language=en&userCategory=individuals [fecha de consulta: 2 de julio de 2011]         [ Links ].

Hesse, B.W. y B. Shneiderman (2007), "E-health Research from the User's Perspective", American Journal of Preventive Medicine, 32, pp. S97-S103.         [ Links ]

Hui, G. y M.R. Hayllar (2010), "Creating Public Value in E-government: A Public-Private-Citizen Collaboration Framework in Web 2.0", Australian Journal of Public Administration, 69 (S1) pp. S120-S131.         [ Links ]

Hvannberg, E., E. Law y M. Larusdottir (2007), "Heuristic Evaluation: Comparing Ways of Finding and Reporting Usability Problems", Interacting with Computers, 19 (2), pp. 225-240.         [ Links ]

Jupp, V (2001), "Government Portals, the Next Generation of Government On-line", Proceedings of the European Conference on E-gov, pp. 217-223.         [ Links ]

Klijn, E., J. Edelebons y B. Steijn (2010), "Trust in Governance Networks: Its Impact and Outcomes", Administration and Society, 42 (2), pp. 193-221.         [ Links ]

Kruk, S. (2000), Dont Make me Think! A Common Sense Approach to Web Usability, Indianapolis, Que Coorp. [Ed. en español: (2001), No me hagas pensar: una aproximación a la usabilidad en la web, Madrid, Pearson.         [ Links ]]

Kuzma, J., D. Yen y K. Oestreicher (2009), "Global E-government Web Accessibility: An Empirical Examination of EU, Asian and African Sites", en M. Jemni (ed.), Second international Conference on information and Communication Technologies and Accessibility, Hammamet, Tunez.         [ Links ]

Layne, K. y J. Lee (2001), "Developing Fully Functional E-government: A Four Stage Model", Government information Quarterly, 18, pp. 122-136.         [ Links ]

Leuenberger, R., R. Schegg y J. Murphy (2003), "E-mail Customer Service by Upscale International Hotels", en A.J. Frew, M. Hitz y P. O'Connor (eds.), Information and Communication Technologies in Tourism, Nueva York, Springer.         [ Links ]

Luna-Reyes, L.F., J.M. Hernández García y R. Gil-García (2009), "Hacia un modelo de los determinantes de éxito de los portales de gobierno estatal en México", Gestión y Política Pública, XVIII (2), pp. 307-340.         [ Links ]

Marcos, M.C. y J. Cañada (2003), "Cómo medir la usabilidad: Técnicas y métodos para evaluar el uso de sitios web", en C. Rovira y L. Codina (dirs.), Documentación Digital, Barcelona, Universitat Pompeu Fabra.         [ Links ]

Marcus, E. y R. Fabius (2004), "What is E-health?", disponible en: http://www.acpenet.org/Forums/Topical/Ehealth/Primer.htm [fecha de consulta: 24 de julio de 2012]         [ Links ].

Matzler, K., H. Pechlaner, D. Abfalter y M. Wolf (2005), "Determinants of Response to Customer E-mail Enquiries to Hotels: Evidence from Austria", Tourism Management, 26, pp. 249-259.         [ Links ]

Mills, A., L. Carter y F. Belanger (2010), "Conceptualizing Public Service Value in E-government Services", AMCIS 2010 Proceedings, documento 346.         [ Links ]

Muñoz Cañavate, A. y C. Chaín Navarro (2004), "The World Wide Web as an Information System in Spain's Regional Administrations (19972000)", Government Information Quarterly, 2 (2), pp. 199-218.         [ Links ]

Nielsen, J. (2003), "Usability 101: Introduction to Usability", disponible en: http://www.useit.com/alertbox/20030825.html [fecha de consulta: 2 de julio de 2011]         [ Links ].

---------- (1994), "Heuristic Evaluation", en J. Nielsen y R.L. Mack (eds.), Usability inspection Methods, Nueva York, John Wiley & Sons.         [ Links ]

OCDE (2009), Rethinking E-government Services: User-centered Approaches, París, OCDE E-government Studies, disponible en: http://www.oecd.org/gov/publicsectorinnovationande-government/rethinkinge-govern-mentservicesuser-centredapproaches.htm [fecha de consulta: 15 de noviembre de 2012]         [ Links ].

--------- (2005), E-government for Better Government, París, OECD E-government Studies.         [ Links ]

OCDE-JRC (2008), Handbook on Constructing Composite indicators. Methodology and User Guide, París, OCDE, disponible en: http://www.oecd.org/dataoecd/37/42/42495745.pdf [fecha de consulta: 16 de septiembre de 2009]         [ Links ].

Oh, H., C. Rizo, M. Enkin y A. Jadad (2005), "What Is E-health (3): A Systematic Review of Published Definitions", Journal of Medical internet Research, 7 (1), e1.         [ Links ]

Organización Mundial de la Salud (OMS) (2011), WHO Global Observatory for E-health. New Horizons for Health through Mobile Technologies, Ginebra, OMS.         [ Links ]

--------- (2010), Telemedicine: Opportunities and Developments in Member States, Ginebra, OMS.         [ Links ]

---------(2005), 58 Asamblea de la Organización Mundial de la Salud. Resoluciones y decisiones. Anexos, Ginebra, 16-25 de mayo de 2005, disponible en: http://apps.who.int/gb/ebwha/pdf_files/WHA58-REC1/A58_2005_REC1-sp.pdf [fecha de consulta: 24 de julio de 2012]         [ Links ].

ONTSI (2010), Las TIC en el Sistema Nacional de Salud: El programa Sanidad en línea, Madrid, Ministerio de Industria, Energía y Turismo, disponible en: http://www.ontsi.red.es/ontsi/es/estudios-informes/las-tic-en-el-sistema-nacional-de-salud-ed-2010 [fecha de consulta: 24 de julio de 2012]         [ Links ].

--------- (2012a), La sociedad en red: informe anual 2011, Madrid, Ministerio de Industria, Energía y Turismo, disponible en: http://www.ontsi.red.es/ontsi/sites/default/files/la_sociedad_en_red_2011_ed2012.pdf [fecha de consulta: 15 de noviembre de 2012]         [ Links ].

--------- (2012b), Los ciudadanos ante la E-sanidad: Estudio sobre opiniones y expectativas de los ciudadanos sobre el uso y aplicación de las TIC en el ámbito sanitario, Madrid, Ministerio de Industria, Energía y Turismo, disponible en: http://www.ontsi.red.es/ontsi/sites/default/files/informe_ciudadanos_esanidad.pdf [fecha de consulta: 15 de noviembre de 2012]         [ Links ].

Osimo, D. (2008), Web 2.0 in Government: Why and How?, European Commission, Joint Research Centre, Institute for Prospective Technological Studies, disponible en: http://ipts.jrc.ec.europa.eu/publications/pub.cfm?id=1565 [fecha de consulta: 15 de noviembre de 2012]         [ Links ].

Reddick, C.G. (2005), "Citizen Interaction with E-government: From the Streets to Servers?", Government information Quarterly, 22 (1), pp. 38-57.         [ Links ]

Sandoval-Almazán, R. y J.R. Gil-García (2012), "Are Government Internet Portals Evolving Towards More Interaction, Participation, and Collaboration? Revisiting the Rhetoric of E-government Among Municipalities", Government information Quarterly, 29 (1), pp. 72-81.         [ Links ]

Schedler, K. y L. Summermatter (2007), "Customer Orientation in Electronic Government: Motives and Effects", Government information Quarterly, 24 (2), pp. 291-311.         [ Links ]

Soares, D. y L. Amaral (2010), "Information Systems Interoperability in Public Administration: Identifying the Major Acting Forces through a Delphi Study", Journal of Theoretical and Applied Electronic Commerce Research, 6 (1) abril, pp. 61-94.         [ Links ]

UNDESA (2012), United Nations E-government Survey 2012: E-government for the People, Nueva York, Naciones Unidas, disponible en: http://unpan1.un.org/intradoc/groups/public/documents/un/unpan048065.pdf [fecha de consulta: 3 de mayo de 2012]         [ Links ].

Userfocus (2010), Usability Test Plan Toolkit, disponible en: http://www.userfocus.co.uk/articles/testplan.html [fecha de consulta: 1 de marzo de 2011]         [ Links ].

Vassilakis, C., G. Lepouras y C. Halatsis (2007), "A Knowledge-based Approach for Developing Multi-channel E-government Services", Electronic Commerce Research and Applications, 6 (1), pp. 113-124.         [ Links ]

Voss, C. (2000), "Developing an E-service Strategy", Business Strategy Review, 11(1), pp. 21-33.         [ Links ]

WAI (1999), Web Content Accessibility Guidelines (WCAG) 1.0, disponible en: http://www.w3.org/TR/1999/WAI-WEBCONTENT-19990505 [fecha de consulta: 1 de diciembre de 2012]         [ Links ].

--------- (2008), Web Content Accessibility Guidelines (WCAG) 2.0, disponible en: http://www.w3.org/TR/2008/REC-WCAG20-20081211/ [fecha de consulta: 1 de diciembre de 2012]         [ Links ].

Wang, Y.S. y Y.W. Liao (2008), "Assessing E-government Systems Success: A Validation of the DeLone and McLean Model of Information Systems Success", Government information Quarterly, 25, pp. 717-733.         [ Links ]

West, D.M. (2004), "E-government and the Transformation of Service Delivery and Citizen Attitudes", Public Administration Review, 64 (1), pp. 15-27.         [ Links ]

Wilson, E.V. (ed.) (2008), Patient-Centered E-health, Hershey, IGI Publishing.         [ Links ]

Notas

¹ Este estudio se ha realizado en el marco del proyecto de investigación "Barreras al gobierno electrónico. El empleo de las TIC en la política sanitaria autonómica. Un enfoque desde las relaciones intergubernamentales", patrocinado por el Ministerio de ciencia e innovación (España) (CSO2009-09169).

² http://www.tawdis.net [consultado el 12 de julio de 2012].