1.1. El Servicio Copernicus EMS

El Servicio de Gestión de Emergencias de Copernicus, es un programa de la Unión Europea de financiación pública, coordinado por la Comisión Europea que “provee de información geoespacial precisa y oportuna a todos los actores involucrados en la gestión de emergencias, en desastres bien sean naturales o producidos por el hombre, o en crisis humanitarias” (^{Coopernicus EMS, 2017a}). El servicio consta de los componentes de Alerta temprana y Monitoreo y de Mapeo.

El componente de alerta temprana y monitoreo incluye tres sistemas: Sistema Europeo de Alerta ante Inundaciones (European Flood Awareness System, EFAS), Sistema Europeo de Información de Incendios Forestales (European Forest Fire Information System, EFFIS) y Observatorio Europeo de la Sequía (European Drought Observatory, EDO), que proporcionan información de predicción y monitorización de inundaciones, incendios forestales, sequías y sus impactos ecológicos respectivamente, en Europa, Oriente Medio y Norte de África. De los tres, EFAS es el único con acceso restringido, mientras que los demás disponen de visores desde los cuales es posible consultar y descargar información (^{Copenicus EMS, 2017b}). Los tres se extienden a escala global: Sistema Global de Alerta ante Inundaciones (Global Flood Awareness System, GloFAS), Sistema Global de Información de Incendios Forestales (Global Wildfire Information System, GWIS), y Observatorio Global de la Sequía (Global Drought Observatory, GDO).

El componente de mapeo proporciona información geoespacial en dos modos temporales: de Mapeo Rápido (RM, del inglés Rapid Mapping) en el rango de las horas o días tras la activación en apoyo de las actividades de gestión de emergencias inmediatamente después de un desastre, y de Mapeo de Riesgos y Recuperación (RRM del inglés, Risk and Recovery Mapping) en apoyo de actividades de gestión de desastres no relacionadas con la respuesta inmediata. Cada petición formulada por los Usuarios Autorizados es estudiada por el Centro de Coordinación de Respuesta a Emergencias (ERCC, del inglés Emergency Response Coordination Centre) y si es aprobada resulta en una activación. En el marco de ésta, se adquieren principalmente imágenes de satélite y se crea para las Áreas de Interés (AOI, del inglés Area of Interest) definidas por los usuarios la información de crisis, que puede ser de diferente naturaleza, tales como categorización de daños a edificios, delimitación de inundación, o delimitación de zona quemada, etc. El componente de mapeo incluye también un módulo de validación, Copernicus EMS Validation Service o Copernicus EMSV que, en el marco de la mejora continua del servicio, valida productos, investiga datos y métodos que se podrían usar en la creación de productos y recopila las opiniones de los usuarios para detectar puntos de mejora (^{Copernicus EMS, 2018}).

El componente de mapeo de Copernicus EMS se activa bajo demanda de un Usuario Autorizado incluido en una de las siguientes categorías: (I) Puntos de Enlace Nacionales (del inglés National Focal Points), que son las autoridades de Protección Civil de los Estados Miembros; (II) Servicios de la Unión Europea como la Dirección General de Protección Civil y Ayuda Humanitaria (DG ECHO, del inglés Directorate General for European Civil Protection and Humanitarian Aid Operations) o la Dirección General de Industria de Defensa y Espacio (DEFIS, del inglés Directorate General for Defence Industry and Space); y (III) El Servicio Europeo para la Acción Externa (EEAS, del inglés European External Action Service). En la DG ECHO, el ERCC actúa como punto de enlace de otras entidades, por ejemplo, de agencias de las Naciones Unidas, ONGs internacionales, y el Banco Mundial, para solicitar activaciones de Copernicus EMS en su nombre.

Finalmente, merece la pena resaltar que existen sistemas alternativos a Copernicus EMS que generan mapas de crisis para la ayuda en la gestión de emergencias, como International Charter Space and Major Disasters, United Nations Platform for Space-based Information for Disaster Management and Emergency Response, Sentinel Asia, SERVIR (^{Boccardo, 2013}), German Center for satellite-based crisis Information, etc. (^{Cotrufo et al., 2018}).

1.2. Los productos de clasificación de daños dentro de Copernicus EMS

Dentro del portafolio de productos RM y RRM, los productos de clasificación de daños, conocidos como Grading Maps, tienen como objetivo evaluar la intensidad y distribución espacial del daño resultante de un evento en edificios, bloques de viviendas o usos del suelo. Pueden basarse, entre otros, en la fotointerpretación de imágenes o en la implementación de umbrales de índices de vegetación en el caso de las categorías de clasificación de incendios. El método más habitualmente usado para asignar categorías de daños a edificios o a manzanas de edificios se basa en la fotointerpretación de imágenes tanto aéreas como satelitales de muy alta resolución (VHR, del inglés Very High Resolution). Para el caso analizado en este artículo, las categorías de daños se han basado en la Escala Macrosísmica Europea-1998 (EMS-98) (^{Grünthal & Lorenzo Martín, 2009}) que describe la escala de daños para edificios tras un terremoto. Esta escala se basa en el análisis general in situ de los edificios, teniendo en cuenta los daños a la estructura, tejado y fachada, y partiendo de una información sobre el estado del edificio previo al evento. Las Figuras 1a y 1b muestran las diferentes categorías de daños considerados por la EMS-98 junto con una descripción gráfica de los mismos.

Fuente: Grünthal & Lorenzo Martín, 2009

Figura 1 1a. Categorías y descripción de daños en edificios de mampostería según la EMS-98. 1b. Categorías y descripción de daños en edificios de hormigón armado según la EMS-98. 

A pesar de que los productos Copernicus EMS no tienen como objetivo dar una asignación de daños basada en trabajo de campo, las categorías descritas en la EMS-98 fueron adaptadas e incluidas en el Manual de Usuarios de Productos (PUM, del inglés Product User Manual) (^{Dorati et al., 2018}) como una primera aproximación para la asignación de daños, estableciendo las categorías incluidas en la Tabla 1.

El servicio Copernicus EMS introdujo una categoría no contemplada, Posibles daños, para incluir en ella aquellos casos en los que las limitaciones de la fotointerpretación de las imágenes de satélite (fuente habitual de los productos de clasificación de daño) no permitieran asignar una categoría de daño con un alto nivel de confianza.

A estas categorías, dicho servicio añade la categoría No analizado para aquellos edificios a los que no se les puede asignar daño porque las características de la imagen usada no lo permitan, bien sea debido a la cobertura nubosa, bien a ángulos de adquisición muy altos.

Corbane et al. (^2011a y ^2011b), ^{Lemoine et al. (2013)}, y ^{Cotrufo et al. (2018)} son ejemplos de trabajos que analizan evaluaciones de daños a edificios basadas en análisis de imágenes post-evento utilizando datos de referencia de múltiples fuentes.

El trabajo que se presenta en este artículo muestra la función múltiple de Copernicus EMSV: validación y mejora continua de Copernicus EMS. El artículo muestra los resultados de la validación de cuatro mapas de daños en edificios realizados por RM Copernicus EMS por un lado, y el análisis de la implementación de la EMS-98 en la creación de productos de clasificación de daños, así como la influencia de la fuente de datos en la asignación de daños a edificios por el otro. Para ello, se analizaron diferentes fuentes de datos disponibles para discriminar por fotointerpretación las diferentes categorías de daño con el objetivo de analizar las posibilidades que cada una de las fuentes de datos ofrece para crear clasificaciones de daños, tal y como estaban definidas en el portafolio de productos de Copernicus EMS (Tabla 1).

Por último, y con el objetivo de analizar la subjetividad en la fotointerpretación de las categorías intermedias de daño, las validaciones se llevaron a cabo considerando las cinco categorías de daño originales de los productos y usando solamente tres categorías de daño. Para ellos se agruparon las categorías originales, Daños insignificantes o leves, Daños moderados y Daños muy graves, en una única categoría, Dañado.

2.1. Área de estudio

El área analizada la conforman 157 edificios de dos núcleos urbanos, Accumoli y Arquata del Tronto, afectados por el terremoto de 2016 en el centro de Italia (^{INGV, 2016}), que fueron analizados en el marco de una activación de Copernicus EMS Rapid Mapping, la EMSR177 (^{Copernicus EMS, 2016}).

La Tabla 2 y la Figura 2 muestran el número de edificios considerados en el estudio para cada AOI y su distribución espacial.

Figura 2 Edificios considerados en el estudio. 

2.2. Material

Este sub-apartado presenta las fuentes de datos utilizadas en el trabajo, diferenciando entre información vectorial y raster.

Información vectorial

Se validan un total de cuatro productos (Grading maps, Tabla 2) realizados en dos AOIs en el marco de una activación de Copernicus EMS Rapid Mapping, la EMSR177 (^{Copernicus EMS, 2016}), en respuesta a un terremoto de magnitud 6 en la escala Richter ocurrido el 24 de agosto de 2016 en Italia (^{INGV, 2016}), que afectó a las regiones del Lazio, Abruzzo y Umbría. Dicha activación incluyó en origen el estudio de 33 AOIs y la creación de productos de asignación de daños basados en imágenes de diferentes características, entre ellas una imagen de satélite VHR, WorldView-2, y una imagen aérea, captadas el mismo día, el 25 de agosto de 2016. Tanto la imagen de satélite como la aérea cubren toda la zona y sus características están incluidas en la Tabla 3. En el presente estudio no se analizaron todos los edificios de cada uno de los núcleos, sino que el análisis se restringió a los edificios muestreados en el trabajo de campo, ver el punto 2.3 del documento.

La asignación de daños mostrada en los productos Copernicus EMS se realizó sobre la información relacionada con edificios disponible en Open Street Map (OSM) (^{OpenStreetMap contributors, 2015}). Estos datos se usaron en este estudio sin editar los posibles errores en los edificios del OMS, ya que el objetivo no era estudiar la adecuación de los edificios incluidos en el OSM respecto a la realidad, sino los daños asignados a esos edificios.

Información raster

El estudio incluyó el uso de imágenes de satélite, aéreas, oblicuas y fotos e informes hechos en campo. La Tabla 3 incluye las características de los datos que se consideraron en el estudio, así como la fuente que los proporcionó.

La ortofoto pre-evento se usó como base tanto para la creación de los productos Copernicus EMS como para la creación de las capas en el marco de este estudio.

La ortofoto y la imagen WorldView-2 post-evento adquiridas el 25 de agosto de 2016 cubren los dos AOIs y se usaron para la creación de los productos. La imagen presenta aproximadamente un 10% de cobertura nubosa, que afecta totalmente a uno de los dos AOIs, 02 Arquata del Tronto, impidiendo en él la asignación de daños basada en imagen de satélite. El ángulo de adquisición de la imagen WorldView-2 es de aproximadamente 26⁰ para 01 Accumoli, lo que provoca distorsiones que dificultan la fotointerpretación y asignación de daños.

Las ortoimágenes e imágenes oblicuas fueron adquiridas el 26 de agosto de 2016 por una empresa privada que facilitó el acceso temporal a las mismas a través de un visor, acceso que actualmente no está disponible. Este visor permitía la navegación y visualización de imágenes oblicuas adquiridas desde diferentes puntos de vista, permitiendo ver los posibles daños a edificios desde perspectivas distintas, lo que aumentó el grado de fiabilidad a la hora de clasificar los daños. La Figura 3 muestra un ejemplo tomado del AOI 01, con la imagen post-evento cenital en el centro y las imágenes oblicuas adquiridas desde los cuatro puntos cardinales en las otras cuatro ventanas. Nótese que el punto cardinal incluido en la figura indica aquel hacia el cual se tomó la foto, significando que la imagen marcada como norte, N, es una foto que muestra las fachadas de los edificios orientadas hacia el sur. El visor permitía hacer búsquedas y acercar o alejar la vista, aunque no permitía cargar la capa de edificios ni localizar la posición de las fotografías con respecto a los mismos. Por esa razón, la equivalencia entre lo visible en las fotos y los edificios incluidos en la muestra debió hacerse de forma manual. En ambos AOIs se contó con imágenes cenitales y orientadas a los cuatro puntos cardinales para todos los edificios analizados.

Fuente: ^{Blom Web Viewer, 2011}

Figura 3 Diferentes perspectivas de los edificios disponibles en el visor. 

2.3. Método

Este sub-apartado presenta, en primer lugar, como se crearon los datos y posteriormente como se compararon dichos datos y para qué. La Figura 4 resume los siete tipos de datos creados a partir de las fuentes mencionadas en el sub-apartado anterior, y muestra las comparaciones realizadas para (1) validar los productos Copernicus EMS (2) y analizar la influencia de la fuente de datos en la asignación de daños.

Figura 4 Fuentes de datos, datos creados y comparaciones realizadas para validar los productos Copernicus EMS (marcado con un círculo verde) y analizar la influencia de la fuente de datos en la asignación de daños siguiendo la escala EMS-98 (marcado con un círculo rojo). 

Creación de datos

Se crearon un total de siete capas con base en diferentes tipos de información. La capa Datos de campo (FS) se generó acorde a las definiciones de la EMS-98 incluidas en la Tabla 1, y con base en los daños observados in situ durante el trabajo de campo realizado por el equipo de Copernicus EMSV, los días 28 y 29 de septiembre de 2016. La ortofoto post-evento fue ocasionalmente usada para poder comprobar los daños visibles sólo en la vista cenital. Para cada edificio muestreado, se tomaron tantas fotos como se consideró necesario para justificar la categoría de daño asignada, especialmente en casos en los que se asignaron categorías bajas de daño, pero en cualquier modo intentando tener fotos de cada una de las fachadas de los edificios.

Durante el trabajo en gabinete, se revisaron las asignaciones y se eliminaron de la muestra aquellos edificios cuya asignación de daño no concordaba con las fotos tomadas en campo o que presentaban diferencias notables entre lo visible en la ortofoto post-evento y lo visible en las fotos tomadas en campo, como por ejemplo aquellos casos en los que un determinado edificio se demolió en el intervalo entre el terremoto y el trabajo de campo por daños estructurales graves. La capa Campo reprocesado (FS REP) se realizó mediante el reanálisis de daños por parte de técnicos que no habían participado en el trabajo de campo con base en las fotos adquiridas en campo. Por último, Campo reprocesado alta fiabilidad, llamado REP FSHR, se creó con el fin de investigar las limitaciones del trabajo de campo en la asignación de daños en aquellos edificios que tienen difícil acceso. Esta última capa de información se basó en la capa Campo reprocesado, de la que se eliminaron los edificios que durante la visita a campo fueron marcados como “Baja fiabilidad” debido a las dificultades para la asignación del daño o para acceder a los mismos.

Por otro lado, se crearon tres capas de asignación de daños con base en las diferentes fuentes de datos mostrados en la Tabla 3, denominadas de reprocesado o comparables. Los datos reprocesados (Satélite reprocesado, REP SAT y Ortofoto reprocesado, REP AER), se refieren a aquellos datos creados usando la misma fuente de datos usada para realizar los productos Copernicus EMS. El dato tipo comparable (Oblicuas comparable, COM OBL), se refiere a una asignación de daños creada sobre una fuente de datos de características y calidad similares a la de los datos usados para crear los productos bajo validación. Estas tres capas se crearon por fotointerpretación de la información disponible, trabajando técnicos con amplia experiencia simultáneamente de forma independiente. Previo a la fotointerpretación, se establecieron criterios para asignar daños según el tipo de dato, es decir, que con base en cada uno de los datos se buscaron ejemplos de cada una de las categorías de daño. De esta forma, se evitó, en la medida de lo posible, que la asignación de daños de cada técnico se viera influida por la asignación de los demás, o que la experiencia adquirida en la creación de una capa influyera en otra.

Por último, se realizó la capa Todas las fuentes referencia, designada REF ALL, usando todos los datos disponibles en la asignación de daños de cada uno de los edificios considerados. Esta capa puede considerarse de referencia en la validación de los productos Copernicus EMS analizados en este artículo por estar creada con base en datos de calidad superior a los usados por el servicio de mapeo. A la hora de asignar los daños a los edificios en esta capa, se incluyó información respecto a la fuente de datos que había sido necesaria consultar para poder hacer esa asignación. El objetivo era poder luego analizar qué fuente de datos aportaba más o menos información en la asignación de cada una de las categorías de daño.

Comparación de datos

Los productos Copernicus EMS bajo validación y las capas creadas se compararon contra la capa de referencia REF ALL por medio de matrices de confusión. En cada cruce, se calcularon los porcentajes de omisión y comisión por categoría, la exactitud global y el coeficiente kappa (^{Chuvieco, 2002}). La validación se realizó de acuerdo al protocolo vigente en momento de ejecución del presente análisis (^{Broglia et al., 2010}). En la Figura 4 se muestran los cruces realizados. Con un círculo verde se identifica la comparación que permite la validación de los productos Copernicus EMS, mientras que con un círculo rojo se marcan las comparaciones realizadas para analizar la influencia de la fuente de datos en la asignación de daños siguiendo la escala EMS-98.

De forma complementaria, se analizó la subjetividad en la fotointerpretación de las categorías intermedias de daño. La falta de una guía de fotointerpretación en el marco del componente de mapeo que definiera las categorías descritas en la Tabla 1 con base en imágenes de satélite, hacía presuponer un cierto grado de subjetividad en la asignación de daño, lo que podía resultar en discrepancias debidas a diferencias de criterio de los foto-intérpretes. Para ello se estudió el efecto que producía en los resultados de las validaciones considerar las cinco categorías de daño originales de los productos o agrupándolas en tres. Este estudio se hizo sin volver a clasificar los edificios, para ellos se agruparon las categorías originales, Daños insignificantes o leves, Daños moderados y Daños muy graves, en una única categoría, Dañado (Tabla 4).

Para aquellos casos en los que la asignación de daños no era posible debido a la cobertura nubosa de la imagen de satélite, se usó la categoría No analizado (Na).

3.1. Resultados de la validación de los productos Copernicus EMS

La Tabla 5 y la Tabla 6 muestran los resultados de las matrices de confusión de los productos Copernicus EMS contra la capa de referencia basada en todas las fuentes de datos, considerando cinco o tres categorías de daño.

3.2. Resultados del análisis de la influencia de la fuente de datos en la asignación de daños siguiendo la escala EMS-98

4.1. Análisis de resultados de las matrices de confusión

Añadir la fuente de datos necesaria para la asignación de daño a cada uno de los edificios incluidos en la capa Todas las fuentes referencia permitió analizar las posibilidades de asignación de cada categoría de daño según la fuente. De este análisis de la fuente de datos necesaria para la asignación de cada categoría, se deduce que la categoría Destruido es la más estable, ya que es la que obtiene mejores resultados en todos los casos de las matrices de confusión. A pesar de que los resultados están influenciados por el hecho de que para uno de los AOIs no se pudo hacer asignación de daños, debido a la cobertura nubosa.

Por el contrario, es llamativo que en todos los casos, menos en las validaciones de los datos de campo la categoría No daño, presente errores de comisión altos, indicando una sobreestimación de dicha categoría cuando la fuente de datos usada para crear la información muestra sólo la vista cenital o el estado de los edificios en la distancia. Este resultado indica que el daño sólo se debería poder descartar cuando exista una fuente de datos que realmente permita descartar completamente los daños al ofrecer diferentes perspectivas de cada edificio, así como fotografías tomadas de cerca que permiten ver cualquier daño por mínimo que sea.

Habría que tener en cuenta, sin embargo, que el trabajo de campo no incluyó la visita al interior de las casas, ya que se consideró que en el marco del servicio de mapeo de Copernicus EMS no tiene cabida una asignación de daños a esa escala. Otras categorías de daño intermedio, y especialmente las categorías de Daños insignificantes o leves y Daños moderados, presentan también altas discrepancias, bien sea por sobreestimación, bien por subestimación.

Estos resultados indican que su asignación con base en imágenes de satélite u ortofotos implica cierta subjetividad, incluso después de haber creado guías de fotointerpretación. Además, en el caso de la categoría de Daños insignificantes o leves estos resultados probablemente se deban a que los criterios seguidos para evaluarlo no son visibles desde un punto de vista cenital (Tabla 1). Lo mismo ocurre con la categoría de Daños moderados, aunque en ese caso algunos de los criterios que lo definen sean visibles en fotografías aéreas.

Por último, cabe señalar el mayor peso de los datos de campo en la creación de la capa Todas las fuentes referencia. A pesar de que se dieron casos en los que la asignación del daño de un edificio no se pudo basar en los datos de campo, por inaccesibilidad durante la visita a campo, o porque los daños sólo fueran visibles desde un punto de vista cenital, en general la asignación de las categorías de daño fue influida por los datos de campo.

El aumento del grado acuerdo de Reprocesado satélite con respecto al obtenido de la validación de los productos Copernicus EMS, un 15% tanto si se consideran cinco como si se consideran tres categorías, es debido a las diferencias en las condiciones de producción. La mayor disponibilidad de tiempo por parte del servicio de validación para la elaboración de los datos y crear guías de fotointerpretación de daños adaptadas al caso concreto de análisis se traduce generalmente en una mayor calidad de los mismo.

La validación de los datos Ortofoto reprocesado arroja un amplio rango de valores de exactitud global. Los coeficientes kappa varían desde pobre en 01 Accumoli a débil en 02 Arquata del Tronto. Esto es debido a la dificultad de asignación de las categorías más bajas de daño y de identificar correctamente los edificios no dañados, lo cual no permite reducir la omisión de los primeros y la comisión de éstos últimos.

Las imágenes oblicuas utilizadas para la creación de la capa Oblicua comparable fueron útiles para detectar los edificios clasificados en las categorías Destruido y Daños graves. Sin embargo, su utilidad para asignar las categorías Daños moderados y Daños insignificantes o leves fue residual. Se detectaron diferencias en los edificios clasificados dentro de la categoría Daños graves debido a la naturaleza de la información provista por las imágenes oblicuas y la ortofoto, lateral o cenital.

A pesar de que se creó una guía de fotointerpretación para asegurar la comparabilidad de los datos y la coherencia de los datos creados en el estudio, la fotointerpretación per se implica un cierto grado de subjetividad. Esto provoca que la evaluación de daños en los datos Ortofoto reprocesado y Oblicua comparable no coincidan completamente con la asignación en el dato Todas las fuentes referencia.

Los datos de campo fueron fundamentales a la hora de asignar con certeza la categoría No daño, ya que no es factible descartar totalmente la existencia de daños hasta que el edificio es analizado con información detallada a nivel del suelo. Esos datos fueron también básicos para asignar la categoría de Daños insignificantes o leves, ya que los daños relacionados con esa categoría incluyen “grietas finas o caída de pequeños pedazos”, que necesita de un detalle en los datos de entrada que sólo pueden adquirirse a nivel del suelo. El valor agregado de los datos de campo disminuye en la evaluación de las categorías más altas de daño, ya que estos niveles de daño también son detectados por el resto de los datos de entrada.

Las discrepancias reflejadas en las validaciones en las que analizaron cualquiera de las tres capas creadas a partir de los datos de campo se deben principalmente a la migración entre las tres categorías de daño que se agrupan al pasar de cinco a tres categorías.

4.2. Análisis de la evolución de la exactitud global y el coeficiente kappa según la fuente de datos

La exactitud global y los coeficientes kappa aumentaron al considerar fuentes de datos que ofrecen información más detallada, tanto en las validaciones de cinco categorías como en las de tres. El nivel de acuerdo de las diferentes validaciones que se realizaron varía desde un coeficiente kappa muy pobre de 0.00 (^{Altman, 2020}) para validaciones de capas creadas sobre la imagen satelital post-evento, hasta un nivel total de concordancia con kappa de 1.00 de los datos de campo considerando tres categorías de daño. Los desacuerdos se deben principalmente a la migración entre categorías que reflejan el daño en la clasificación de cinco categorías, y desaparecen al considerar solamente tres.

Sólo los resultados de la validación de datos creados a partir de imagen de satélite no mejoran al pasar de cinco a tres categorías, ya que las migraciones de estos datos ocurren en edificios clasificados como No daño. La comparación entre los resultados para los productos Copernicus EMS y los datos reprocesados parece indicar diferentes criterios de asignación de daños.

La Figura 5 muestra la tendencia de la exactitud global y los valores del coeficiente kappa según los datos de entrada utilizados y el número de categorías consideradas para ambos AOIs, 01 Accumoli (Ac) y 02 Arquata del Tronto (Ar). Las capas basadas en imagen de satélite mostraron un nivel deficiente de acuerdo; las capas con base en ortofoto o con base en imágenes aéreas (tanto oblicuas como cenitales) variaron de un nivel de acuerdo deficiente a uno regular para las clasificaciones considerando cinco o tres categorías. Sólo los datos creados sobre los datos del estudio de campo lograron niveles de acuerdo buenos o muy buenos.

Figura 5 Análisis de la exactitud global y el coeficiente kappa según la fuente de datos y el número de categorías consideradas. 

Tal y como muestran las tablas con los resultados de la validación y la Figura 5, las clasificaciones más precisas son las que se basan en los datos del estudio de campo, alcanzando una exactitud global superior al 85% y 97% para las validaciones realizadas considerando cinco y tres categorías respectivamente. Los coeficientes kappa para la validación de estos datos varían de 0,76 a 1,00, lo que indica desde un buen acuerdo hasta un muy buen nivel de acuerdo. Hay que tener en cuenta a la hora de analizar estos resultados, que, tal y como se ha dicho, en la creación de la capa Todas las fuentes referencia tuvieron más peso los datos de campo.

Los datos comparables basados en datos oblicuos son los segundos más precisos, aunque solo alcanzan un nivel razonable de acuerdo. Los coeficientes kappa varían de 0,23 para la clasificación de tres categorías en Accumoli a 0,37 en Arquata del Tronto. Los valores de exactitud global más altos, 70%, se encuentran en la clasificación de Arquata del Tronto; y el más bajo, 42%, se encuentra para la clasificación en cinco categorías en Accumoli.

La ortofoto post-evento es la siguiente fuente de datos más precisa, aunque se encuentran diferencias relevantes en los resultados de exactitud global, desde el 18% en Accumoli para el producto Copernicus EMS creado sobre ortofoto, hasta el 62% en Arquata del Tronto para el dato Reprocesado ortofoto (REP AER), ambos para la clasificación de tres categorías. Los coeficientes kappa muestran pobres niveles de concordancia, de 0.09 a 0.19, excepto en los datos Reprocesado ortofoto en Arquata del Tronto, 0.23 y 0.30 para las clasificaciones con tres y cinco categorías, respectivamente.

Los resultados de las validaciones de los datos reprocesados en comparación con los resultados obtenidos con los productos Copernicus EMS, muestran un mejor nivel de concordancia para los reprocesados. Debe considerarse que la evaluación de daños no fue posible para los datos satelitales reprocesados en Arquata del Tronto debido a la cobertura de nubes. No se ha obtenido ninguna información sobre el criterio seguido por el creador de los mapas de Copernicus EMS, que es un Proveedor de Servicios externo al JRC, para llevar a cabo la clasificación. En la comparación hecha de los datos creados sobre la ortofoto post-evento, los resultados son claramente mejores para la capa reprocesada con la excepción de la clasificación agrupada en tres categorías en Accumoli, donde la concordancia general es ligeramente menor, 42% contra 45%, debido a la migración de dos edificios desde la categoría Dañado a No daño.

Al comparar la exactitud global y los valores del coeficiente kappa de la validación de Campo reprocesado y los Datos de campo con las fuentes de referencia, los resultados son mejores para éste último. Las diferencias en los resultados entre ambas capas se deben a que la metodología para crear ambas fue diferente, ya que la capa de datos reprocesados se hizo en gabinete, en condiciones diferentes y sólo con base en las fotos.

4.3. Análisis de los valores de omisión y comisión según la fuente de datos

Se analizó también la evolución de los valores de omisión y comisión por categoría para cada AOI y cada fuente de datos. El análisis individual por categoría de las cinco categorías de daño según la fuente de datos usada para hacer las capas apunta a dos razones principales para la mejora de los resultados de concordancia general. Una es la inclusión de edificios previamente clasificados como No daño en las categorías correspondientes que reflejan daño, lo que implicó la disminución del error de comisión para la categoría No daño. La otra es la correcta asignación a las categorías que reflejan daño, es decir, a cualquier excepto a No daño, lo que implicó la disminución de la omisión de estas tres categorías. Ambas razones se deben al uso de datos de entrada de mejor calidad que ofrecen un mayor nivel de detalle que permite el aumento del nivel de acuerdo, especialmente en las categorías de clasificación de daños más bajas. El salto relevante en la disminución de la comisión del No daño y en la omisión de las categorías que reflejan el daño no se alcanza hasta que no se consideran los datos de campo. La detección de edificios clasificados como Destruido, que solo existían en Arquata del Tronto, fue estable a excepción de las capas basadas en satélites. Se observó el mismo patrón en la clasificación en tres categorías de daño.

La Figura 6 muestra la relación entre la disminución de la comisión en la categoría No daño con la disminución de la omisión en la categoría Dañado para la clasificación de tres categorías y ambos AOIs, 01 Accumoli (Ac) y 02 Arquata del Tronto (Ar).

Figura 6 Relación entre la comisión para la categoría No daño y la omisión de la categoría Dañado.