Detection of powdery mildew disease on rose using image processing with open CV

Noé Velázquez–López^1*; Yutaka Sasaki²; Kazuhiro Nakano³; José M. Mejía–Muñoz⁴; Eugenio Romanchik Kriuchkova⁵

¹ Graduate School of Agriculture, Tokyo University of Agriculture, 1–1–1, Sakuragaoka, Setagaya, Tokyo 156–8502, Japan. Correo–e: noe.velazquez@gmail.com (*Autor para correspondencia)

² Faculty of Regional Environment Science, Tokyo University of Agriculture, 1–1–1, Sakuragaoka, Setagaya, Tokyo 156–8502, Japan. Correo–e: y3sasaki@nodai.ac.jp

³ Graduate School of Science and Technology, Niigata University, 2–8050, Niigata, 950–2181, Japan.

⁴ Departamento de Fitotecnia, Universidad Autónoma Chapingo. km 38.5 Carretera México–Texcoco. Chapingo, Estado de México, C. P. 56230. MÉXICO. Correo–e: jmerced58@hotmail.com

Recibido: 3 de diciembre, 2009.
Aceptado: 17 de junio, 2011.

Resumen

Las plagas y enfermedades representan un problema para los cultivos ornamentales y a su vez para el mercado internacional y por lo tanto deben ser controladas. Los principales mercados para flores de corte se encuentran en Europa, Estados Unidos y Japón. México es uno de los principales proveedores de EUA. Las rosas son actualmente el cultivo ornamental más importante y también uno de los más susceptibles a enfermedades las cuales se propagan fácilmente. Sería posible aplicar tratamientos y protección temprana si las enfermedades pudieran ser detectadas en una etapa temprana así como sus agentes causales. En esta investigación se desarrolló un sistema de detección de la cenicilla (Sphaerotheca pannosa) en rosa con Open CV. Open CV es una librería de fuente abierta de visión por computadora, la cual está escrita en lenguaje C y C++. La detección fue hecha de acuerdo con el espacio de color HSV. La imagen fuente fue convertida del espacio de color RGB al espacio HSV y las partes de la enfermedad y la planta fueron extraídas de acuerdo con la información de H, S y V. Posteriormente se removieron los objetos blancos "ruido". Finalmente la precisión de la detección fue evaluada. El sistema de detección desarrollado es capaz de detectar la cenicilla a través del espacio de color HSV con Open CV. Mejores diagnósticos fueron obtenidos usando fotografías cercanas (10 cm). El error causado principalmente por el reflejo de la luz en las fotografías distantes pudo ser evitado exitosamente usando una detección activa, la cual permite diagnosticar enfermedades aun cuando se utilicen fotografías distantes.

Palabras clave: Visión por computadora, cultivo en invernadero, invernadero de rosa, detección de enfermedades, librería de fuente abierta de visión por computadora.

Abstract

Key words: Computer vision, greenhouse cultivation, greenhouse rose, disease detection, open source computer vision library.

INTRODUCCIÓN

Más de 65 países participan en el mercado internacional de flores de corte y follajes. De acuerdo con la Asociación Internacional de Productures Horticolas (AIPH, 2007) los principales mercados están localizados en Europa con alrededor de US$30 billones, Estados Unidos con alrededor de US $6.5 billones y finalmente Japón con US $4 billones. México es uno de los principales proveedores de flores a EUA. En México las principales flores cultivadas en una superficie de 15 mil hectáreas de 2004 a 2006 fueron gladiola, crisantemo, cempazúchitl, clavel y rosa de invernadero representando el 33 % de la superficie total cultivada en 2006 y el 66 % del valor de la producción total en el mismo periodo. La producción de rosa de invernadero, representó sólo el 1.91 % (485.2 ha) de la superficie cultivada en 2006, pero su valor correspondió al 18 % (alrededor de $76.7 millones de dólares) del valor total de la producción del mismo año (SIAP–SAGARPA, 2006).

Las rosas son actualmente el cultivo ornamental económicamente más importante (Linde et al., 2004). En su mayoría son cultivadas por su valor ornamental (plantas para jardín, maceta y flores de corte), pero en cierta medida, también por su valor culinario (Uggla et al., 2005).

Desafortunadamente las rosas son muy vulnerables a enfermedades, las cuales se esparcen con facilidad. Estas enfermedades reducen significativamente el valor ornamental de la planta. Varios hongos patógenos afectan negativamente la producción de rosas en invernaderos. De acuerdo con Linde y Shishkoff (2003), la enfermedad fúngica más grave y generalizada es la cenicilla (Podosphaera pannosa var.rosae, syn. Sphaerotheca pannosa). Ésta ataca a las plantas cultivadas al aire libre, tales como rosas de jardín, así como las rosas en invernaderos para la producción de flores de corte (Leus et al., 2006). Causa una severa reducción en el rendimiento y calidad debido a la formación de pústulas con apariencia de polvo blanco que aparecen en hojas, tallos y flores (Figura. 1) (Yan et al., 2006).

En agricultura se han desarrollado muchas aplicaciones usando visión por computadora. Los sistemas de visión por computadora no sólo reconocen el tamaño, forma, color y textura de los objetos, sino que también proporcionan atributos numéricos de los objetos o escenarios que se examinan (Yud–Ren et al., 2002).

Las ventajas del uso de la tecnología de detección por imágenes, pueden ser bastante precisas, no destructivas y con resultados consistentes (Chen et al., 2002). Además, numerosas herramientas basadas en procesamiento de imágenes por computadora se han desarrollado para ayudar a los agricultores a vigilar el crecimiento adecuado de sus cultivos. Se ha puesto especial atención a las últimas etapas de crecimiento, es decir, cuando el cultivo está cerca de ser cosechado (Camargo y Smith, 2009a). Sistemas de visión artificial se han propuesto para diversas aplicaciones agrícolas, proporcionando la información necesaria acerca de la condición del suelo, cobertura de residuos, sanidad vegetal, identificación de especies, densidad de población y el tamaño de la planta (Hemming y Rath, 2001). Sin embargo, en el área de control de enfermedades, la mayoría de las investigaciones se han centrado en el tratamiento y control de malezas y pocos estudios se han centrado en la identificación automática de enfermedades (Camargo y Smith, 2009b). La identificación automática de enfermedades en plantas por inspección visual puede ser de gran beneficio para aquellos usuarios que tienen poca o nula información sobre el cultivo que están produciendo (Lili et al., 2011). Eventualmente, sería posible llevar a cabo la protección temprana y aplicacion de tratamientos si las enfermedades así como los agentes causales pudieran ser identificados en su etapa inicial. Este estudio, describe un método basado en procesamiento de imágenes que identifica los síntomas visuales de la enfermedad de la cenicilla en cultivos de rosa en invernaderos mediante la extracción de los colores de las regiones de la planta y la enfermedad a través del espacio de color HSV con Open CV. Open CV es una librería de código abierto de visión por computadora disponible en http://sourceforge.net/projects/opencvlibrary, la cual es sobre todo, una librería de alto nivel que implementa algoritmos para técnicas de calibración (Calibración de cámara), detección de características (rasgos) y rastreo (flujo óptico), forma (Geométrica, procesamiento del contorno), análisis de movimiento (plantillas en movimiento, estimadores), reconstrucción 3D (vista morfológica) reconocimiento y segmentación de objetos (histogramas, incorporando modelos ocultos de Markov, Objetos Eigen). La librería está escrita en lenguaje C y C++ y corre bajo Linux, Windows y Mac OSX.

El objetivo de este estudio fue el desarrollo de un sistema totalmente automatizado para el manejo del cultivo en invernadero. En esta investigación los siguientes puntos han sido estudiados: desarrollo de un sistema de detección de la enfermedad de cenicilla en cultivo de rosa en invernadero, identificando sus síntomas visuales usando procesamiento de imágenes por computadora y evaluación del sistema desarrollado.

MATERIALES Y MÉTODOS

La variedad de rosa usada fue Lipstick, que fue infectada con la enfermedad de la cenicilla. Imágenes de hojas sintomáticas fueron tomadas el 20 de febrero de 2009, de las 12:00 a las 16:00 h, en Coatepec Harinas, estado de México, México. La temperatura dentro del invernadero fue alrededor de 25 ^oC con cielos despejados. Las fotografías usadas en esta investigación fueron tomadas con una cámara Everio (Victor, JVC, GZ–HD30, Compañía Victor de Japón, Localizada; 3–12, Moriyacho, Kanagawa–ku, Yokohama–shi, Kanagawa, 221–8528, Japón). Las fotografías muestra fueron tomadas a una distancia de 10 y 50 cm. Las imágenes fueron tomadas con dos condiciones diferentes de fondo; solamente el suelo y suelo con hojas. Se evitó la reflexión de la luz solar a fin de evitar halo en las imágenes. Las muestras fotográficas fueron tomadas a cada 90 grados alrededor de la planta con una inclinación de 30 grados de la cámara centrándose en las partes enfermas. Finalmente se tomaron imágenes de hojas sanas. La radiación (klux) se midió durante 5 segundos, para cada lugar donde las fotos fueron tomadas, con un medidor de luz CEM (DT–1309) con un rango máximo de 400,000 Lux y una capacidad de medición de 1.5 veces por segundo. En todos los casos el tamaño de las imágenes fue de 640x480 pixeles. El set analizado fue de 40 imágenes, 20 imágenes de una distancia de 50 cm (imágenes distantes) y 20 imágenes a una distancia de 10 cm (imágenes cercanas).

Open CV y el procedimiento de procesamiento de imágenes

Como se mencionó antes, en esta investigación se usó el software Open CV (Fuente abierta de visión por computadora). El cual proporciona un conjunto de funciones de procesamiento de imágenes, así como funciones de análisis de patrones e imágenes. Por ejemplo, la conversión entre los espacios de color RGB (R: red, G: green y B: blue, por sus siglas en inglés) y HSV (H: hue, S: saturation and V: value, por sus siglas en inglés). La conversión de RGB a HSV permite la extracción de partes o colores específicos de las imágenes, debido a que la imagen original es dividida en 3 canales (H, S y V). HSV son definidos matemáticamente por transformaciones entre R, G y B y las coordenadas de los colores en el espacio RGB y las coordenadas de H, S y V del espacio HSV. Las Conversiones de RGB a HSV están representadas por las siguientes ecuaciones (Smith, 1978.):

El valor de H es por lo general normalizado para estar entre 0 y 360 °. La dirección de cada radio corresponde a un color (amarillo, verde, azul, etc.,). La escala de grises en el espacio de color RGB se representa como una rampa moviéndose del color negro al blanco. En el espacio de color HSV la escala de grises es representada por el valor (V) que se mueve entre 0 % (negro) y 100 % (blanco). Por lo tanto las regiones de las plantas se extrajeron de acuerdo a H y V, y las áreas enfermas fueron extraídas de acuerdo con V y S.

Tanto los colores de las partes de la enfermedad como los de planta sana fueron extraídos a través de la información del espacio de color HSV (Hue, Saturation, Value, por sus siglas en inglés).

En HSV H representa el tipo de color. H es un ángulo que va de 0 a 360 grados. S indica la gama de grises en el espacio de color. Este va de 0 a 100 %. V es el brillo del color. Este va de 0 a 100 %. Cuando el valor es 0 el espacio de color será totalmente negro y cuando el valor es 100 el espacio de color será totalmente blanco. Por eso, la extracción de la parte de la planta se llevó a cabo de acuerdo con la información de H y V y la extracción de la parte enferma de acuerdo con la información de V. Los valores de H y V se establecieron de la siguiente manera: H (40–130°) y V (30–100, 40–100, 50–100, 60–100 y 70–100 %). El programa fue desarrollado utilizando Visual Studio 2005. Development Environment (sistema operativo, Windows XP). El algoritmo inicia mediante la conversión de la imagen original (Figura 2) del espacio de color RGB a HSV. La imagen convertida fue entonces segmentada y las regiones enfermas fueron extraídas de acuerdo a V, a la vez que las regiones de la planta se extrajeron de acuerdo a H y V, después, los objetos blancos ("ruido") se eliminaron por "close" y "labeling", a continuación, se creó una máscara usando la región de la planta y se combinó con la imagen original. Esta imagen se denominó "imagen de la planta". La combinación de estas dos imágenes permitió la eliminación del fondo de la imagen y se agregó color a las regiones de la enfermedad y posteriormente se añadió a la imagen de la planta con el fin de obtener la imagen de la enfermedad.

Por último, la precisión de la detección se evaluó mediante la creación de una imagen maestra. La imagen maestra y la imagen de la enfermedad fueron sobrepuestas una sobre la otra y se obtuvieron las áreas de correspondencia y no–correspondencia. Utilizando estos parámetros se calcularon, la tasa de correspondencia (CR) y la tasa de no–correspondencia (MCR) utilizando las fórmulas siguientes.

Donde: MR: Tasa de correspondencia; Ac: Área de correspondencia; At: Área enferma manualmente fijada; MMR: Tasa de no correspondencia; Anc: Área de no–correspondencia y Ap: Área de la planta.

Con el fin de facilitar el reconocimiento de la enfermedad, las regiones extraídas fueron pintadas de color rosa y el fondo fue pintado de negro. En el proceso de comparación también se utilizó un esquema de color. Rojo fue utilizado para representar el área de correspondencia y azul se utilizó para representar a la no–correspondencia (Figura 3d). La Figura 3 muestra un ejemplo de una imagen original (Figura 3a) así como las imágenes de la planta y la enfermedad (Figuras 3b y 3c) que se obtuvieron después del procesamiento de imágenes. La Figura 3 muestra también la imagen comparativa (Figura 3d) resultante de la comparación entre la imagen maestra y la imagen de la enfermedad

Como se muestra en la Figura 3b el color de las áreas de la planta fueron extraídas de la imagen original mediante la eliminación del fondo de la imagen. Este paso permitió la extracción únicamente del color de las partes de la enfermedad en la planta y con ello eliminar el ruido (objetos blancos) localizado en el fondo de la imagen original [Figura 3a].

Las Figuras 4 y 5 muestran ejemplos de muestras exitosas y fallidas tanto para fotografías cercanas como distantes cuando el rango de V fue del 50 al 100 %. En el caso de las imágenes exitosas, cuando se usaron imágenes distantes (Figura 4a), la tasa de concordancia obtenida fue de 68.2 % y la tasa de no–concordancia fue de 0.3 %. En contraste cuando se usaron imágenes cercanas, las tasas de concordancia y no–concordancia obtenidas fueron de 93.2 y 0.3 %, respectivamente (Figura 4b). En el caso de las muestras fallidas, las tasas obtenidas de concordancia y no–concordancia en fotografías distantes y cercanas fueron de 43.1 y 3.6 %, y 80.1 y 8.1 %, respectivamente (Figura 5).

La tasa de concordancia aumentó cuando el rango de V fue más amplio y fue superior cuando se usaron las imágenes cercanas. Por otra parte, la tasa de no–concordancia fue en general superior para las imágenes distantes.

Para las condiciones naturales, en las que se realizó el estudio y como se puede observar en la Figura 6, el rango de V de 50–100 % fue el más adecuado para la detección. El promedio de la tasa de concordancia obtenido para el rango de V=50–100 % para muestras cercanas fue de 77.6±14.1 % y 52.8±17.1 % para muestras distantes (Figura 6). La tasa promedio de no–concordancia obtenida para el mismo rango de valores de V para fotografías distantes y cercanas fue 2.0±0.8 y 2.1±2.7 %, respectivamente (Figura 6).

Para los valores del rango de V superiores de 50 a 100 %, la tasa de concordancia obtenida no aumentó considerablemente. Sin embargo, la tasa de no–concordancia aumentó cuando el rango de V fue más amplio. Para el rango de V de 50 a 100 % la tasa de no–concordancia fue, en general, superior en fotografías distantes; sin embargo, para los valores del rango de V más amplios de 50 a 100 % la tasa de no–concordancia fue más grande para fotografías cercanas.

Cuando se utilizaron fotografías cercanas, la tasa máxima de no–concordancia obtenida para el rango de V=50–100 % fue de 9.7 %. Sin embargo, la fotografía con la máxima tasa de no–concordancia se dio cuando la intensidad de la luz fue máxima alrededor de 30.9–47.5 kLux. Otras dos muestras resultaron con una tasa de no–concordancia de 8.1 y 6.3 %, sin embargo, en estos dos casos, algunas partes de esas fotografías estaban fuera de foco. Para las imágenes distantes la tasa máxima de no–coincidencia fue de 3.6 %; sin embargo, esta fotografía también fue tomada cuando la intensidad de la luz fue máxima (30.9~47.5 kLux).

Las tasas de concordancia máxima y mínima obtenidas, cuando se usaron fotografías cercanas fueron de 94.4 y 44.3 %, respectivamente. La tasa de coincidencia máxima obtenida cuando se usaron fotografías distantes fue de 85.5 % y la tasa mínima obtenida fue de 14.6 %.

Los principales problemas detectados durante la detección de la enfermedad fueron: reflexión de luz (halo), fotografías fuera de foco y fotografías muy oscuras. Las plantas reflejan la luz solar causando que hojas sanas sean erróneamente detectadas. Sin embargo, detección activa es un método efectivo para evitar el halo (Sasaki et al., 2006). Como se muestra en las figuras (7) 8 (a, b, c, d) con la detección activa, la reflexión de luz puede ser eliminada con éxito y por lo tanto una mejor detección puede ser efectuada. Además, Nishiwaki (2006) encontró que los filtros polarizados son buenas herramientas para eliminar la reflexión de luz tanto en áreas soleadas como sombreadas.

La Figura 8 muestra la radiación solar al momento de tomar las fotografías. La intensidad de la luz fue variable y las radiaciones máximas y mínimas fueron 43.9 kLux y 6.3 kLux, respectivamente. La reflexión de luz ocurrió sobre todo cuando la radiación fue muy alta.

CONCLUSIONES

El sistema desarrollado fue capaz de detectar la enfermedad de cenicilla a través del espacio de color HSV con Open CV. El valor del rango más adecuado de V para una intensidad de luz de 17.4±9.55 kLux para la extracción de las regiones de la enfermedad tanto en fotografías distantes (50 cm) como cercanas (10 cm) fue de 50 a 100 %. Las imágenes resultantes fueron concordantes con las imágenes maestras.

Fue posible obtener mejores resultados de detección de la enfermedad cuando se usaron imágenes cercanas, donde la tasa media de concordancia fue de 77.6±14.1 %, y para un de rango de V de 50–100 %. Para fotografías distantes, la tasa de concordancia media (52.8±17.1 %) no fue tan buena como cuando se usaron imágenes cercanas y la tasa de no–concordancia, causada mayormente por la reflexión de luz, fue en general superior. Sin embargo, ésta pudo ser exitosamente evitada usando una detección activa, la que permite al sistema, detectar la enfermedad también cuando se usan imágenes distantes. La detección activa consiste en tomar imágenes del objetivo (hojas infectadas) de diferentes ángulos, direcciones y distancias.

AGRADECIMIENTOS

Parte de este trabajo fue financiado por Grant–in–Aid for Scientific Research, Japón (KAKENHI B, 19380142).

LITERATURA CITADA

BOISSARD, P.; MARTIN, V.; MOISAN, S. 2007. A cognitive vision approach to early pest detection in greenhouse crops. Computers and Electronics in Agriculture 62: 81–93.         [ Links ]

BRADSKY, G.; KAEBLER, A. 2008. Learning Open CV. O'Reilly. California USA. 557 p.         [ Links ]

CAMARGO, A.; SMITH, J. S. 2009a. An image–processing based algorithm to automatically identify plant disease visual symptoms. Biosystem Engineering 102: 9–21.         [ Links ]

CAMARGO, A.; SMITH, J. S.2009b. Image pattern classification for the identification of disease causing agents in plants. Computers and Electronics in Agriculture 66: 121–125.         [ Links ]

CHEN, Y. R.; CHAO, K.; MOON, S. K. 2002. Machine vision technology for agricultural applications. Computers and Electronics in Agriculture 36: 173–191.         [ Links ]

HEMMING, J.; RATH, T. 2001. Computer–Vision–based weed identification under field conditions using controlled lighting. J. Agric. Eng. Res. 78: 233–243.         [ Links ]

IAHP (International Association of Horticultural Producers). 2007. International Statistics Flowers and Plants. Zoetermeer, The Netherlands.127p.         [ Links ]

LEUS, L.; DEWITTE, A.; VAN HUYLENBROECK, J.; VANHOUTTE, N.; VAN BOCKSTAELE, E.; HÖFTE, M. 2006. Podosphaera pannosa (syn. Sphaerotheca pannosa) on Rosa and Prunus spp.: characterization of cathotypes by differential plant reactions and ITS sequences. Journal of Phytopathology 154: 23–28.         [ Links ]

LILI, N. A.; KHALID, F., N.; BORHAM, M. 2011. Classification of herbs plant diseases via hierarchical dynamic artificial neural network after image removal using Kernel regression framework. International Journal on Computer Science and Engineering (IJCSE) 3: 15–20.         [ Links ]

LINDE, M.; MATTIESCH, L.; DEBENER, T. 2004. Rpp1, a dominant gene providing race–specific resistance to rose powdery mildew (Podosphaera pannosa): molecular mapping, SCAR development and confirmation of disease resistance data. Theor. Appl. Genet. 109: 1261–1266.         [ Links ]

LINDE, M.; SHISHKOFF, N. 2003. Fungi: Powdery mildew, pp. 158– 165 In: Encyclopedia of Rose Science. DEBENER, T.; ROBERTS, A.; GUDIN, S. (eds.) .Institute for Ornamental Plant Breeding, Ahrensburg, Germany.         [ Links ]

NISHIWAKI, K.; KONDO, N.; KISE, M.; ZHANG, Q.; GRIFT, T.; TIAN, L.; TING, K. C. 2006. Feasibility of using polarizing filters to reduce halation effects during image acquisition in the field. ASABE Paper No. 063009. St. Joseph, Michigan, USA 9 p.         [ Links ]

SASAKI, Y.; SUSUKI, M. 2006. Development of 3DCG simulator for plant diagnosis by active sensing. Agricultural Information Research 15: 173–182.         [ Links ]

SMITH, A. R. 1978. Color gamut transform pairs. Computer Graphics 12 (3): 12–19.         [ Links ]

SIAP (Servicio de Información Agroalimentaria y Pesquera). 2009. Secretaría de Agricultura, Ganadería, Desarrollo Rural, Pesca y Alimentación http://www.siap.sagarpa.gob.mx>, browsed on May 27, 2009.         [ Links ]

UGGLA, M.; CARLSON–NILSSON, B. U. 2005. Screening of fungal diseases in offspring from crosses between Rosa sections Caninae and Cinnamomeae. Scientia Horticulturae 104: 493–504.         [ Links ]

YAN, Z.; DOLSTRA, O.; PRINS, T. W.; STAM, P.; VISSER, P. B. 2006. Assessment of partial resistance to powdery mildew (Podosphaera pannosa) in a tetraploid rose population using a spore–suspension inoculation method. European Journal of Plant Pathology 114: 301–308.         [ Links ]

YUD–REN, C.; KUANGLIN, C.; MOON, S. K. 2002. Machine vision technology for agricultural applications. Computers and Electronics in Agriculture 36: 173–191.         [ Links ]