{"id":1074,"date":"2019-08-14T12:42:38","date_gmt":"2019-08-14T15:42:38","guid":{"rendered":"http:\/\/datamining.dc.uba.ar\/predictivos\/?p=1074"},"modified":"2019-08-14T13:52:01","modified_gmt":"2019-08-14T16:52:01","slug":"sistema-de-clasificacion-de-imagenes-de-melanomas","status":"publish","type":"post","link":"https:\/\/datamining.dc.uba.ar\/predictivos\/?p=1074","title":{"rendered":"Sistema de clasificaci\u00f3n de im\u00e1genes de melanomas"},"content":{"rendered":"

Por Gast\u00f3n Liberman (Mag\u00edster en Explotaci\u00f3n de Datos y Descubrimiento del Conocimiento-UBA).\u00a0El aprendizaje autom\u00e1tico (machine learning) tuvo grandes avances en aplicaciones de medicina, espec\u00edficamente en el diagn\u00f3stico de im\u00e1genes gracias al auge del aprendizaje profundo (deep learning). En este caso, quise contribuir con mi tesis desarrollando un modelo de clasificaci\u00f3n de im\u00e1genes de melanomas usando redes neuronales convolucionales (ConvNets o CNNs) y vectores de Fisher.<\/strong><\/p>\n

La misma fue desarrollada en el laboratorio de Procesamiento de Im\u00e1genes y Visi\u00f3n por Computadora del Departamento de Computaci\u00f3n de la Facultad de Ciencias Exactas y Naturales de la Universidad de Buenos Aires.<\/span> Mi director fue el Dr. Daniel Germ\u00e1n Acevedo<\/strong> y la Dra. Marta Mejail<\/strong> tuvo una funci\u00f3n de codirecci\u00f3n.<\/span><\/p>\n

Introducci\u00f3n\u00a0<\/b><\/p>\n

\u00a0\u00a0\u00a0El melanoma constituye el cancer de piel m\u00e1s serio, generando aproximadamente 40000 muertes anuales en el mundo. Se produce cuando las c\u00e9lulas llamadas melanocitos que se se encuentran en la epidermis se convierten en melanoma. En <\/span>Estados Unidos<\/span>, seg\u00fan estudios realizados en la base de datos SEER1<\/sup><\/span>, aproximadamente el 98% de los melanomas detectados en una fase inicial son curables. Sin embargo solo el 8% tienen una supervivencia de 5 a\u00f1os cuando es detectado en una fase avanzada (American Cancer Society). Por tal motivo, resulta de vital importancia realizar un modelo para detectar dichas lesiones cut\u00e1neas en un estad\u00edo temprano y por ende reducir el n\u00famero de v\u00edctimas por esta causa. Para la construcci\u00f3n de dicho modelo me bas\u00e9 en las CNNs, tanto para la segmentaci\u00f3n como para la clasificaci\u00f3n de las im\u00e1genes. Particularmente, las CNNs son un tipo de Red Neuronal Artificial con aprendizaje supervisado. Fueron inspiradas por los trabajos en neurociencia de Hubel y Wiesel <\/span>[1]<\/span> en lo que respecta a la corteza visual de los gatos en los a\u00f1os 1960s. Espec\u00edficamente, estudiaron el comportamiento de la corteza visual primaria (V1) de un gato cuando se le presentan ciertas im\u00e1genes en una pantalla. Con lo cual, el funcionamiento de las capas de la CNN imitan dicho comportamiento para identificar distintas caracter\u00edsticas en las entradas con el objetivo de clasificar (o \u201cver\u201d) los objetos. Para ello, la CNN contiene varias capas especializadas y con una jerarqu\u00eda: esto quiere decir que las primeras capas pueden detectar l\u00edneas, curvas y se van especializando hasta llegar a las capas m\u00e1s profundas que reconocen formas complejas como un rostro o la silueta de un animal. La arquitectura general de una CNN consiste en una capa de entrada, capa(s) intermedia(s) y una capa de salida. Existen varios tipos de capas, entre ellas: las obtenidas por operaciones de convoluci\u00f3n, las que se obtienen por operaciones de pooling (submuestreo) y las totalmente conectadas (clasificaci\u00f3n). Las capas obtenidas por las operaciones de convoluci\u00f3n y pooling se obtienen con los denominados Kernels2<\/sup><\/span>.<\/span><\/p>\n

\"\"<\/a>

Figura 1: (Izquierda) Secuencia de bloques b\u00e1sicos que dispone una CNN. (Derecha) Los trabajos en neurociencia de Hubel y Wiesel que inspiraron el funcionamiento de una CNN.<\/p><\/div>\n

\u00a0\u00a0\u00a0A continuaci\u00f3n se explicar\u00e1 el trabajo realizado dividido en las siguientes etapas: preprocesamiento, el modelo para la segmentaci\u00f3n, los modelos utilizados para la clasificaci\u00f3n, los resultados obtenidos y las conclusiones que se hallaron.<\/span><\/p>\n

Preprocesamiento (datasets y algoritmo Max-RGB)<\/b><\/p>\n

\u00a0\u00a0\u00a0Se utilizaron las im\u00e1genes recibidas de la Dra. Viviana Kowalckzuc del Hospital Italiano y las de los sitios web: ISIC Archive y Dermnet. A todas las im\u00e1genes se les aplic\u00f3 el algoritmo Max-RGB <\/span>[2]<\/span> con el objetivo de reducir la distorsi\u00f3n que puede producir la luz del iluminante al capturar dichas im\u00e1genes.<\/span><\/p>\n

\"\"<\/a>

Figura 2: Algoritmo Max-RGB para la reducci\u00f3n de la distorsi\u00f3n de la imagen que puede causar el iluminante.<\/p><\/div>\n

Segmentaci\u00f3n\u00a0<\/b>
\n\u00a0\u00a0\u00a0Se obtuvieron 2 modelos de clasificaci\u00f3n, uno utiliza las im\u00e1genes de las lesiones segmentadas y el otro las im\u00e1genes sin segmentar. Con lo cual, para la segmentaci\u00f3n se utiliz\u00f3 una de red custom Encoder-Decoder del tipo U-Net <\/span>[3]<\/span>. Se aclara que al \u00e1rea que se encuentra fuera de la lesi\u00f3n se le aplic\u00f3 una escala de grises para no perder el contexto de la imagen.<\/span><\/p>\n

\"\"<\/a>

Figura 3: Red Encoder-Decoder para la segmentaci\u00f3n de las im\u00e1genes.<\/p><\/div>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

Clasificaci\u00f3n<\/b><\/p>\n

\u00a0\u00a0\u00a0El estudio de la clasificaci\u00f3n autom\u00e1tica de im\u00e1genes de melanomas no es nueva. En el a\u00f1o 2005 empezaron a utilizarse los primeros clasificadores en este \u00e1rea, basados en los conocidos m\u00e9todos utilizados por los dermat\u00f3logos: ABCD <\/span>[4]<\/span> y Argenziano <\/span>[5]<\/span>. La complejidad de los modelos utilizados fue aumentando, desde los tradicionales \u00e1rboles de decisi\u00f3n hasta las\u00a0 modernas CNNs. Antes de la llegada de este tipo de redes, una t\u00e9cnica ampliamente utilizada eran los vectores de Fisher <\/span>[6]<\/span> (y sus variaciones) como codificador de im\u00e1genes para luego utilizar un modelo de clasificaci\u00f3n sobre estos vectores generados. A modo de ejemplo, en el a\u00f1o 2011 el equipo de Xerox <\/span>[7]<\/span> gan\u00f3 la competencia que se realiza anualmente sobre el dataset ImageNet3<\/sup> y en el a\u00f1o 2012 el equipo de la Universidad Nacional de Singapur <\/span>[8]<\/span> fue el ganador de la competencia que se realiza sobre el dataset PASCAL VOC4<\/sup><\/span>. Por ende, un experimento que se podr\u00eda realizar ser\u00eda mezclar los vectores de Fisher con las CNNs, conformando un modelo H\u00edbrido. Siguiendo con este razonamiento, se obtuvieron los descriptores de la \u00faltima capa convolucional de la red VGG-16 <\/span>[9]<\/span> ya que sirven como base para el c\u00e1lculo de los vectores de Fisher. El modelo H\u00edbrido resultante es:<\/span><\/span><\/p>\n

\"\"<\/a>

Figura 4: Modelo H\u00edbrido conformado por los vectores de Fisher calculados a partir de los descriptores de la \u00faltima capa convolucional de la red VGG-16.<\/p><\/div>\n

Es decir, a los descriptores obtenidos de las im\u00e1genes (mediante la red convolucional VGG-16) se les aplic\u00f3 PCA y GMM para luego calcular los vectores de Fisher. Por \u00faltimo se aplic\u00f3 un modelo lineal (SVM con kernel lineal) ya que se verifica (seg\u00fan diversos experimentos) que tiene una buena performance cuando se lo emplea con este tipo de vectores.<\/p>\n

\u00a0\u00a0\u00a0El m\u00e9todo empleado en el presente trabajo para visualizar las zonas de la imagen que \u201cvio\u201d la CNN para realizar la clasificaci\u00f3n de la lesi\u00f3n fue el Grad-CAM <\/span>[10]<\/span>. El objetivo de este m\u00e9todo es constatar si la red est\u00e1 \u201cviendo\u201d zonas que comprenden a la lesi\u00f3n cut\u00e1nea pigmentada para verificar que el entrenamiento de la red se est\u00e9 realizando en forma adecuada.<\/span><\/p>\n

\"\"<\/a>

Figura 5: Empleo del m\u00e9todo Grad-CAM para verificar las zonas que vi\u00f3 la CNN para realizar la clasificaci\u00f3n.<\/p><\/div>\n

Por otro lado, para entender a\u00fan m\u00e1s los modelos entrenados, se visualizaron las im\u00e1genes de entrada que producen una m\u00e1xima activaci\u00f3n (en los mapas de activaci\u00f3n5<\/sup><\/span>) para los kernels de las distintas capas convolucionales de la red VGG-16. A modo de ejemplo se anexa un video que muestra como partiendo de una imagen con ruido (y a medida que transcurren las iteraciones) se llegan a visualizar los patrones espec\u00edficos que maximizan el mapa de activaci\u00f3n de un Kernel en la red utilizada y que ya se encuentra entrenada (VGG-16): <\/span><\/p>\n

\"\"<\/a><\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

\u00a0 \u00a0El modelo que tuvo la mejor performance fue el constituido por un <\/span>Ensamble<\/b> entre 2 modelos H\u00edbridos (uno con im\u00e1genes sin segmentar y otro con im\u00e1genes segmentadas) y el modelo que utiliza la red convolucional VGG-16 con las im\u00e1genes sin segmentar.\u00a0<\/span><\/p>\n

\u00a0\u00a0\u00a0Se aclara que las CNNs fueron entrenadas utilizando las t\u00e9cnicas de Data Augmentation, Transfer Learning y Fine Tuning.<\/span><\/p>\n

Resultados y conclusiones<\/b><\/p>\n

Los resultados del Ensamble en los distintos datasets de prueba fueron los siguientes.<\/span><\/p>\n

\"\"<\/a>

Tabla 1: Resultados del Ensamble en los distintos conjuntos de datos de prueba.<\/p><\/div>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

\"\"<\/a>

Figura 6: AUC y AP del Ensamble en los distintos conjuntos de datos de prueba.<\/p><\/div>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

 <\/p>\n

Los resultados de este trabajo fueron presentados en el art\u00edculo \u201cClasificaci\u00f3n de im\u00e1genes de melanomas con vectores de Fisher y deep learning\u201d6<\/sup>\u00a0<\/span> y enviados a la conferencia 23rd Iberoamerican Congress on Pattern Recognition (CIARP) 2018 para su publicaci\u00f3n. Dicho art\u00edculo fue aceptado el 01\/10\/2018 y publicado el 22\/11\/2018.\u00a0<\/span><\/p>\n

\u00a0\u00a0\u00a0Dentro de las conclusiones m\u00e1s representativas que se obtuvieron se pueden citar las siguientes:\u00a0<\/span><\/p>\n