Métodos de Aprendizaje Profundo en clasificación ORDINAL (MAP-ORDINAL)

Hits: 8370
Status:
Not started
Project leaders:
Collaborators:
Proposed start date:
2021-07-01
Proposed end date:
2022-12-31

Description:

Organismo: Junta de Andalucía

Periodo: 2021-2022

 

Resumen en español:

El proyecto aborda el desarrollo de nuevos métodos de diseño de modelos de redes neuronales profundas (RNP) para clasificación ordinal, centrando nuestra investigación en dos vertientes. La primera vertiente considera elementos de diseño de vital importancia: i) tipo de función de enlace en clasificación ordinal;  ii) función de activación, analizando funciones alternativas a las funciones de unidades lineales rectificadas (ReLU) o funciones más complejas de tipo softplus (s+), con idea de encontrar funciones parametrizadas y combinaciones lineales de estas con funciones de unidades lineales exponenciales (ELU). En cuanto a las funciones de enlace, se pretenden desarrollar nuevas alternativas de clasificación ordinal por umbralización, considerando funciones de enlace generalizadas y, para las funciones asociadas a distribuciones unimodales probabilísticas, consideraremos alternativas a las distribuciones binomial y de Poisson: distribuciones exponenciales y Beta, donde los parámetros de las mismas se obtendrán utilizando intervalos de confianza limitados por los umbrales de cada clase. Con respecto a la función de activación, se analizarán nuevas familias de funciones de activación dependientes de un parámetro que extiende la función s+, pudiéndose combinar linealmente con funciones ELU y dando lugar a funciones mucho más flexibles, que además presentan gran sencillez del cálculo de sus derivadas y evitan el desvanecimiento de gradiente. La segunda vertiente es utilizar técnicas de neuroevolución para determinar la mejor configuración de la arquitectura y del resto de hiperparámetros, evitando el costoso proceso de prueba y error que requiere el ajuste de los distintos parámetros. Aplicaremos los algoritmos desarrollados a dos problemas reales de biomedicina: análisis de supervivencia de órganos trasplantados en trasplante hepático y análisis de imágenes volumétricas para el diagnóstico de los diferentes estadios de la enfermedad de Parkinson.

 

Resumen en inglés:

 

 

The project addresses the development of new methods for the design of deep neural network (DNN) models for ordinal classification, focusing our research on two aspects. The first aspect considers design elements of vital importance: i) type of link function in ordinal classification; ii) activation function, analysing alternative functions to rectified linear unit functions (ReLU) or more complex softplus functions (s+), with the idea of finding parameterised functions and linear combinations of these with exponential linear unit functions (ELU). As for the link functions, we intend to develop new alternatives of ordinal classification by thresholding, considering generalised link functions and, for the functions associated with unimodal probabilistic distributions, we will consider alternatives to the binomial and Poisson distributions: exponential and Beta distributions, where their parameters will be obtained using confidence intervals limited by the thresholds of each class. With respect to the activation function, new families of activation functions dependent on a parameter that extends the s+ function will be analysed, which can be linearly combined with ELU functions and give rise to much more flexible functions, which also present great simplicity in the calculation of their derivatives and avoid gradient fading. The second aspect is to use neuroevolution techniques to determine the best configuration of the architecture and the rest of the hyperparameters, avoiding the costly process of trial and error required to adjust the different parameters. We will apply the developed algorithms to two real biomedical problems: survival analysis of transplanted organs in liver transplantation and volumetric image analysis for the diagnosis of the different stages of Parkinson's disease.