Entrenamiento eficiente de redes neuronales en espacios de alta dimensionalidad

Autor: 
Juan Iriarte
Fecha Defensa: 
17/04/2009
Resumen: 
La tarea de entrenar una red neuronal, es decir de encontrar eficientemente un apropiado mínimo de su función de error, es un problema abierto sobre el que se sigue avanzando. Recientemente, en la tesina del Lic. Rafael Namías, se introdujo el método RST (Random Sub-space Training) para la creación de ensambles de redes neuronales eficientes en problemas "anchos". Con este método se propuso el entrenamiento de cada red utilizando diversos sub-espacios de variables seleccionados aleatoriamente, lo que produjo una mejora en la diversidad, y por lo tanto en la eficiencia, del ensamble. Durante el desarrollo del método RST se encontraron evidencias de que la estrategia de entrenar redes neuronales en sub-espacios aleatorios podría producir mejores resultados que los métodos tradicionales en problemas anchos, no ya en diversidad sino en precisión de cada una de las redes. En este trabajo se analizó en profundidad esta idea. Se implementó en forma óptima el método de entrenamiento de redes neuronales multicapas por descenso por el gradiente en sub-espacios aleatorios. Esta estrategia de entrenamiento se evaluó en distintos problemas de clasificación y regresión, incluyendo datasets anchos correspondientes a problemas reales de interés actual, como por ejemplo la expresión de genes en microchips o el análisis con espectrometría PTR-MS de productos agro-industriales (frutillas, frambuesas, quesos). La nueva estrategia se comparó con métodos tradicionales de primer y segundo orden, y con otros algoritmos actuales de Machine Learning.
Institución: 
FCEIA (Facultad de Ciencias Exactas, Ingeniería y Agrimensura)
Director: Dr. Pablo M. Granitto