Algoritmo Robusto de Aprendizaje para el Modelo Mezcla de Expertos

Romina D. Torres (1,2), Héctor Allende (1), Horst von Brand (1), Max Chacón (2)

e-mails: Romina.Torres@motorola.com, hallende@inf.utfsm.cl, vonbrand@inf.utfsm.cl, mchacon@diinf.usach.cl

(1) Universidad Técnica Federico Santa María Chile
(2) Universidad de Santiago de Chile Chile

Abstract

El Modelo de Mezcla de Expertos (ME) es un tipo de Redes Neuronales Artificiales Modulares (MANN) especialmente adecuadas cuando el espacio de entrada se encuentra estratificado. La arquitectura está compuesta por diferentes módulos: redes expertas que compiten por aprender diferentes aspectos de un problema y una red de agregación que arbitra la competencia y aprende a asignar diferentes regiones del espacio de datos a diferentes expertos locales cuya topología parece ser la más apropiada. La regla de aprendizaje combina aspectos competitivos y asociativos y está diseñada para favorecer la competencia entre expertos locales, que permiten dividir el espacio ``automáticamente" en subregiones manejadas en lo posible por un único experto local.

El aprendizaje del modelo ME puede ser tratado como un problema de estimación de parámetros que maximizan la verosimilitud, donde el algoritmo de Máxima Expectación desacopla el proceso de estimación en una manera que calza con la estructura modular de la arquitectura ME.

Sin embargo, cuando los datos están expuestos a datos atípicos, el modelo es afectado debido a que el algoritmo es sensible a estas desviaciones obteniendo un bajo rendimiento. En esta tesis se propone robustificar el algoritmo EM para el modelo ME, obteniendo un algoritmo elegante, eficiente, de rápida convergencia debido a que aprovecha la modularidad del modelo (baja interferencia destructiva), y a la vez es insensible a los datos atípicos (acotando el impacto de ellos en la obtención de los estimadores pero sin eliminarlos). Para ésto se utiliza una generalización del estimador máximo verosímil conocido como M-estimadores.

En la fase de prueba se seleccionan problemas reales y con presencia de datos atípicos pertenecientes a la serie de problemas estándares DELVE y PROBEN1, para mostrar que el algoritmo Robusto de Máxima Expectación para Mezcla de Expertos (REM-ME) muestra mejoras significativas con respecto a los métodos clásicos.

Keywords:Redes Neuronales Artificiales Modulares, Modelos de Mezcla, Modelo Mezcla de Expertos, M-estimadores, Algoritmo de Máxima Expectación

BibTex

@INPROCEEDINGS{torres04:403,
                  AUTHOR       = {Romina D. Torres and Héctor Allende and Horst von Brand and Max Chacón},
                  TITLE        = {Algoritmo Robusto de Aprendizaje para el Modelo Mezcla de Expertos},
                  BOOKTITLE    = {30ma Conferencia Latinoamericana de Informática (CLEI2004)},
                  YEAR         = {2004},
                  editor       = {Mauricio Solar and David Fernández-Baca and Ernesto Cuadros-Vargas},
                  pages        = {1200--1216},
                  address      = {},
                  month        = Sep,
                  organization = {Sociedad Peruana de Computación},
                  note         = {ISBN 9972-9876-2-0},
                  file         = {http://clei2004.spc.org.pe/es/html/pdfs/403.pdf}
}

PDF de este artículo
PDF de CLEI2004 (incluye todos los artículos)
Página principal CLEI 2004
Generado por Sociedad Peruana de Computación