Análisis TAPAS - IBM

El pronóstico del rendimiento de una red neuronal es una pesadilla para todos los científicos de datos. Cada mes, docenas de nuevos algoritmos de investigación de deep learning se publican haciendo afirmaciones increíbles sobre su desempeño. Sin embargo, aplicar esos algoritmos a problemas del mundo real requiere un salto de fe en que el modelo pueda lograr niveles similares de rendimiento con conjuntos de datos nuevos. No es sorprendente que muchos de los algoritmos de investigación que funcionaron increíblemente bien para conjuntos de datos específicos fracasen cuando se aplican a diferentes dominios. Recientemente, los investigadores del laboratorio de inteligencia artificial (AI) de IBM en Zurich publicaron un nuevo artículo que propone un método que utiliza redes neuronales para predecir el rendimiento de un nuevo modelo antes del entrenamiento de las redes.

Al principio, la idea de estimar el rendimiento de un modelo de deep learning antes de entrenar suena absurdo. Después de todo, el entrenamiento es la principal forma en que las redes neuronales construyen su conocimiento y su estructura. Sin embargo, IBM abordó este problema desde un ángulo inesperado al intentar recrear la intuición humana. Si le muestra a un experto en deep learning una red neuronal y un conjunto de datos de muestra y pregunta si la red tendrá un buen desempeño o no, el experto tendrá una intuición al respecto. Por ejemplo, reconocerá de inmediato si la red neuronal es una buena opción para el problema objetivo o si las diferentes capas están estructuradas de una manera que optimice la precisión.

El predictor de precisión para la búsqueda de arquitectura (TAPAS) es un predictor de precisión de red neuronal profunda que estima el rendimiento de una red neuronal para conjuntos de datos nuevos. TAPAS intenta algorítmizar las intuiciones de los expertos en deep learning que intentan predecir el rendimiento de modelos específicos. Lo hace adaptando predicciones basadas en la complejidad de un conjunto de datos específico y el conocimiento de una arquitectura de red neuronal específica. Las principales contribuciones del marco TAPAS se pueden resumir como sigue:

  1. TAPAS no está limitado a ningún conjunto de datos específico

  2. TAPAS puede aprender de experimentos anteriores, independientemente del conjunto de datos que involucren, mejorando la predicción sobre el uso.

  3. TAPAS permite ejecutar búsquedas de arquitectura a gran escala en un solo dispositivo GPU en unos pocos minutos.

La primera versión de TAPAS se centra en estimar el rendimiento de las redes neuronales convolucionales (CNN), pero los principios se pueden adaptar a otras arquitecturas de deep learning.

TAPAS aprovecha una caracterización compacta del conjunto de datos de entrada proporcionados por el usuario, así como una base de datos en crecimiento dinámico de redes neuronales entrenadas y el rendimiento asociado. La arquitectura TAPAS se ilustra en la siguiente figura:

1*K7uhYbm_p09jm-ykwy8R2Q.png

Aunque el modelo TAPAS es increíblemente sofisticado, su funcionalidad central se basa en tres componentes fundamentales:

1) Caracterización del conjunto de datos (DC): este componente estima la dificultad de un conjunto de datos específico utilizando un puntaje numérico denominado Número de caracterización del conjunto de datos (DCN). Las puntuaciones DCN se calculan primero entrenando una red de sondeo para obtener una estimación de la dificultad del conjunto de datos.

2) Base de datos de experimentos de por vida (LDE): este componente es una DB en continuo crecimiento, que ingiere cada nuevo experimento efectuado. Un experimento incluye la descripción de la arquitectura de la CNN, los hiperparámetros de entrenamiento, el conjunto de datos empleado, así como la precisión alcanzada.

3) Predictor de precisión sin entrenamiento (TAP): este componente predice el rendimiento de una CNN sin un ciclo de entrenamiento. TAP aprovecha el conocimiento acumulado a través de experimentos de conjuntos de datos de dificultad similar filtrados del LDE basado en el DCN. TAP utiliza un método inteligente en cascada para analizar el rendimiento de una capa específica, suponiendo que se conozca el rendimiento de sus subcapas.

1*JZoJjn2MT3u-eHVVvYJQgg.png