consejos prácticos para acelerar el entrenamiento de redes neuronales / Sudo Null IT News

Seguimos estudiando cómo acelerar el entrenamiento de redes neuronales. En el último artículo nos sumergimos en los aspectos teóricos de este problema. Hoy pasemos a la práctica.

Examinaremos varios estudios interesantes que demuestran la eficacia de diversos enfoques para acelerar las redes neuronales en una variedad de tareas y conjuntos de datos. Luego discutiremos recomendaciones prácticas para elegir y combinar métodos de optimización y le diremos qué herramientas son mejores para crear perfiles y monitorear el proceso de aprendizaje. Para colmo, veremos bibliotecas útiles para un desarrollo rápido y eficiente.

Investigación y sus resultados.

Para evaluar exhaustivamente la eficacia de los métodos de optimización de redes neuronales, no basta con limitarnos únicamente al análisis teórico. También es necesario probar estos métodos en problemas de aplicación reales y conjuntos de datos generalmente aceptados. Afortunadamente, muchos investigadores ya han realizado experimentos similares. Por supuesto, no será posible considerarlos todos, pero tomé como ejemplo una muestra de cinco estudios.

Comparación de varias técnicas de aceleración en problemas y conjuntos de datos reales.

Una dirección prometedora es la optimización del gradiente. Yuzhong Yun y colegas en el trabajo “Normalización de gradientes con puntuación Z para acelerar el entrenamiento de redes neuronales“propuso el método ZNorm, que iguala la escala de gradientes entre las capas de la red. Los experimentos realizados en conjuntos de datos de clasificación de imágenes estándar (CIFAR-10 e ImageNet) mostraron que ZNorm supera a métodos como el recorte y la centralización de gradiente, proporcionando una convergencia más rápida y una mayor precisión. La ventaja clave de ZNorm es que prácticamente no requiere cálculos adicionales. Esto lo convierte en un buen método de aceleración.

Otra área en rápido desarrollo es la optimización del entrenamiento de redes neuronales de gráficos (GNN). Hesham Mostafa y coautores del artículo “Acelerar el entrenamiento distribuido de redes neuronales de gráficos para gráficos de mil millones de escala» presentó el método FastSample, destinado a trabajar con gráficos extremadamente grandes. Combina un nuevo algoritmo de partición de gráficos que minimiza las comunicaciones entre nodos y un núcleo de muestreo optimizado que reduce la cantidad de datos enviados. Los experimentos con gráficos a gran escala han demostrado una doble aceleración del entrenamiento de las arquitecturas GNN modernas (GraphSAGE, GAT) sin pérdida de precisión. Además, FastSample ha demostrado una excelente escalabilidad en un entorno distribuido, lo que permite procesar gráficos de tamaños récord (cientos de miles de millones de aristas) con un aumento moderado de los recursos informáticos.

A continuación se muestra un gráfico de la aceleración en el tiempo de muestra y el tiempo total de entrenamiento cuando se entrena en un solo nodo en el conjunto de datos ogbn-papers100M. Los núcleos de muestreo altamente optimizados en DGL se utilizaron como línea de base. El gráfico muestra las aceleraciones para diferentes tamaños de minilotes (1024, 2048, 4096, 8192 y 10240) y diferentes valores de distribución para cada una de las tres capas GNN del modelo.

Muchos investigadores confían en aceleradores de hardware especializados. Un ejemplo sorprendente es el sistema MaxK-GNN, Diseñado por Hongwu Peng. y su equipo para entrenar redes neuronales gráficas en GPU. MaxK-GNN combina eficazmente optimización algorítmica y de hardware. A nivel de hardware, se implementan núcleos especializados para operaciones de paso hacia adelante y hacia atrás. A nivel algorítmico se propone una nueva no linealidad MaxK, que teóricamente se justifica como aproximador universal. Los experimentos con numerosos conjuntos de datos han demostrado que MaxK-GNN logra la calidad de los modelos más modernos con una aceleración de 3 a 4 veces.

Mención especial merecen los enfoques híbridos cuánticos-clásicos, que aún se están explorando. En el trabajo “Programación híbrida cuántica-clásica para acelerar el entrenamiento de redes neuronales de descenso de gradiente newtoniano» Pingzhi Li y sus colegas propusieron el programador Q-Newton para acelerar el entrenamiento de redes neuronales de segundo orden (método de Newton). La idea clave es la distribución de subproblemas entre solucionadores cuánticos y clásicos de sistemas lineales basados ​​en una estimación heurística del número de condición. Las pruebas con datos sintéticos mostraron una reducción múltiple en el tiempo de entrenamiento en comparación con los enfoques tradicionales de primer orden (SGD). Y aunque el uso práctico de Q-Newton requerirá computadoras cuánticas bastante potentes, estos circuitos híbridos tienen buenas posibilidades de superar las limitaciones computacionales de los sistemas clásicos.

Otra tendencia importante es la adaptación de las arquitecturas modernas de redes neuronales a dispositivos de bajo consumo. Matteo Presciutto en el artículo “Comprima y acelere redes neuronales en hardware con recursos limitados para realizar inferencias en tiempo real» utilizó la cuantificación de pesos y activaciones para portar redes neuronales a procesadores DSP ampliamente utilizados en sistemas integrados. La técnica propuesta hizo posible reducir el tamaño de los modelos 4 veces con una pérdida mínima de precisión (menos del 1% en los datos de prueba). Esto abre el camino para las redes neuronales y los sistemas en tiempo real, desde teléfonos inteligentes hasta pilotos automáticos.

Análisis del impacto de las optimizaciones en el rendimiento y la calidad del modelo.

Entonces, ¿qué lograron finalmente estas optimizaciones?

1. La normalización de gradiente ZNorm mejora la velocidad y la solidez del entrenamiento, lo que le permite producir mejores modelos en menos tiempo. Al mismo tiempo, ZNorm prácticamente no requiere esfuerzo computacional, lo que lo hace atractivo para acelerar arquitecturas profundas modernas. Como resultado, ZNorm proporciona un aumento múltiple en la velocidad de convergencia en comparación con los métodos básicos.

2. La optimización del muestreo de gráficos de FastSample reduce significativamente el tiempo de entrenamiento de GNN en gráficos dispersos muy grandes. Esto ocurre minimizando las comunicaciones entre nodos y el volumen de datos enviados. Una ventaja adicional es la excelente escalabilidad en un entorno distribuido, que permite procesar gráficos de tamaño récord (cientos de miles de millones de aristas) con un aumento moderado de los recursos informáticos. Es importante que al mismo tiempo sea posible mantener una alta precisión de los modelos.

3. Los aceleradores de hardware como MaxK-GNN proporcionan un aumento múltiple en el rendimiento del entrenamiento de redes neuronales de gráficos manteniendo la calidad de los modelos. Demuestran claramente el efecto sinérgico de la optimización conjunta de los niveles de hardware y algoritmo. Los núcleos dedicados de paso hacia adelante y hacia atrás utilizan de manera eficiente los recursos de la GPU, y las innovaciones algorítmicas como la no linealidad MaxK mejoran la representatividad de los modelos. Los resultados de una sinergia a nivel competente son obvios.

4. Los enfoques híbridos cuánticos-clásicos, como el programador Q-Newton, tienen el potencial de acelerar significativamente el entrenamiento de redes neuronales de segundo orden en comparación con los métodos clásicos. Y en los experimentos realizados, el tiempo de entrenamiento se redujo hasta 4 veces. Sin embargo, para seguir avanzando en esta tecnología se necesitan ordenadores cuánticos de suficiente potencia, que todavía no existen.

5. Los algoritmos de compresión de modelos, como la cuantificación, pueden acelerar significativamente la inferencia y reducir los requisitos de memoria con una degradación mínima de la precisión. Por ejemplo, pasar de la cuantificación de 32 bits a 8 bits reduce el tamaño del modelo 4 veces sin prácticamente ninguna pérdida de precisión. Esto hace posible ejecutar redes neuronales modernas en sistemas integrados de bajo consumo, como procesadores DSP, en escenarios en tiempo real.

Se trata sólo de una serie de estudios sobre este tema, pero ilustran bien la tendencia general: el salto está por llegar. Aunque algunos de los enfoques considerados, especialmente los del campo de la computación cuántica, aún permanecen en el nivel de la investigación fundamental, el vector general hacia la especialización y la hibridación es evidente.

Recomendaciones y consejos

Ahora quiero darte algunas recomendaciones prácticas que te serán útiles en experimentos con aceleración.

Seleccionar la combinación óptima de métodos para una tarea específica

Con toda la variedad de métodos modernos para optimizar redes neuronales, no existe una solución universal adecuada para cualquier tarea. Cada enfoque tiene sus propias fortalezas y debilidades que deben tenerse en cuenta al elegir una estrategia de optimización.

El primer factor importante son las características del problema en sí y de los datos. Por ejemplo, si trabajamos con datos secuenciales como texto o series temporales, entonces las arquitecturas recurrentes como LSTM o GRU pueden ser una buena opción. Para ellos, es de vital importancia organizar correctamente la transferencia de estado entre los pasos de la secuencia, utilizando, por ejemplo, implementaciones efectivas de kernels CUDA o marcos como cuDNN.

Si la tarea está relacionada con el procesamiento de gráficos, entonces debe prestar atención a los métodos para optimizar las redes neuronales de gráficos. Para gráficos grandes y dispersos, métodos como FastSample son muy adecuados, ya que minimizan las comunicaciones entre los nodos del clúster. Para gráficos densos, puede utilizar aceleradores de hardware como MaxK-GNN, que utilizan de forma eficaz los recursos de la GPU.

Otro aspecto importante son los recursos informáticos disponibles. Si el modelo se entrena en una sola GPU, entonces la atención debe centrarse en optimizaciones algorítmicas como ZNorm o cuantificación. Si tiene un clúster con muchos nodos, puede utilizar métodos de aprendizaje distribuido como Horovod o PyTorch DDP.

Finalmente, es necesario tener en cuenta las características del propio modelo. Para redes convolucionales profundas, es fundamental optimizar las operaciones de convolución, como el uso de métodos Winograd o FFT. Para los transformadores, el papel clave lo desempeña la optimización de la operación de atención, que representa la carga computacional principal. Aquí puede aplicar métodos de cálculo de atención aproximado, como Linformer o Reformer.

En general, elegir la combinación óptima de métodos es siempre un compromiso entre velocidad, precisión y costos de recursos. Por lo tanto, en la práctica, es necesario un análisis exhaustivo del problema y la selección experimental de la mejor combinación de arquitectura, algoritmos de aprendizaje y plataforma de hardware.

Perfilar y monitorear el proceso de aprendizaje.

Para identificar cuellos de botella y optimizar el proceso de entrenamiento de la red neuronal, es necesario realizar su perfilado y seguimiento. Los marcos modernos como PyTorch y TensorFlow brindan capacidades ricas para recopilar y visualizar diversas métricas de rendimiento.

Por ejemplo, PyTorch tiene un generador de perfiles incorporado, torch.profiler, que le permite medir el tiempo de ejecución y el consumo de memoria a nivel de declaraciones individuales. Con su ayuda, puede encontrar las operaciones más costosas y centrar los esfuerzos de optimización en ellas. PyTorch también proporciona ganchos convenientes para recopilar valores de tensor intermedios, gradientes y otras cantidades durante los pases hacia adelante y hacia atrás. Esto es útil para depurar y monitorear el proceso de capacitación.

En TensorFlow, puede utilizar la herramienta TensorBoard para crear perfiles, que le permite visualizar el gráfico computacional, analizar la utilización de recursos y encontrar cuellos de botella. El generador de perfiles tf.profiler también puede resultar útil, ya que proporciona información detallada sobre el tiempo de ejecución y el consumo de memoria a nivel de operaciones individuales.

Herramientas como Weights and Biases (wandb) o TensorBoard son buenas herramientas para monitorear el proceso de aprendizaje en tiempo real. Le permiten registrar varias métricas, visualizar su dinámica, comparar experimentos y realizar un seguimiento de la utilización de recursos. Esto ayuda a diagnosticar rápidamente problemas de convergencia, sobreajuste y uso subóptimo de los recursos.

Al distribuir la capacitación en un clúster, es importante monitorear la actividad de la red y el equilibrio de carga entre los nodos. Para hacer esto, puede utilizar tanto herramientas estándar como Ganglia o Prometheus como soluciones especializadas para clústeres de aprendizaje profundo, como Horovod Timeline o tf.contrib.timeline de TensorFlow.

Además de las métricas de alto nivel, la creación de perfiles de rendimiento a nivel de operaciones y núcleos CUDA individuales es útil para una optimización profunda. Para hacer esto, puede utilizar herramientas como Nsight Compute y Nsight Systems de NVIDIA, que brindan información detallada sobre el rendimiento de la GPU y la utilización de recursos. Ayudan a identificar cuellos de botella, optimizar el uso de la memoria y paralelizar eficazmente los cálculos.

La elaboración de perfiles y el seguimiento periódicos son la clave para comprender el comportamiento del modelo y optimizar eficazmente el proceso de formación. Esto es especialmente importante cuando se trabaja con modelos grandes y complejos, donde el costo del error es alto y los recursos limitados. El uso inteligente de herramientas de visualización y creación de perfiles le ayuda a encontrar y solucionar problemas rápidamente, aumentando así la eficiencia de la investigación y el desarrollo.

Optimización del canal de datos

Otro aspecto importante del entrenamiento eficaz de redes neuronales es la optimización del canal de datos. Esto incluye los pasos de extraer, transformar y cargar datos, así como introducirlos de manera eficiente en el modelo.

Uno de los principales problemas es el cuello de botella de entrada/salida (cuello de botella de E/S), cuando la velocidad de alimentación de datos no sigue el ritmo de la velocidad de cálculo en la GPU. Para resolver este problema, es necesario paralelizar y optimizar las operaciones de preprocesamiento de datos y E/S tanto como sea posible.

El primer paso es utilizar formatos rápidos de almacenamiento de datos como TFRecord, Feather, Parquet. Le permiten serializar y deserializar tensores de manera eficiente, así como almacenarlos en forma comprimida, ahorrando espacio en disco y tiempo de lectura.

Luego, es necesario organizar un proceso de preprocesamiento de datos que realizará todas las transformaciones necesarias sobre la marcha, sin guardar los resultados intermedios en el disco. Esto le permite evitar llenar la memoria y paralelizar los cálculos. Un buen ejemplo de este tipo de canalización es tf.data en TensorFlow o torch.utils.data en PyTorch.

Una técnica clave para acelerar la canalización es la captación previa, es decir, cargar el siguiente lote de datos en segundo plano mientras el modelo procesa el lote actual. Esto permite que el tiempo de E/S se superponga con el tiempo de cálculo y elimine casi por completo el cuello de botella de E/S. La mayoría de los marcos de aprendizaje profundo admiten la captación previa lista para usar, solo necesita configurar el tamaño del búfer y la cantidad de subprocesos correctamente.

Otro truco útil es almacenar en caché los datos a los que accede con más frecuencia en la RAM o en un SSD. Esto evita leer los mismos datos una y otra vez desde un almacenamiento de red lento o una base de datos remota. El almacenamiento en caché es especialmente eficaz cuando se itera sobre el mismo conjunto de datos varias veces, como cuando se entrena con una gran cantidad de épocas.

Finalmente, para el aprendizaje distribuido en un clúster, es importante minimizar la cantidad de datos enviados entre nodos. Para ello se pueden utilizar técnicas de compresión y cuantificación de datos, así como algoritmos para su distribución eficiente entre nodos, como Ring AllReduce o Parameter Server.

La etapa de optimización de la canalización a menudo se subestima como un aspecto del entrenamiento eficaz de una red neuronal. Aunque una canalización ETL construida correctamente puede acelerar el procesamiento de datos en órdenes de magnitud y ahorrar una cantidad significativa de recursos informáticos. Por el contrario, una organización de E/S subóptima puede anular todos los esfuerzos para optimizar el modelo y la infraestructura.

Bibliotecas y marcos útiles

Finalmente, me gustaría señalar varias bibliotecas y marcos útiles que pueden facilitar y acelerar significativamente el desarrollo y entrenamiento de redes neuronales.

El primero es PyTorch Lightning, un complemento de alto nivel para PyTorch que proporciona abstracciones convenientes para organizar código, capacitación distribuida, registro y visualización de métricas. Lightning le permite concentrarse en el modelo en sí y experimentar rápidamente con diferentes arquitecturas e hiperparámetros sin distraerse con detalles de bajo nivel.

Keras, una API de alto nivel para crear y entrenar redes neuronales, desempeña un papel similar para TensorFlow. Keras proporciona una interfaz simple e intuitiva para definir la arquitectura del modelo, seleccionar el optimizador y la función de pérdida y configurar el proceso de capacitación. Es compatible con varios backends (TensorFlow, Theano, CNTK) y se puede utilizar de forma independiente o como parte de procesos más complejos.

Para trabajar con modelos de lenguajes grandes (BERT, GPT, T5, etc.), la biblioteca Transformers de Hugging Face es una herramienta indispensable. Proporciona modelos preentrenados listos para usar e interfaces convenientes para el ajuste fino y la inferencia de transformadores para diversas tareas de procesamiento del lenguaje natural (NLP). La biblioteca está optimizada para una capacitación eficaz en GPU y TPU, admite varios marcos y se actualiza constantemente con nuevos modelos de última generación.

Si necesita implementar rápidamente un servicio basado en una red neuronal, entonces el marco FastAPI puede ser una buena opción. Le permite crear una API REST para su modelo con un mínimo esfuerzo y proporciona alto rendimiento y generación automática de documentación. FastAPI se basa en una pila Python asincrónica moderna (Starlette, Pydantic, uvicorn) y es muy adecuado para arquitecturas de microservicios.

Finalmente, para monitorear y visualizar el proceso de aprendizaje, debes prestar atención a TensorBoard y Weights and Biases (wandb). La primera es la herramienta de visualización oficial de TensorFlow, pero también admite registros de PyTorch y otros marcos a través de una API simple. El segundo es un servicio en la nube independiente con ricas capacidades para rastrear experimentos, comparar métricas, guardar artefactos y colaborar.

Por supuesto, esta no es una lista completa de herramientas útiles y, dependiendo de la tarea y la pila específicas, pueden resultar útiles bibliotecas completamente diferentes. Lo principal es no tener miedo de experimentar, seguir el desarrollo del ecosistema y seleccionar las herramientas óptimas para sus necesidades. Después de todo, como dijo Donald Knuth, “la optimización prematura es la raíz de todos los males”, y esto se aplica plenamente al desarrollo de redes neuronales. Primero es necesario crear un prototipo funcional y solo entonces, según sea necesario, optimizar su rendimiento y eficiencia. Y aquí es donde vendrán al rescate los frameworks y bibliotecas adecuadamente seleccionados.

Probablemente eso sea todo. Espero que este artículo le ayude en la difícil pero apasionante tarea de optimizar las redes neuronales. Recuerda que detrás de cada proyecto exitoso hay meses de arduo trabajo y muchos experimentos fallidos. Lo principal es no darse por vencido y seguir buscando mejores soluciones.

Si ya tienes experiencia en acelerar el aprendizaje neuronal o ideas sobre este tema, ¡asegúrate de compartirlas en los comentarios!