La supercomputadora Voyager de SDSC entra en fase de prueba

18 de mayo de 2022: Voyager, el recurso informático experimental recién instalado en el Centro de Supercomputación de San Diego (SDSC), está listo para su uso. Aprobada para la producción por la Fundación Nacional de Ciencias (NSF), la supercomputadora de alto rendimiento y alta eficiencia de UC San Diego está pasando a las pruebas operativas.

Concebido como un sistema para facilitar la exploración de nuevas arquitecturas para respaldar la inteligencia artificial (IA) en investigación e ingeniería, Voyager es una desviación significativa de los sistemas NSF anteriores que se enfocaban en proporcionar recursos informáticos para admitir aplicaciones tradicionales y modelos de programación. En cambio, Voyager enfatiza el compromiso profundo con la comunidad de investigación de IA y presenta hardware y software especializados, una estrecha colaboración con los equipos de aplicaciones y la oportunidad de compartir estas experiencias dentro de la comunidad.

El investigador principal de Voyager, Amit Majumdar, explicó que el proyecto Voyager respaldado por la NSF está estructurado en dos fases: 1) una fase de prueba de tres años y 2) una fase de asignación de dos años.

“La fase de prueba se centra en la participación profunda del usuario, donde grupos de investigación seleccionados proporcionarán información para ayudar a evaluar el rendimiento y el rendimiento de las innovadoras aplicaciones, software, bibliotecas y aprendizaje automático (ML) de aprendizaje profundo (DL) de Voyager”, dijo Majumdar.

La fase de pruebas estará dirigida por un consejo asesor externo que asistirá en la asignación de los grupos de investigación. Durante los primeros años, el proyecto ofrecerá talleres semestrales y foros de usuarios para compartir las lecciones aprendidas y reunir a los investigadores. Estos métodos ayudarán a desarrollar la base de conocimientos, mejores casos de uso para futuros usuarios y políticas de personalización. La fase de asignaciones será seguida por un proceso aprobado por NSF, que será informado de las lecciones aprendidas de la fase de prueba, soporte de usuario regular y avanzado, talleres bianuales y participación de la industria para evaluar tecnología similar.

“La Fundación Nacional de Ciencias se complace en ver que el sistema Voyager pasa a la fase de prueba operativa”, dijo Manish Parashar, director de NSF, Oficina de Infraestructura Electrónica Avanzada (OAC). «La investigación de inteligencia artificial juega un papel cada vez más importante en todas las áreas de la ciencia, la investigación en ingeniería y la educación. Con sus capacidades especializadas en hardware, software e interacciones profundas, Voyager puede ser un gran recurso para la sociedad, brindando nuevas oportunidades de investigación y estimulando la innovación. .”

Según Majumdar, la arquitectura Voyager presenta innovaciones de hardware y software que conducirán a mejoras en el rendimiento y facilitarán la portabilidad y el desarrollo de modelos en IA. Voyager 42 incluye un sistema de entrenamiento Supermicro X12 Gaudi® AI con 336 Habana Gaudí Wizards -diseñado para extender la gama de aplicaciones de entrenamiento a las supercomputadoras- y 16 Habana joya Procesadores para ejecutar modelos de inferencia de inteligencia artificial. Las redes Voyager están diseñadas para admitir modelos de IA muy grandes. Cada procesador Gaudi tiene 10 puertos RoCE (RDMA sobre Ethernet convergente) incorporados, con 42 sistemas de capacitación conectados mediante seis conexiones de 400 Gbps a un gran conmutador Arista no deshabilitado.

“Mover las aplicaciones de los usuarios fue relativamente simple”, dijo Majumdar, y agregó que muchas aplicaciones ahora se ejecutan en Gaudí y Goya. “Nuestra experiencia hasta ahora es que los códigos necesitan cambios mínimos”.

Con el apoyo de los desarrolladores de Habana y en colaboración con SDSC e investigadores, Transfer of User Apps proporciona una base para los materiales de capacitación, incluida una sesión de tres horas que ha sido grabada para otros usuarios.

“Un equipo ejecutó aplicaciones a través de Jupyter Notebook en Gaudi, y los usuarios pueden trabajar con los marcos conocidos de TensorFlow y PyTorch”, dijo Majumdar, y señaló que el sistema está diseñado para admitir la exploración en múltiples dimensiones (procesadores Gaudi y Goya, enlace RoCE, 400 GbE switches y Kubernetes), Ceph, cnvrg.io, Slurm y más).

Según el subdirector de SDSC, Sean Strand, la sólida colaboración con los socios tecnológicos Supermicro y Habana ha permitido a SDSC llevar esta arquitectura innovadora a la sociedad.

dijo Strand, quien también es gerente de proyecto de Voyager.

Los expertos de SDSC informaron que, en la mayoría de los casos, el rendimiento medido fue mejor de lo esperado, debido en gran parte a las mejoras de software realizadas por Habana y Collaboration.

«Supermicro se complace en continuar apoyando el proyecto Voyager AI de varios años de SDSC a medida que ingresa a la fase de prueba crítica de las operaciones de producción», dijo Ray Bang, vicepresidente de tecnología de Supermicro. «La capacidad de Supermicro para crear soluciones de IA complejas que abarcan redes, computación, almacenamiento e IA muestra cómo las soluciones de IA y HPC de Supermicro son ideales para la ciencia, la investigación médica y el mundo académico».

fuente: Cynthia Dillon, Centro de noticias SDSC