Nvidia apuesta por TensorRT para ampliar el dominio de la IA generativa

Nvidia busca construir una mayor presencia fuera de las ventas de GPU a medida que incorpora su kit de desarrollo de software de inteligencia artificial a más aplicaciones.

Nvidia anunció que agregará soporte para el SDK TensorRT-LLM a Windows y modelos como Stable Diffusion. La compañía dijo en un Entrada en el blog Su objetivo es hacer que los modelos de lenguajes grandes (LLM) y las herramientas relacionadas se ejecuten más rápido.

TensorRT acelera la inferencia, el proceso de observar información previamente entrenada y calcular probabilidades para llegar a una conclusión, como una imagen de difusión estable recién creada. Con este software, Nvidia quiere desempeñar un papel más importante en el lado de inferencia de la IA generativa.

Su TensorRT-LLM descompone los LLM y les permite ejecutarse más rápido en las GPU H100 de Nvidia. Funciona con LLM como Meta’s Llama 2 y otros modelos de IA como Stable Diffusion de Stable AI. Al impulsar los LLM a través de TensorRT-LLM, dijo la compañía, «esta aceleración mejora la experiencia de utilizar LLM más sofisticados, como asistentes de escritura y programación».

En otras palabras, Nvidia espera no solo proporcionar las GPU que entrenan y ejecutan los LLM, sino también el software que permite que los modelos se pongan en funcionamiento más rápido para que los usuarios no busquen otras formas de hacer que la IA generativa sea rentable. .

La compañía dijo que TensorRT-LLM estará «disponible públicamente para cualquiera que quiera usarlo o integrarlo» y podrá acceder al SDK en su dispositivo. ubicación.

Nvidia ya tiene el monopolio de chips potentes que entrenan a maestros como GPT-4, y para entrenar y ejecutar uno, normalmente se necesitan muchas GPU. La demanda de GPU H100 se ha disparado; Los precios estimados alcanzaron los 40.000 dólares por porción. La compañía anunció que el próximo año llegará una versión más nueva de su GPU, la GH200. No es de extrañar que los ingresos de Nvidia aumentaran a 13.500 millones de dólares en el segundo trimestre.

Pero el mundo de la IA generativa avanza rápidamente y han surgido nuevas formas de ejecutar ciclos de LLM sin necesidad de muchas GPU costosas. Empresas como Microsoft y AMD han anunciado que fabricarán sus propios chips para reducir la dependencia de Nvidia.

Las empresas han puesto su mirada en el aspecto heurístico del desarrollo de la inteligencia artificial. AMD planea comprar la empresa de software Nod.ai para ayudar a que los LLM se ejecuten específicamente en chips AMD, mientras que las empresas quieren… SambaNova ya cumple Servicios que también facilitan la ejecución de modelos.

Nvidia, por ahora, sigue siendo el líder de hardware en IA generativa, pero ya parece estar mirando hacia un futuro en el que la gente no tenga que depender de la compra de grandes cantidades de sus GPU.