OctoML lanzó OctoAI, un servicio informático de IA de mejora automática

Créditos de la imagen: Jonathan Cocina / Getty Images

cuando OctoML Lanzado en 2019, su enfoque principal es mejorar los modelos de aprendizaje automático (ML). Desde entonces, la empresa ha agregado características que facilitan la implementación de modelos ML (y recaudó $132 millones). Hoy, la empresa lanza la última versión de su servicio y, aunque no es exactamente fundamental, está cambiando el enfoque de la empresa de mejorar los modelos a ayudar a las empresas a usar y ajustar los modelos de código abierto existentes con sus propios datos o uso. Su servicio de alojamiento de plantillas personalizadas. Apodada OctoAI, la nueva plataforma OctoML es un servicio informático de IA de mejora automática, con un enfoque especial en la IA generativa, que ayuda a las empresas a crear aplicaciones basadas en ML y ponerlas en producción sin preocuparse por la infraestructura subyacente.

“La plataforma anterior se centró en los arquitectos de ML y en la optimización de modelos y su empaquetamiento en contenedores que se pueden implementar en diferentes combinaciones de dispositivos”, explicó el cofundador y director ejecutivo de OctoML, Luis Ceze. «Hemos aprendido mucho de eso, pero la próxima progresión natural es tener un servicio de computación totalmente administrado que encapsule todo [ML infrastructure] lejos.»

Créditos de la imagen: OctoML

Con OctoAI, los usuarios simplemente deciden qué quieren priorizar (piense en la latencia frente al costo) y OctoAI seleccionará automáticamente el hardware adecuado para ellos. El servicio también optimizará automáticamente estos modelos (lo que dará como resultado ahorros de costos adicionales y ganancias de rendimiento) y determinará si se ejecutan mejor en GPU Nvidia o máquinas AWS Inferentia. Esto elimina gran parte de la complejidad de poner modelos en producción, algo que a menudo sigue siendo un obstáculo para muchos proyectos de aprendizaje automático. Los usuarios que desean un control total sobre cómo se ejecutan sus modelos pueden, por supuesto, establecer sus propios parámetros y decidir en qué dispositivos se deben ejecutar. Sin embargo, Ceze cree que la mayoría de los usuarios optarán por dejar que OctoAI administre todo esto por ellos.

Créditos de la imagen: OctoML

También ayuda que OctoML ofrezca versiones aceleradas de modelos básicos populares como Dolly 2, Whisper, FILM, FLAN-UL2 y Stable Diffusion listos para usar, con más modelos en camino. OctoML ha logrado ejecutar Stable Diffusion Tres veces más rápido Y una reducción de costos 5 veces mayor en comparación con ejecutar un modelo estándar.

Cabe señalar que, si bien OctoML continuará trabajando con los clientes existentes que solo desean usar el servicio para mejorar sus modelos, el enfoque futuro de la empresa estará en esta nueva plataforma informática.