Implemente Tiny-Llama en AWS EC2. Aprenda a implementar aprendizaje automático real… | Escrito por Marcello Poletti | enero 2024

Aprenda cómo implementar una aplicación de aprendizaje automático del mundo real utilizando AWS y FastAPI

introducción

Siempre he creído que incluso el mejor proyecto del mundo no tiene mucho valor si la gente no puede utilizarlo. Por eso es tan importante saber cómo implementar modelos de aprendizaje automático. En este artículo nos centramos en implementar un modelo de lenguaje pequeño y grande, Tiny-Llama, en una instancia de AWS llamada EC2.

Lista de herramientas que utilicé para este proyecto:

• nota profunda: Es una computadora portátil basada en la nube, ideal para proyectos colaborativos de ciencia de datos y buena para la creación de prototipos.
• API rápida: Un marco web para crear API utilizando Python
• SO EC2: Es un servicio web que proporciona gran capacidad informática en la nube.
• nginx: Es un servidor HTTP y un servidor proxy inverso. Lo uso para conectar el servidor FastAPI a AWS
• githubGitHub es un servicio de alojamiento para proyectos de software.
• AbrazosCara: Es una plataforma para alojar y colaborar en modelos, conjuntos de datos y aplicaciones ilimitados.

Sobre la pequeña llama

TinyLlama-1.1B Se trata de un proyecto que pretende entrenar previamente a 1.100 millones de llamas en 3 billones de códigos. Utiliza la misma estructura que llama2 .

Los grandes modelos de lenguajes actuales tienen grandes capacidades pero su hardware es muy costoso. Tenemos dispositivos limitados en muchos ámbitos: como teléfonos inteligentes o satélites. Por eso, hay mucha investigación sobre la creación de modelos más pequeños para que puedan implementarse en el borde.

Aquí tienes una lista de modelos «pequeños» que llaman la atención:

• VLM móvil (multimedia)
• PHI-2
• Obsidiana (Multimedia)