Model Serving tramite istanze on-demand di Regolo.ai

Questo tutorial mostra come usare le istanze on-demand di Regolo.ai su vari modelli per la generazione di testo, immagini, contenuti multimodali. L’ambiente usato è Google Colab, facilmente adattabile in caso di altre scelte.

La lista di modelli disponibili

L’elenco dei modelli disponibili su Regolo comprende cinque voci:

1. meta-llama/Llama-3.1-8B-Instruct – LLM di Meta
2. meta-llama/Llama-3.1-70B-Instruct – LLM più grande di Meta
3. Qwen/Qwen2-7B-Instruct – LLM di Alibaba Cloud
4. microsoft/phi-3.5-vision-instruct – SLM (Small Language Model) multimodale per testo e immagini
5. stability-ai/stable-diffusion-3.5-large – Per generazione di immagini

L’esecuzione di un modello su macchina virtuale remota di Regolo.ai

L’operazione si articola su quattro passi successivi: lancio di un’istanza del server, lancio di una connessione sicura con il server, lancio del terminale, test delle API del modello scelto. Vediamo ciascuno dei passi.

1) Test delle API del modello 

Si inseriscono nel codice, token, modello scelto ed endpoint, ovvero l’url del server:

REGOLO_TOKEN = ‘token’ # Sostituire il token reale
MODEL = “meta-llama/Llama-3.3-70B-Instruct”
url = https://api.regolo.ai/v1/chat/completions 

Il token reale è una stringa alfanumerica di 36 caratteri con alcuni caratteri speciali.

L’esempio riporta Llama 3.3, ma si può usare uno qualsiasi degli altri modelli.

2) Accedere al servizio

L’esempio riportato, in Google Colab, specifica i dati rilevanti, suddivisi in header e data, per poi fare la richiesta con il metodo POST.

headers = {
    "Content-Type": "application/json",
    "Accept": "application/json",
    "Authorization": f"Bearer {os.getenv('REGOLO_TOKEN')}"
}

data = {
    "model": MODEL,
    "messages": [{"role": "user", "content": "What do you know about Jakarta?"}]
}

# Effettua la richiesta POST
testo = requests.post(url, headers=headers, json=data) #url è l'ENDPOINT
testo_content = testo.json().get('choices', [{}])[0].get('message', {}).get('content', "No content found")

Aggiungendo ora la riga di stampa del contenuto generato:

print(testo_content)

Si avrà il risultato voluto. Il testo tipico che viene prodotto è simile a questo:

Jakarta! The capital and largest city of Indonesia, located on the northwest coast of Java. Here are some interesting facts about Jakarta:

1. Population: Jakarta is a megacity with a population of over 10 million people, making it one of the most populous cities in the world.
2. History: Jakarta has a rich history dating back to the 4th century, when it was a small trading post. The city has been influenced by various cultures, including the Portuguese, Dutch, and Chinese.
3. Name: The city’s name is derived from the Sanskrit word “Jayakarta,” which means “complete victory.”
4. Climate: Jakarta has a tropical monsoon climate, with high temperatures and high humidity levels throughout the year.
5. Economy: Jakarta is the economic, cultural, and political center of Indonesia, with a strong focus on finance, trade, and industry.
6. Landmarks: Some notable landmarks in Jakarta include the National Monument (Monas), the Istiqlal Mosque, the Jakarta Cathedral, and the Old Batavia (Kota Tua) historic area.
7. Cuisine: Jakarta is known for its street food, with popular dishes like nasi goreng (fried rice), gado-gado (vegetable salad), and satay (grilled meat skewers).
8. Traffic: Jakarta is infamous for its congested roads and traffic jams, which can be challenging to navigate.
9. Culture: Jakarta is a melting pot of cultures, with a diverse population of Indonesians, Chinese, Arabs, and Europeans.
10. Language: The official language is Indonesian (Bahasa Indonesia), but many people in Jakarta also speak English, Javanese, and other local languages.

…ed altre righe d’informazione.