OpenAI ha recentemente svelato i suoi primi modelli linguistici a peso aperto (open-weight), i GPT-OSS 20B e GPT-OSS 120B.
Questa innovazione segna un punto di svolta nel settore dell’IA, poiché permette di sfruttare il ragionamento avanzato dei modelli direttamente sul proprio PC, senza la necessità di appoggiarsi a costose infrastrutture cloud. La vera novità è il supporto nativo per i processori AMD Ryzen AI e le GPU Radeon, che rendono l’intelligenza artificiale generativa ad alte prestazioni accessibile anche su hardware consumer di fascia alta.
GPT-OSS: l’architettura che rende l’IA locale una realtà
I modelli GPT-OSS sono stati progettati per funzionare in modo efficiente su sistemi desktop. Il modello GPT-OSS 120B è il più grande dei due, con 116,8 miliardi di parametri, ma grazie all’architettura Mixture of Experts ne utilizza solo 5,1 miliardi in modo attivo, riducendo significativamente i requisiti di memoria. Per funzionare, richiede circa 61 GB di VRAM nella sua versione ottimizzata.
Il modello più piccolo, GPT-OSS 20B, con 20,9 miliardi di parametri totali (di cui 3,6 miliardi attivi), è pensato per offrire bassa latenza e alte prestazioni su schede grafiche dedicate di fascia enthusiast.
Entrambi i modelli sono stati ottimizzati per l’esecuzione tramite llama.cpp, un programma leggero che permette di sfruttare al meglio l’accelerazione hardware di AMD, incluse le funzionalità di gestione avanzata della memoria.
AMD Ryzen AI Max+ 395: il processore che abbatte ogni limite
Con il lancio del Ryzen AI Max+ 395, AMD ha segnato un traguardo storico. È il primo processore per PC consumer in grado di eseguire localmente un modello da 120 miliardi di parametri, un’impresa che finora era possibile solo nei data center.
Questo processore supporta fino a 128 GB di memoria unificata ad altissima velocità, consentendo al modello GPT-OSS 120B di elaborare fino a 30 token al secondo. Questa capacità, unita al supporto per il Model Context Protocol (MCP), apre le porte a nuove applicazioni come l’analisi di documenti complessi e simulazioni avanzate.
Configurazioni e prestazioni: come iniziare
Per testare le prestazioni di GPT-OSS, è fondamentale avere la configurazione hardware adeguata:
- Per GPT-OSS 120B: È consigliato il processore Ryzen AI Max+ 395 con 128 GB di RAM, utilizzando driver AMD Adrenalin Edition 25.8.1 WHQL o successivi.
- Per GPT-OSS 20B: Una GPU Radeon RX 9070 XT 16GB abbinata a una CPU ad alte prestazioni, come un Intel Core i9-13900K, è sufficiente per ottenere un’elevata velocità di elaborazione.
Guida rapida: esegui i modelli OpenAI sul tuo PC
Se vuoi provare i modelli GPT-OSS, segui questi semplici passaggi:
- Aggiorna i driver: Assicurati di avere installato i driver AMD Adrenalin Edition 25.8.1 WHQL o una versione più recente. Per i notebook con Ryzen AI, è necessario attivare la Variable Graphics Memory (VGM) dal pannello di controllo Adrenalin.
- Installa LM Studio: Scarica e installa LM Studio, un’applicazione che ti permette di far girare modelli AI direttamente sul tuo PC, sfruttando la tua CPU e GPU.
- Scarica il modello: All’interno di LM Studio, cerca “gpt-oss” e scarica il modello che preferisci (GPT-OSS 20B o 120B). È consigliato salvare il file su un’unità SSD NVMe veloce per velocizzare i tempi di caricamento.
- Configura e avvia: Nella sezione “Chat” di LM Studio, seleziona il modello scaricato, attiva il caricamento manuale dei parametri e sposta lo slider GPU Offload al massimo. Clicca su “Load” e attendi che il modello sia pronto.
- Inizia a chattare: Ora puoi digitare il tuo primo prompt e testare la velocità di risposta del modello, monitorando valori come tokens/s e il tempo di ricezione del primo token (TTFT).
Questa nuova frontiera dell’intelligenza artificiale, resa possibile dalla collaborazione tra OpenAI e AMD, apre scenari entusiasmanti per sviluppatori, ricercatori e appassionati, portando le capacità di calcolo avanzato dell’IA direttamente a portata di mano.
Maggiori informazioni sono disponibili nel documento pubblicato da AMD.
