LM Studio permette di eseguire un modello linguistico sul proprio computer e di interrogarlo utilizzando file conservati in locale. Dopo aver scaricato l’applicazione, i modelli e i componenti necessari, le conversazioni e l’elaborazione dei documenti possono avvenire senza inviare i contenuti a un servizio esterno.
Il programma gestisce i file in due modi. Se il testo rientra nella finestra di contesto del modello, può inserirlo interamente nella conversazione. Quando il materiale è troppo lungo, utilizza il retrieval per selezionare soltanto i passaggi considerati pertinenti. In questo secondo caso si parla propriamente di RAG.
Prima di iniziare
LM Studio è disponibile per Windows, macOS e Linux. I requisiti ufficiali indicano almeno 16 GB di RAM come configurazione consigliata. Su Windows sono raccomandati anche almeno 4 GB di memoria video dedicata, mentre su macOS sono supportati i computer con Apple Silicon.
Il programma può funzionare anche senza una GPU potente, utilizzando la RAM e il processore, ma la generazione sarà più lenta. La scelta del modello deve quindi tenere conto della memoria disponibile. Per iniziare conviene utilizzare un modello instruct di dimensioni contenute e una versione quantizzata, invece di scaricare il modello più grande presente nel catalogo.
Per cercare e scaricare modelli, runtime e aggiornamenti è necessaria una connessione. Una volta completati i download, le funzioni principali possono essere utilizzate offline. Secondo la documentazione di LM Studio, anche l’elaborazione dei documenti allegati alla chat avviene sul computer dell’utente.
Le schermate di questo articolo sono state realizzate con LM Studio 0.3.31. L’interfaccia può cambiare tra una versione e l’altra, ma il procedimento rimane sostanzialmente lo stesso.
1. Scarica LM Studio
Scarica la versione adatta al tuo sistema operativo dal sito ufficiale di LM Studio e completa l’installazione.
Le versioni attuali prevedono due modalità. La modalità User mostra soltanto le funzioni principali e configura automaticamente molti parametri. La modalità Developer, attivabile dalle impostazioni, permette invece di controllare il caricamento dei modelli, le integrazioni e altre opzioni avanzate. La precedente modalità Power User è stata incorporata in Developer.
Per questo tutorial si può iniziare in modalità User. La modalità Developer serve soltanto se si desidera scegliere manualmente l’embedder o modificare la configurazione del retrieval.
2. Scarica un modello linguistico
Apri la sezione Discover e cerca un modello instruct adatto alla lingua e al tipo di documenti che vuoi interrogare. LM Studio mostra le diverse versioni disponibili, la quantizzazione e lo spazio richiesto.
Un modello di grandi dimensioni può produrre risposte migliori, ma richiede più memoria e può rallentare sensibilmente il computer. Per una prima prova è preferibile scegliere un modello che possa essere caricato senza utilizzare tutta la RAM disponibile. Con hardware intermedio si può partire da un modello compreso tra 4 e 8 miliardi di parametri in una quantizzazione come Q4.
Fig. 1. La sezione dedicata alla ricerca e al download dei modelli.
3. Carica il modello
Dopo il download, apri la sezione Chat e seleziona il modello dal menu collocato nella parte superiore dell’interfaccia. Il caricamento trasferisce i dati necessari nella memoria del computer e può richiedere alcuni secondi.
La finestra di contesto stabilisce quanto testo il modello può ricevere in una sola volta. Aumentarla consente di includere più contenuti, ma accresce anche il consumo di memoria. Per la prima configurazione conviene conservare i valori proposti da LM Studio.
Fig. 2. Selezione di un modello già scaricato e caricamento nella chat.
4. Scegli l’embedder
L’embedder è il modello che trasforma la domanda e i passaggi dei documenti in vettori confrontabili. È distinto dal modello linguistico che genera la risposta.
In modalità User, LM Studio può gestire automaticamente questa configurazione. Nelle versioni che espongono le opzioni del plugin rag-v1, la modalità Developer permette invece di selezionare manualmente un modello di embedding.
Se i documenti sono in italiano o comprendono più lingue, è opportuno utilizzare un embedder multilingue. La dimensione maggiore non garantisce automaticamente risultati migliori e richiede più memoria. Per una prima prova è sufficiente un modello compatibile con LM Studio e adatto alle lingue presenti nei file.
Nella configurazione mostrata nelle immagini, l’embedder viene caricato insieme al modello linguistico e il server locale viene avviato attraverso il comando Status: Running. Nelle versioni più recenti questo passaggio può essere gestito automaticamente dall’applicazione.
Fig. 3. Il modello generativo e il modello di embedding caricati in LM Studio.
5. Carica i documenti
Apri una nuova chat e allega i documenti utilizzando il pulsante accanto al campo di scrittura oppure trascinandoli nella finestra. La documentazione ufficiale indica il supporto per file PDF, DOCX e TXT. Alcune versioni del plugin accettano anche altri formati, come CSV. La finestra mostrata dall’applicazione indica i formati e i limiti validi per la versione installata.
Se un PDF contiene soltanto immagini delle pagine, LM Studio non dispone del testo necessario per effettuare la ricerca. In questo caso occorre prima utilizzare una versione dotata di testo selezionabile.
Con i documenti brevi, LM Studio può inserire tutto il contenuto nella finestra di contesto. Con quelli più lunghi attiva il retrieval e passa al modello soltanto i frammenti selezionati. L’utilizzo di un allegato non implica quindi automaticamente che sia stata eseguita una ricerca vettoriale.
Nella versione raffigurata nelle schermate è necessario attivare l’integrazione rag-v1 nella colonna Program. Dopo l’attivazione compare la finestra per caricare i file.
Fig. 4. Attivazione del plugin RAG e caricamento dei documenti.
6. Formula la prima domanda
La prima prova dovrebbe riguardare un’informazione che conosci già e che sai essere presente in uno dei file. In questo modo puoi verificare se il sistema recupera il passaggio corretto, invece di giudicare soltanto la plausibilità della risposta.
Una richiesta utile potrebbe essere formulata così:
Quale provvedimento viene descritto nel documento? Indica il file utilizzato e riporta il passaggio sul quale basi la risposta.
Le domande specifiche funzionano generalmente meglio di quelle molto generiche. La stessa documentazione di LM Studio consiglia di includere termini, concetti e parole che potrebbero comparire nelle fonti. Se stai cercando una persona, una data o un luogo preciso, inseriscili esplicitamente nella domanda.
La citazione prodotta dal modello deve comunque essere controllata nel file originale. Una risposta ben formulata non dimostra che il passaggio recuperato sia corretto né che il modello lo abbia interpretato senza errori.
7. Se i risultati sono poco pertinenti
Quando LM Studio restituisce una risposta insoddisfacente, cambiare subito il modello linguistico potrebbe non risolvere il problema. Se sono stati recuperati passaggi sbagliati, la causa si trova nella ricerca e non nella generazione.
Conviene procedere con alcuni controlli semplici:
- verificare che il testo del documento sia effettivamente leggibile e selezionabile;
- formulare una domanda più precisa utilizzando termini presenti nella fonte;
- provare inizialmente con un numero ridotto di documenti;
- utilizzare un embedder multilingue quando il corpus non è in inglese;
- controllare che il plugin RAG e l’embedder siano attivi, se vengono gestiti manualmente;
- ridurre le dimensioni del modello o la finestra di contesto quando il programma esaurisce la memoria.
Per distinguere un problema di retrieval da uno di generazione, si può copiare manualmente nella chat il passaggio corretto e ripetere la domanda. Se il modello risponde bene con il testo fornito direttamente, ma fallisce quando deve cercarlo nei documenti, il problema riguarda la fase di recupero.
Che cosa rimane davvero in locale
Dopo aver scaricato modelli e runtime, LM Studio può eseguire localmente la chat, l’elaborazione dei documenti e il server. I file allegati non vengono inviati automaticamente a un fornitore esterno.
Questa garanzia riguarda le funzioni locali dell’applicazione. Se vengono attivati servizi remoti, plugin esterni o server MCP collegati a Internet, è necessario verificare separatamente quali dati possano essere trasmessi. Anche la sicurezza del computer, gli account utilizzati e le copie di backup rimangono responsabilità dell’utente.
I limiti della RAG in LM Studio
LM Studio rende semplice sperimentare con la RAG senza scrivere codice, ma lascia all’applicazione molte decisioni sulla preparazione e sul recupero dei testi. Questo è comodo per una prima prova, meno adatto quando occorre controllare in modo preciso chunk, metadati, filtri e criteri di ricerca.
La qualità finale dipende inoltre dal modello linguistico, dall’embedder, dalla struttura dei documenti e dalle domande. L’esecuzione locale protegge i file dall’invio automatico a servizi esterni, ma non rende le risposte necessariamente corrette.
LM Studio è quindi un buon punto di partenza per verificare se l’interrogazione locale di un corpus può essere utile al proprio lavoro. Per un uso sistematico, i risultati devono essere confrontati con le fonti e provati su un insieme di domande delle quali si conosce già la risposta.