PocketPal AI è il modo più semplice per eseguire i modelli AI localmente sul tuo Android o iPhone

Da giganti come Chatgpt e Gemini a gemme sottovalutate come Perplessità e Grok, hai una ricca selezione di chatbot di AI tra cui scegliere in base alle tue esigenze. Tuttavia, questi chatbot elaborano le tue domande sui loro server. Di conseguenza, possono essere un incubo sulla privacy, soprattutto se condividi dettagli o documenti personali nelle tue domande.

Per un'esperienza di intelligenza artificiale privata, utilizzare un chatbot localmente sul tuo dispositivo è la soluzione migliore. Mentre ci sono diversi modi per farlo su un computer, hai opzioni limitate su uno smartphone. Tra quelli disponibili, PocketPal AI è il più semplice da usare. Ecco perché e tutto ciò che devi sapere sull'uso dell'IA PocketPal per eseguire modelli AI a livello locale sul tuo smartphone.

Cos'è PocketPal AI?

PocketPal AI è un'app gratuita e open source che ti consente di eseguire piccoli modelli di linguaggio (SLMS) localmente sul tuo smartphone, senza una connessione Internet. Dal momento che elabora le tue query a livello locale, le conversazioni e i dati non lasciano mai il telefono.

Puoi scegliere tra una vasta collezione di modelli open source, tra cui PHI, Gemma e Qwen, nonché quelle disponibili su piattaforme come abbracciare la faccia e possono passare da un se necessario. L'app ti consente persino di accedere ai modelli recintati sulla faccia abbracciata. Tutto quello che devi fare è impostare il token di autenticazione all'interno delle impostazioni.

Un altro momento saliente di PocketPal AI sono amici. Puoi considerarli come assistenti di intelligenza artificiale personalizzati con personalità e impostazioni diverse che puoi impostare per affrontare compiti specifici.

PocketPal AI è disponibile su Android e iPhone.

Correlati: come installare ed eseguire modelli AI localmente sul tuo iPhone

Come si distingue da PocketPal Ai da altre app

DocketPal AI non è l'unica app che offre la possibilità di eseguire SLM su smartphone. Ci sono alcune altre buone app che forniscono anche questa funzionalità. Tuttavia, ci sono alcune cose che lo distinguono dagli altri.

• Un'enorme biblioteca di modelli: è possibile utilizzare un'ampia varietà di modelli open source in AI Pocketpal. Ciò significa che le tue opzioni non sono limitate a quelle curate dall'app; Puoi scaricare e utilizzare i modelli disponibili anche su fonti come abbracciare la faccia.
• Impostazioni di inferenza sintonizzabili: l'app offre la possibilità di personalizzare vari parametri per i modelli scaricati. Ciò include cose come prompt del sistema, temperatura, token BOS (inizio sequenza (BOS) e modelli di chat.
• AI Personas: PocketPal AI ti consente di creare amici. Gli amici sono due tipi: Assistenti Pals (per i compiti generali Assistenti) e Pals di gioco di ruolo (per scenari di gioco di ruolo). Ad esempio, puoi impostare un amico di studio quando stai ricercando o lavori su progetti, quindi il modello è consapevole del contesto e può rispondere di conseguenza. Allo stesso modo, è possibile creare un amico amministratore per i momenti in cui si desidera aiutare con la redazione di e -mail o riassumere i report.
• Essere completamente liberi da usare: molte app che offrono funzionalità simili seguono un modello freemium, in cui mantengono determinate funzionalità dietro un pagamento. Al contrario, PocketPal AI è completamente gratuita da utilizzare, quindi è possibile accedere all'intero set di funzionalità e utilizzare qualsiasi modello di linguaggio compatibile senza alcuna limitazione.
• Aspetto della comunità: AI PocketPal consente agli utenti di eseguire parametri di riferimento sui loro telefoni e condividere i risultati nella comunità. In questo modo, altri utenti possono avere un'idea di quale modello è più adatto per il proprio dispositivo e sceglierne uno di conseguenza.

Come impostare e utilizzare PocketPal AI

PocketPal Ai ha una configurazione piuttosto semplice.

Innanzitutto, scarica l'app sul tuo Android o iPhone dal rispettivo app store utilizzando i collegamenti seguenti.

Scaricamento
Scaricamento

Avvia l'app e concederla le autorizzazioni richieste.

Successivamente, devi scaricare il modello su cui prevedi di utilizzare nell'app. Ma prima di farlo, passa a una connessione Wi-Fi stabile, poiché i modelli di lingua sono in genere grandi e puoi esaurire il limite di dati giornaliero se li scarichi sui dati mobili.

Una volta fatto, tocca il pulsante Download Modello nella schermata Home. Nella schermata seguente, espandi la sezione disponibile per il download , se non è già e vedrai un elenco di modelli compatibili. Ogni modello menziona dettagli come le sue dimensioni, i parametri che usa e le sue capacità, cioè ciò a cui eccelle. Tocca un modello per saperne di più. Una volta trovato il modello che desideri utilizzare, premi Download per iniziare a scaricarlo sul tuo dispositivo.

Al termine del download, tocca il pulsante Carica sulla scheda del modello per caricarlo in memoria. Ora vedrai un'interfaccia di chat sullo schermo.

Inizia a digitare la domanda nel campo di testo in basso e, a seconda del modello che stai utilizzando, vedrai una risposta sullo schermo. Puoi porre le domande di follow-up del modello o avviare una nuova conversazione toccando il nuovo pulsante di conversazione in alto.

Inoltre, è possibile abilitare gli amici. Tocca la freccia a punta verso l'alto a sinistra del campo di testo, vai alla scheda PALS e tocca l'AP disponibile. Ad esempio, Gemma offre il PAL Lookie, che ti consente di analizzare i video sul tuo dispositivo a livello locale.

È possibile esportare ulteriormente questa sessione toccando il menu a tre punti nell'angolo in alto a destra e selezionando esportazione/importazione> esporta tutte le sessioni . Allo stesso modo, puoi importare una sessione per rivisitarla e continuare da dove hai interrotto.

Con alcuni modelli, come SMOLVLM2-500M-Instruct, puoi anche analizzare le immagini e saperne di più sul loro contenuto. Basta toccare il pulsante + a sinistra del campo di testo e selezionare la fotocamera o la galleria , a seconda che tu voglia scattare una foto e analizzarla o analizzarne uno che hai già preso. Il modello restituirà quindi una risposta.

Com'è usare AI PocketPal su uno smartphone

PocketPal Ai è un'app elegante. È piuttosto leggero, con un'interfaccia minima e facile da usare. Inoltre, ci sono diverse opzioni di configurazione, sia per app e modelli, che puoi modificare per personalizzare la tua esperienza.

Arrivando alle prestazioni, Ai Pocketpal dovrebbe funzionare in modo efficiente sulla maggior parte degli smartphone moderni (con 8 GB di RAM o più) ed elaborare rapidamente le tue richieste. Gran parte del tempo di risposta dipende anche dal modello che stai utilizzando, ma a meno che tu non stia usando uno dei telefoni di livello più vecchio o inferiore, non dovrebbe esserci un ritardo evidente o nel peggiore dei casi, un arresto dell'app.

Ho usato AI PocketPal con diversi modelli, come Gemma-2-2B-It, Smolvlm2-500M-Instruct, Phi-3.5 Mini 4K istruct e Llama-3.2-3B-instruct, sulla mia Galaxy S23 Ultra e Oneplus 13 e l'esperienza è stata generalmente regolare. In nessun momento l'app si è schiantata su di me, anche se ha smesso di rispondere alla mia domanda a metà delle volte. Allo stesso modo, le risposte a determinate domande di ragionamento hanno richiesto un po 'di più. Tuttavia, non sottolineerei molto su questi problemi, poiché non sono direttamente correlati all'app.

Detto questo, vorrei menzionare che la scelta del modello linguistico giusto è la chiave per ottenere risposte ragionevoli alle tue domande. Ad esempio, SMOLVLM2-500M-instruct non è riuscito a elencare diversi switch di tastiera meccanici e non potevo dirmi quale è meglio per i giochi. Al contrario, è stato un lavoro facile per Gemma-2-2b-It perché è addestrato su diversi set di dati, presenta dimensioni di parametri più grandi e utilizza l'architettura avanzata, il che lo rende più adatto per tali compiti.

Non hai bisogno di fare affidamento sulla sola ai Pocketpal

L'approccio offline-first di PocketPal AI offre un'esperienza di intelligenza artificiale privata sul tuo smartphone, consentendo di interrogare le cose che in genere non faresti con un tradizionale chatbot di intelligenza artificiale. Tuttavia, non puoi impegnarci pienamente, in quanto ha diversi limiti.

Per cominciare, PocketPal AI offre accesso solo a modelli di piccole dimensioni. Essendo più piccoli, questi modelli hanno meno parametri. Pertanto, sono privi di comprensione del linguaggio sfumato e, quindi, hanno un ambito di utilizzo ristretto.

Un altro svantaggio di essere offline è che non è possibile ottenere informazioni in tempo reale, come le ultime notizie, gli aggiornamenti del mercato azionario o i punteggi dal vivo. Per questo motivo, non è possibile utilizzare l'intelligenza artificiale PocketPal per le query su argomenti che richiedono dati aggiornati al minuto.

Allo stesso modo, sebbene i modelli più piccoli siano decenti con la generazione, mancano dell'ampiezza creativa che ottieni con grandi modelli di linguaggio (LLM) a causa di parametri limitati. Ciò significa che potresti non essere in grado di generare output desiderati con vocabolario e lingua sfumato.

Quindi, è meglio trovare una via di mezzo: utilizzare AI Pocketpal per domande banali o private e passare a LLM per compiti complessi o creativi, come quelli che coinvolgono analisi profonde, risoluzione dei problemi avanzati, controllo dei fatti o generazione di media.