PocketPal AI este cel mai simplu mod de a rula modele AI la nivel local pe Android sau iPhone

De la giganți precum Chatgpt și Gemeni până la pietre subestimate precum Perplexity și Grok, aveți o selecție bogată de chatbots AI din care să alegeți în funcție de cerințele dvs. Cu toate acestea, aceste chatbots vă prelucrează întrebările pe serverele lor. Drept urmare, acestea pot fi un coșmar de confidențialitate, mai ales dacă împărtășiți detalii personale sau documente în întrebările dvs.

Pentru o experiență AI privată, utilizarea unui chatbot local pe dispozitivul dvs. este cel mai bun pariu. Deși există mai multe moduri de a face acest lucru pe un computer, aveți opțiuni limitate pe un smartphone. Printre cele disponibile, PocketPal AI este cel mai ușor de utilizat. Iată de ce și tot ce trebuie să știți despre utilizarea PocketPal AI pentru a rula modele AI la nivel local pe smartphone.

Ce este PocketPal AI?

PocketPal AI este o aplicație gratuită și open-source, care vă permite să rulați modele de limbă mică (SLMS) la nivel local pe smartphone-ul dvs., fără conexiune la internet. Deoarece procesează întrebările la nivel local, conversațiile și datele dvs. nu vă părăsesc telefonul.

Puteți alege dintr-o colecție uriașă de modele open-source, inclusiv Phi, Gemma și Qwen, precum și cele disponibile pe platforme precum îmbrățișarea Face și poate comuta între ele, după cum este necesar. Aplicația vă permite chiar să accesați modele închise pe fața îmbrățișată. Tot ce trebuie să faceți este să vă configurați simbolul de autentificare în setări.

Un alt punct culminant al PocketPal AI este Pals. Vă puteți gândi la ei ca asistenți personalizați AI cu diferite personalități și setări pe care le puteți configura pentru a aborda sarcini specifice.

PocketPal AI este disponibil atât pe Android, cât și pe iPhone.

Înrudit: Cum să instalați și să rulați modele AI la nivel local pe iPhone

Cum iese în evidență PocketPal AI din alte aplicații

PocketPal AI nu este singura aplicație care oferă posibilitatea de a rula SLM -uri pe smartphone -uri. Există câteva alte aplicații bune care oferă și această funcționalitate. Cu toate acestea, există câteva lucruri care îl fac să iasă în evidență de ceilalți.

• O bibliotecă imensă de modele: puteți utiliza o mare varietate de modele open-source în PocketPal AI. Aceasta înseamnă că opțiunile dvs. nu se limitează la cele curate de aplicație; Puteți descărca și utiliza modele disponibile și pe surse precum îmbrățișarea Face.
• Setări de inferență reglabilă: Aplicația vă oferă opțiunea de a personaliza diverși parametri pentru modelele dvs. descărcate. Aceasta include lucruri precum jetoane de prompt de sistem, temperatură, început de secvență (BOS) și șabloane de chat.
• AI Personas: PocketPal AI vă permite să creați prieteni. Palii sunt două feluri: Pals Assistant (pentru sarcini de asistent general) și prieteni de joc (pentru scenarii de joc de rol). De exemplu, puteți configura un PAL de studiu atunci când cercetați sau lucrați la proiecte, astfel încât modelul este conștient de context și poate răspunde în consecință. În mod similar, puteți crea un PAL admin pentru momente în care doriți să vă ajutați la redactarea e -mailurilor sau la rezumarea rapoartelor.
• Fiind complet gratuit de utilizat: multe aplicații care oferă funcționalitate similară urmează un model freemium, în care păstrează anumite caracteristici în spatele unui perete de plată. În schimb, PocketPal AI este complet gratuit de utilizat, astfel încât să puteți accesa întregul set de caracteristici și să utilizați orice model de limbă compatibil fără limitări.
• Aspect comunitar: PocketPal AI permite utilizatorilor să ruleze repere pe telefoanele lor și să partajeze rezultatele din comunitate. În acest fel, alți utilizatori pot face o idee despre modelul care este mai potrivit pentru dispozitivul lor și să aleagă unul în consecință.

Cum să configurați și să folosiți PocketPal AI

PocketPal AI are o configurație destul de simplă.

În primul rând, descărcați aplicația pe Android sau iPhone din magazinul de aplicații respectiv folosind linkurile de mai jos.

Descărcare
Descărcare

Lansați aplicația și acordați -i permisiunile solicitate.

În continuare, trebuie să descărcați modelul pe care intenționați să îl utilizați în aplicație. Dar înainte de a face acest lucru, treceți la o conexiune Wi-Fi stabilă, deoarece modelele de limbă sunt de obicei mari și puteți epuiza limita de date zilnică dacă le descărcați pe date mobile.

După ce ați terminat, atingeți butonul de descărcare a modelului de pe ecranul de pornire. Pe următorul ecran, extindeți secțiunea disponibilă pentru descărcare , dacă nu este deja și veți vedea o listă de modele compatibile. Fiecare model menționează detalii precum dimensiunea sa, parametrii pe care îi folosește și abilitățile sale, adică la ce excelează. Atingeți un model pentru a afla mai multe despre acesta. După ce ați găsit modelul pe care doriți să îl utilizați, apăsați descărcarea pentru a începe să îl descărcați pe dispozitiv.

După ce descărcarea este completă, atingeți butonul de încărcare de pe cardul modelului pentru a -l încărca în memorie. Vei vedea acum o interfață asemănătoare cu chat-ul pe ecran.

Începeți să tastați întrebarea în câmpul de text de mai jos și, în funcție de modelul pe care îl utilizați, veți vedea un răspuns pe ecran. Puteți pune întrebările de urmărire a modelului sau puteți începe o nouă conversație atingând noul buton de conversație din partea de sus.

În plus, puteți activa prietenii. Atingeți săgeata în sus în stânga câmpului de text, accesați fila PALS și atingeți PAL-ul disponibil. De exemplu, Gemma oferă aspectul Lookie, care vă permite să analizați videoclipuri pe dispozitivul dvs. la nivel local.

Puteți exporta în continuare această sesiune atingând meniul cu trei puncte din colțul din dreapta sus și selectând export/import> export toate sesiunile . De asemenea, puteți importa o sesiune pentru a o revizui și a continua acolo unde ați plecat.

Cu anumite modele, cum ar fi SmolVLM2-500M Instruct, puteți analiza și imagini și afla mai multe despre conținutul lor. Atingeți butonul + din stânga câmpului de text și selectați camera sau galeria , în funcție de dacă doriți să faceți o poză și să o analizați sau să analizați una pe care ați luat -o deja. Modelul va returna apoi un răspuns.

Cum este să folosești PocketPal AI pe un smartphone

Pocketpal AI este o aplicație nesănătoasă. Este destul de ușor, cu o interfață minimă și ușor de utilizat. În plus, există mai multe opțiuni de configurare - atât pentru aplicații, cât și pentru modele - pe care le puteți regla pentru a vă personaliza experiența.

Venind la performanță, PocketPal AI ar trebui să funcționeze eficient pe majoritatea smartphone -urilor moderne (cu 8 GB RAM sau mai mult) și să prelucreze rapid solicitările. O mare parte a timpului de răspuns depinde și de modelul pe care îl utilizați, dar dacă nu utilizați unul dintre telefoanele mai vechi sau mai mici, nu ar trebui să existe un decalaj vizibil sau, în cel mai rău caz, un accident de aplicație.

Am folosit PocketPal AI cu mai multe modele, cum ar fi Gemma-2-2B-IT, SMOLVLM2-500M-Instruct, PHI-3,5 mini 4K Instruire și Instruct LLAMA-3.2-3B, pe Galaxy S23 Ultra și OnePlus 13, iar experiența a fost în general netedă. În niciun moment nu s -a prăbușit aplicația pe mine, deși a încetat să răspundă la întrebarea mea la jumătatea drumului de câteva ori. În mod similar, răspunsurile la anumite întrebări de raționament au durat puțin mai mult. Cu toate acestea, nu aș sublinia prea mult aceste probleme, deoarece acestea nu sunt direct legate de aplicație.

Acestea fiind spuse, aș dori să menționez că alegerea modelului de limbă potrivit este cheia pentru a obține răspunsuri rezonabile la întrebările dvs. De exemplu, SmolVLM2-500M-Instruct nu a reușit să enumere diferite întrerupătoare mecanice de tastatură și nu mi-a putut spune care este cel mai bine pentru jocuri. În schimb, a fost o muncă ușoară pentru GEMMA-2-2B-IT, deoarece este instruit pe seturi de date diverse, oferă dimensiuni mai mari de parametri și folosește arhitectură avansată, ceea ce o face mai potrivită pentru astfel de sarcini.

Nu trebuie să te bazezi doar pe PocketPal AI

Abordarea offline a PocketPal AI oferă o experiență AI privată pe smartphone-ul dvs., permițându-vă să interogați lucruri pe care de obicei nu le-ați face cu un chatbot AI tradițional. Cu toate acestea, nu vă puteți angaja pe deplin, deoarece are mai multe limitări.

Pentru început, PocketPal AI oferă acces doar la modele de dimensiuni mici. Fiind mai mici, aceste modele au mai puțini parametri. Ca atare, sunt lipsite de înțelegere nuanțată și, prin urmare, au un domeniu de utilizare restrâns.

Un alt dezavantaj al faptului că nu puteți obține informații în timp real, cum ar fi cele mai recente știri, actualizări ale pieței bursiere sau scoruri live. Din această cauză, nu puteți utiliza PocketPal AI pentru interogări pe subiecte care necesită date actualizate.

În mod similar, deși modelele mai mici sunt decente cu generația, le lipsește lățimea creativă pe care o obțineți cu modele de limbaj mare (LLMS) din cauza parametrilor limitați. Aceasta înseamnă că este posibil să nu puteți genera rezultate dorite cu vocabular și limbaj nuanțat.

Prin urmare, cel mai bine este să găsiți un teren de mijloc: folosiți PocketPal AI pentru interogări banale sau private și treceți la LLM pentru sarcini complexe sau creative, cum ar fi cele care implică o analiză profundă, rezolvarea avansată a problemelor, verificarea faptelor sau generarea de media.