PocketPal AI ist der einfachste Weg, KI -Modelle lokal auf Ihrem Android oder iPhone auszuführen

Von Riesen wie Chatgpt und Gemini bis hin zu unterschätzten Edelsteinen wie Verwirrung und Grok haben Sie eine umfangreiche Auswahl von AI -Chatbots zur Auswahl an Ihren Anforderungen. Diese Chatbots bearbeiten Ihre Abfragen jedoch auf ihren Servern. Infolgedessen können sie ein Albtraum für Privatsphäre sein, insbesondere wenn Sie persönliche Daten oder Dokumente in Ihren Fragen teilen.

Für ein privates KI -Erlebnis ist es die beste Wahl, einen Chatbot vor Ort auf Ihrem Gerät zu verwenden. Während es verschiedene Möglichkeiten gibt, dies auf einem Computer zu tun, haben Sie nur begrenzte Optionen auf einem Smartphone. Die PocketPal KI ist unter anderem am einfachsten zu bedienen. Hier ist der Grund, warum und alles, was Sie über die Verwendung von PocketPal KI wissen müssen, um KI -Modelle lokal auf Ihrem Smartphone auszuführen.

Was ist PocketPal KI?

PocketPal AI ist eine kostenlose und Open-Source-App, mit der Sie ohne Internetverbindung kleine Sprachmodelle (SLMs) auf Ihrem Smartphone auf Ihrem Smartphone ausführen können. Da es Ihre Abfragen lokal verarbeitet, verlassen Ihre Gespräche und Daten Ihr Telefon niemals.

Sie können aus einer riesigen Sammlung von Open-Source-Modellen, darunter Phi, Gemma und Qwen sowie denjenigen, die auf Plattformen wie dem Umarmungsgesicht erhältlich sind, wählen und nach Bedarf zwischen ihnen wechseln. Mit der App können Sie sogar auf Gated -Modelle auf dem Umarmungsgesicht zugreifen. Alles, was Sie tun müssen, ist, Ihr Authentifizierungs -Token innerhalb der Einstellungen einzurichten.

Ein weiterer Highlight der KI der Pocketpal sind Freunde. Sie können sie als personalisierte KI -Assistenten mit unterschiedlichen Persönlichkeiten und Einstellungen vorstellen, die Sie für bestimmte Aufgaben einrichten können.

PocketPal AI ist sowohl auf Android als auch auf dem iPhone erhältlich.

Verwandte: So installieren und führen Sie KI -Modelle lokal auf Ihrem iPhone installieren und ausführen

Wie hebt sich Pocketpal AI von anderen Apps ab?

PocketPal AI ist nicht die einzige App, die die Möglichkeit bietet, SLMs auf Smartphones auszuführen. Es gibt einige andere gute Apps, die auch diese Funktionalität bieten. Es gibt jedoch einige Dinge, die es von anderen abheben.

• Eine riesige Bibliothek von Modellen: Sie können eine Vielzahl von Open-Source-Modellen in der KI von Pocketpal verwenden. Dies bedeutet, dass Ihre Optionen nicht auf die von der App kuratierten Optionen beschränkt sind. Sie können Modelle herunterladen und verwenden, die auch auf Quellen wie dem Umarmungsgesicht verfügbar sind.
• Einstellbare Inferenzeinstellungen: Mit der App können Sie verschiedene Parameter für Ihre heruntergeladenen Modelle anpassen. Dies beinhaltet Dinge wie System-Eingabeaufforderung, Temperatur, Sequenz-Token (BOS) und Chat-Vorlagen.
• AI -Personas: Mit Pocketpal AI können Sie Freunde erstellen. PALS sind zwei Arten: Assistant PALS (für allgemeine Assistentenaufgaben) und Rollenspiele (für Rollenspielszenarien). Sie können beispielsweise einen Studienkumpel einrichten, wenn Sie an Projekten recherchieren oder arbeiten. Daher ist das Modell kontextbewusst und kann entsprechend reagieren. In ähnlicher Weise können Sie einen Administrator -Kumpel für Zeiten erstellen, in denen Sie bei der Ausarbeitung von E -Mails oder beim Zusammenfassen von Berichten helfen möchten.
• Ganz frei zu verwenden: Viele Apps, die ähnliche Funktionen bieten, folgen einem Freemium -Modell, in dem bestimmte Funktionen hinter einer Paywall gehalten werden. Im Gegensatz dazu kann die PocketPal AI vollständig kostenlos verwendet werden, sodass Sie auf den gesamten Feature -Set zugreifen und ohne Einschränkungen ein kompatibles Sprachmodell verwenden können.
• Community -Aspekt: PocketPal KI ermöglicht es Benutzern, Benchmarks auf ihren Telefonen auszuführen und die Ergebnisse in der Community zu teilen. Auf diese Weise können andere Benutzer eine Vorstellung davon bekommen, welches Modell für ihr Gerät besser geeignet ist, und eine entsprechend auswählen.

So richten und verwenden Sie PocketPal KI

PocketPal AI hat ein ziemlich einfaches Setup.

Laden Sie zunächst die App mit den folgenden Links in Ihr Android oder iPhone aus dem jeweiligen App Store herunter.

Herunterladen
Herunterladen

Starten Sie die App und gewähren Sie sie die angeforderten Berechtigungen.

Als nächstes müssen Sie das Modell herunterladen, das Sie in der App verwenden. Bevor Sie dies tun, wechseln Sie jedoch zu einer stabilen Wi-Fi-Verbindung, da Sprachmodelle normalerweise groß sind, und Sie können Ihre tägliche Datengrenze erschöpfen, wenn Sie sie auf mobilen Daten herunterladen.

Tippen Sie nach Abschluss auf die Schaltfläche Modell für das Download -Modell auf dem Startbildschirm. Erweitern Sie auf dem folgenden Bildschirm den Abschnitt zum Download zum Herunterladen , falls dies noch nicht bereits ist, und Sie werden eine Liste kompatibler Modelle angezeigt. Jedes Modell erwähnt Details wie seine Größe, die Parameter, die es verwendet, und seine Fähigkeiten, dh das, was es auszeichnet. Tippen Sie auf ein Modell, um mehr darüber zu erfahren. Sobald Sie das Modell gefunden haben, das Sie verwenden möchten, klicken Sie auf Download , um es auf Ihr Gerät herunterzuladen.

Tippen Sie nach Abschluss des Downloads auf die Schaltfläche "Laden" auf der Karte des Modells, um sie in den Speicher zu laden. Auf dem Bildschirm sehen Sie jetzt eine Chat-ähnliche Oberfläche.

Geben Sie Ihre Abfrage in das folgende Textfeld ein. Abhängig vom von Ihnen verwendeten Modell sehen Sie eine Antwort auf dem Bildschirm. Sie können die Follow-up-Fragen stellen oder ein neues Gespräch starten, indem Sie oben auf die neue Konversationsschaltfläche tippen.

Zusätzlich können Sie Freunde aktivieren. Tippen Sie auf den nach oben zeigenden Pfeil links vom Textfeld, gehen Sie zur Registerkarte Pals und tippen Sie auf den verfügbaren Kumpel. Zum Beispiel bietet Gemma den Lookie Pal, mit dem Sie Videos auf Ihrem Gerät lokal analysieren können.

Sie können diese Sitzung weiter exportieren, indem Sie auf das Drei-Punkte-Menü in der oberen rechten Ecke tippen und Export/Import> alle Sitzungen exportieren . Ebenso können Sie eine Sitzung importieren, um sie erneut zu besuchen und dort weiterzugeben, wo Sie aufgehört haben.

Bei bestimmten Modellen wie SMOLVLM2-500M-Instruktur können Sie auch Bilder analysieren und mehr über ihre Inhalte erfahren. Tippen Sie einfach auf die Schaltfläche + links im Textfeld und wählen Sie Kamera oder Galerie , je nachdem, ob Sie ein Bild aufnehmen und analysieren oder eines analysieren möchten, das Sie bereits aufgenommen haben. Das Modell gibt dann eine Antwort zurück.

Wie es ist, PocketPal KI auf einem Smartphone zu verwenden

PocketPal AI ist eine raffinierte App. Es ist ziemlich leicht, mit einer minimalen Schnittstelle und einfach zu bedienen. Außerdem gibt es mehrere Konfigurationsoptionen - sowohl für Apps als auch für Modelle -, die Sie optimieren können, um Ihre Erfahrung zu personalisieren.

Die PocketPal KI sollte effizient auf den meisten modernen Smartphones (mit 8 GB RAM oder mehr) ausgeführt werden und Ihre Anfragen schnell bearbeiten. Ein großer Teil der Reaktionszeit hängt auch von dem von Ihnen verwendeten Modell ab. Wenn Sie jedoch nicht eine der älteren oder niedrigeren Telefone verwenden, sollte es keine spürbare Verzögerung oder im schlimmsten Fall ein App-Absturz geben.

Ich habe PocketPal AI mit mehreren Modellen verwendet, wie GEMMA-2-2B-IT, SMOLVLM2-500M-Instruct, Phi-3,5 Mini 4K und LLAMA-3,2-3B-Struktur auf meinem Galaxy S23 Ultra und onPlus 13, und die Erfahrung war im Allgemeinen glatt. Zu keinem Zeitpunkt stürzte die App auf mich ab, obwohl sie ein paar Mal auf halbem Weg aufhörte, auf meine Anfrage zu reagieren. In ähnlicher Weise dauerten die Antworten auf bestimmte Argumentationsanfragen etwas länger. Ich würde jedoch nicht viel über diese Probleme betonen, da sie nicht direkt mit der App zusammenhängen.

Trotzdem möchte ich erwähnen, dass die Auswahl des richtigen Sprachmodells der Schlüssel zu vernünftigen Antworten auf Ihre Fragen ist. Zum Beispiel konnte SMOLVLM2-500M-Instruct keine unterschiedlichen mechanischen Tastaturschalter auflisten und konnte mir nicht sagen, welches für das Spielen am besten geeignet ist. Im Gegensatz dazu war es eine leichte Aufgabe für GEMMA-2-2B-IT, da es auf verschiedenen Datensätzen geschult, größere Parametergrößen enthält und erweiterte Architektur verwendet, was es für solche Aufgaben besser geeignet macht.

Sie müssen sich nicht allein auf die KI von Pocketpal verlassen

Der Offline-First-Ansatz von PocketPal AI bietet ein privates KI-Erlebnis auf Ihrem Smartphone, mit dem Sie Dinge, die Sie normalerweise nicht mit einem herkömmlichen KI-Chatbot abfragen würden, abfragen können. Sie können sich jedoch nicht vollständig dazu verpflichten, da es mehrere Einschränkungen hat.

Zunächst bietet PocketPal AI Zugang zu kleinen Modellen. Da diese Modelle kleiner sind, haben diese Modelle weniger Parameter. Als solches haben sie kein nuanciertes Sprachverständnis und haben daher einen engen Anwendungsbereich.

Ein weiterer Nachteil von Offline ist, dass Sie keine Echtzeitinformationen wie die neuesten Nachrichten, Aktienmärkte oder Live-Ergebnisse erhalten können. Aus diesem Grund können Sie PocketPal-KI für Fragen zu Themen, die aktuelle Daten erfordern, nicht verwenden.

Obwohl kleinere Modelle mit der Generation angemessen sind, fehlt ihnen die kreative Breite, die Sie aufgrund begrenzter Parameter mit großen Sprachmodellen (LLMs) erhalten. Dies bedeutet, dass Sie möglicherweise nicht in der Lage sind, gewünschte Ausgänge mit nuanciertem Wortschatz und Sprache zu generieren.

Daher ist es am besten, einen Mittelweg zu finden: Verwenden Sie PocketPal KI für triviale oder private Fragen und wechseln Sie zu LLMs für komplexe oder kreative Aufgaben, wie z.