PocketPal AI to najłatwiejszy sposób na uruchomienie modeli AI lokalnie na Androidzie lub iPhonie

Od gigantów takich jak Chatgpt i Gemini, po niedoceniane klejnoty, takie jak zakłopotanie i Grok, masz bogaty wybór chatbotów AI do wyboru na podstawie twoich wymagań. Jednak te chatboty przetwarzają pytania na swoich serwerach. W rezultacie mogą być koszmarem prywatności, zwłaszcza jeśli udostępniasz dane osobowe lub dokumenty w swoich zapytaniach.

W przypadku prywatnej sztucznej inteligencji korzystanie z chatbota lokalnego na urządzeniu jest najlepszym rozwiązaniem. Chociaż istnieje kilka sposobów na zrobienie tego na komputerze, masz ograniczone opcje na smartfonie. Wśród dostępnych, PocketPal AI jest najłatwiejsza w użyciu. Oto dlaczego i wszystko, co musisz wiedzieć o korzystaniu z PocketPal AI do uruchamiania modeli AI lokalnie na smartfonie.

Co to jest PocketPal AI?

PocketPal AI to bezpłatna i open source, która pozwala lokalnie uruchamiać małe modele językowe (SLM) bez połączenia internetowego. Ponieważ przetwarza twoje zapytania lokalnie, rozmowy i dane nigdy nie opuszczają telefonu.

Możesz wybierać spośród ogromnej kolekcji modeli typu open source, w tym PHI, Gemma i Qwen, a także tych dostępnych na platformach takich jak przytulanie twarzy, i może przełączać się między nimi w razie potrzeby. Aplikacja pozwala nawet uzyskać dostęp do zamkniętych modeli na przytulanie twarzy. Wszystko, co musisz zrobić, to skonfigurować token uwierzytelnienia w ustawieniach.

Kolejną atrakcją AI PocketPal są kumple. Możesz myśleć o nich jako o spersonalizowanych asystentach AI o różnych osobowościach i ustawieniach, które możesz skonfigurować w celu rozwiązania określonych zadań.

PocketPal AI jest dostępna zarówno na Androidzie i iPhonie.

Powiązane: Jak instalować i uruchamiać modele AI lokalnie na iPhonie

Jak PocketPal AI wyróżnia się na tle innych aplikacji

PocketPal AI nie jest jedyną aplikacją oferującą możliwość uruchamiania SLM na smartfonach. Istnieje kilka innych dobrych aplikacji, które zapewniają również tę funkcjonalność. Jest jednak kilka rzeczy, które wyróżniają się na tle innych.

• Ogromna biblioteka modeli: możesz użyć szerokiej gamy modeli open source w PocketPal AI. Oznacza to, że twoje opcje nie są ograniczone do tych, które są kuratorami; Możesz pobrać i używać modeli dostępnych na źródłach, takich jak przytulanie twarzy.
• Ustawienia wnioskowania dostrajania: Aplikacja daje opcję dostosowania różnych parametrów pobranych modeli. Obejmuje to takie rzeczy, jak monit systemowy, temperatura, tokeny początkowe (BOS) i szablony czatu.
• AI Personas: PocketPal AI pozwala tworzyć kumple. Pals to dwa rodzaje: asystenci kumpli (dla zadań ogólnych asystentów) i odgrywanie ról (w scenariuszach odgrywania ról). Na przykład możesz skonfigurować kumpel badawczy podczas badań lub pracy nad projektami, aby model jest świadomy kontekstu i może odpowiednio reagować. Podobnie możesz utworzyć administratora dla czasów, kiedy chcesz pomóc w opracowywaniu e -maili lub podsumowaniu raportów.
• Całkowicie bezpłatne w użyciu: Wiele aplikacji oferujących podobną funkcjonalność podąża za modelem Freemium, w którym utrzymują pewne funkcje za wypłatą. Natomiast PocketPal AI jest całkowicie bezpłatny w użyciu, dzięki czemu możesz uzyskać dostęp do całego zestawu funkcji i użyć dowolnego kompatybilnego modelu języka bez żadnych ograniczeń.
• Aspekt społeczności: PocketPal AI pozwala użytkownikom prowadzić punkty odniesienia na swoich telefonach i dzielić się wynikami w społeczności. W ten sposób inni użytkownicy mogą dowiedzieć się, który model lepiej nadaje się do swojego urządzenia i odpowiednio wybrać jeden.

Jak skonfigurować i używać kieszonkowej sztucznej inteligencji

PocketPal AI ma dość prostą konfigurację.

Najpierw pobierz aplikację na Androida lub iPhone'a z odpowiedniego sklepu z aplikacjami za pomocą linków poniżej.

Pobierać
Pobierać

Uruchom aplikację i udziel jej wymaganych uprawnień.

Następnie musisz pobrać model, który planujesz użyć w aplikacji. Ale zanim to zrobisz, przełącz się na stabilne połączenie Wi-Fi, ponieważ modele językowe są zazwyczaj duże i możesz wyczerpać swój dzienny limit danych, jeśli pobierasz je na dane mobilne.

Po zakończeniu stuknij przycisk Pobierz model na ekranie głównym. Na poniższym ekranie rozwinąć sekcję Dostępną do pobrania , jeśli ona nie ma, a zobaczysz listę kompatybilnych modeli. Każdy model wspomina o szczegółach, takich jak jego rozmiar, parametry, których używa, oraz jego umiejętności, tj. To, co się wyróżnia. Stuknij model, aby dowiedzieć się więcej o nim. Po znalezieniu modelu, którego chcesz użyć, naciśnij pobierz , aby rozpocząć pobieranie go na urządzenie.

Po zakończeniu pobierania dotknij przycisku ładowania na karcie modelu, aby załadować go do pamięci. Na ekranie zobaczysz teraz interfejs czatu.

Zacznij wpisywać zapytanie w polu tekstowym poniżej i, w zależności od używanego modelu, zobaczysz odpowiedź na ekranie. Możesz zadać modelowe pytania kolejne lub rozpocząć nową rozmowę, stukając w nowy przycisk rozmowy u góry.

Dodatkowo możesz włączyć kumple. Stuknij strzałkę skierowaną w górę po lewej stronie pola tekstowego, przejdź do zakładki Pals i dotknij dostępnego kumpla. Na przykład Gemma oferuje Lookie Pal, który pozwala lokalnie analizować filmy na urządzeniu.

Możesz dalej eksportować tę sesję, stukając w menu trzech kropek w prawym górnym rogu i wybierając eksport/import> Eksportuj wszystkie sesje . Podobnie możesz zaimportować sesję, aby ją ponownie odwiedzić i kontynuować tam, gdzie się skończyłeś.

W przypadku niektórych modeli, takich jak smolvlm2-500m-instruktury, możesz również analizować obrazy i dowiedzieć się więcej o ich treści. Wystarczy dotknąć przycisku + po lewej stronie pola tekstowego i wybierz kamerę lub galerię , w zależności od tego, czy chcesz zrobić zdjęcie i przeanalizować go, czy przeanalizować go, który już zrobiłeś. Model zwróci następnie odpowiedź.

Jak to jest używać kieszonkowej sztucznej inteligencji na smartfonie

PocketPal AI to sprytna aplikacja. Jest dość lekki, z minimalnym interfejsem i łatwym w użyciu. Ponadto istnieje kilka opcji konfiguracji - zarówno dla aplikacji i modeli - które możesz dostosować, aby personalizować swoje wrażenia.

Zbliżając się do wydajności, PocketPal AI powinna wydajnie działać na większości nowoczesnych smartfonów (z RAM 8 GB lub więcej) i szybko przetwarzać Twoje żądania. Duża część czasu reakcji zależy również od używanego modelu, ale jeśli nie używasz jednego z telefonów starszych lub niższych, nie powinno być zauważalne opóźnienie lub w najgorszym przypadku awaria aplikacji.

Używam AI PocketPal z kilkoma modelami, takimi jak GEMMA-2-2B-IT, SmolVLM2-500M-instruct, instruct PHI-3,5 Mini 4K i LLAMA-3.2-3b-instruct, na moim Galaxy S23 Ultra i OnePlus 13, a doświadczenie było ogólnie gładkie. W żadnym momencie aplikacja nie rozbiła się na mnie, choć kilka razy przestało odpowiadać na moje zapytanie. Podobnie odpowiedzi na niektóre zapytania rozumujące trwały nieco dłużej. Nie podkreślałbym jednak tych problemów, ponieważ nie są one bezpośrednio związane z aplikacją.

To powiedziawszy, chciałbym wspomnieć, że wybranie odpowiedniego modelu języka jest kluczem do uzyskania rozsądnych odpowiedzi na twoje zapytania. Na przykład instruction SmolVLM2-500m nie udało się wymienić różnych mechanicznych przełączników klawiatury i nie mógł mi powiedzieć, co jest najlepsze w grach. W przeciwieństwie do tego była to łatwa praca dla GEMMA-2-2B-IT, ponieważ jest przeszkolony w zakresie różnych zestawów danych, ma większe rozmiary parametrów i wykorzystuje zaawansowaną architekturę, co sprawia, że lepiej jest ją dostosować do takich zadań.

Nie musisz polegać na samej kieszonkowej sztucznej inteligencji

Podejście offline PocketPal AI zapewnia prywatne wrażenia z sztucznej inteligencji na smartfonie, umożliwiając zapytanie o rzeczy, które zwykle nie zrobiłeś z tradycyjnym chatbotem AI. Nie możesz jednak w pełni się z tym zaangażować, ponieważ ma kilka ograniczeń.

Na początek PocketPal AI oferuje dostęp do małych modeli. Modele te mają mniej parametrów. Jako takie są pozbawione niuansowego zrozumienia języka, a zatem mają wąski zakres użycia.

Kolejną wadą bycia offline jest to, że nie można uzyskać informacji w czasie rzeczywistym, takich jak najnowsze wiadomości, aktualizacje rynku akcji lub wyniki na żywo. Z tego powodu nie można użyć PocketPal AI do zapytania na tematy wymagające aktualnych danych.

Podobnie, chociaż mniejsze modele są przyzwoite z generowaniem, brakuje im kreatywnego szerokości, które otrzymujesz dzięki dużym modele językowym (LLM) ze względu na ograniczone parametry. Oznacza to, że możesz nie być w stanie generować pożądanych wyjść z dopracowanym słownictwem i językiem.

Dlatego najlepiej znaleźć środkowy podłoże: użyj kieszonkowej sztucznej inteligencji do trywialnych lub prywatnych zapytań i przełącz na LLM w celu złożonych lub kreatywnych zadań, takich jak te obejmujące głęboką analizę, zaawansowane rozwiązywanie problemów, wykrywanie faktów lub generowanie mediów.