O PocketPal AI é a maneira mais fácil de executar modelos de IA localmente no seu Android ou iPhone

De gigantes como ChatGPT e Gêmeos a jóias subestimadas como Perplexity e Grok, você tem uma rica seleção de AI Chatbots para escolher com base em seus requisitos. No entanto, esses chatbots processam suas consultas em seus servidores. Como resultado, eles podem ser um pesadelo de privacidade, especialmente se você compartilhar detalhes pessoais ou documentos em suas consultas.

Para uma experiência privada de IA, usar um chatbot localmente no seu dispositivo é a sua melhor aposta. Embora existam várias maneiras de fazer isso em um computador, você tem opções limitadas em um smartphone. Entre os disponíveis, a IA do PocketPal é a mais fácil de usar. Eis o porquê e tudo o que você precisa saber sobre o uso da IA do PocketPal para executar modelos de IA localmente no seu smartphone.

O que é PocketPal AI?

O PocketPal AI é um aplicativo gratuito e de código aberto que permite executar pequenos modelos de idiomas (SLMs) localmente no seu smartphone, sem uma conexão com a Internet. Como processa suas consultas localmente, suas conversas e dados nunca saem do seu telefone.

Você pode escolher entre uma enorme coleção de modelos de código aberto, incluindo Phi, Gemma e Qwen, bem como aqueles disponíveis em plataformas como abraçar o rosto, e pode alternar entre eles, conforme necessário. O aplicativo permite que você acesse modelos fechados em abraçar o rosto. Tudo o que você precisa fazer é configurar seu token de autenticação nas configurações.

Outro destaque da IA do PocketPal são os amigos. Você pode pensar neles como assistentes de IA personalizados com diferentes personalidades e configurações que você pode configurar para resolver tarefas específicas.

O PocketPal AI está disponível no Android e no iPhone.

Relacionado: Como instalar e executar modelos de IA localmente em seu iPhone

Como o PocketPal AI se destaca de outros aplicativos

O PocketPal AI não é o único aplicativo que oferece a capacidade de executar SLMs em smartphones. Existem alguns outros bons aplicativos que também fornecem essa funcionalidade. No entanto, existem algumas coisas que o destacam dos outros.

• Uma enorme biblioteca de modelos: você pode usar uma ampla variedade de modelos de código aberto no PocketPal AI. Isso significa que suas opções não se limitam às com curadoria do aplicativo; Você pode baixar e usar modelos disponíveis em fontes como abraçar o rosto também.
• Configurações de inferência sintonizável: O aplicativo oferece a opção de personalizar vários parâmetros para seus modelos baixados. Isso inclui coisas como prompt do sistema, temperatura, tokens de início de sequência (BOS) e modelos de bate-papo.
• Personas de IA: o PocketPal Ai permite criar amigos. Os PALS são dois tipos: amigos assistentes (para tarefas de assistente geral) e amigos de dramatização (para cenários de dramatização). Por exemplo, você pode configurar um amigo de estudo quando está pesquisando ou trabalhando em projetos, para que o modelo tenha conhecimento do contexto e possa responder de acordo. Da mesma forma, você pode criar um PAL do administrador para os momentos em que deseja ajudar na redação de e -mails ou resumindo relatórios.
• Sendo totalmente livre para usar: muitos aplicativos que oferecem funcionalidade semelhante seguem um modelo freemium, no qual mantêm certos recursos por trás de um paywall. Por outro lado, o PocketPal AI é totalmente gratuito para usar, para que você possa acessar todo o conjunto de recursos e usar qualquer modelo de linguagem compatível sem limitações.
• Aspecto da comunidade: o PocketPal IA permite que os usuários executem referências em seus telefones e compartilhem os resultados na comunidade. Dessa forma, outros usuários podem ter uma idéia de qual modelo é mais adequado para o dispositivo e escolher um de acordo.

Como configurar e usar o PocketPal AI

O PocketPal AI tem uma configuração bastante direta.

Primeiro, faça o download do aplicativo para o seu Android ou iPhone na respectiva loja de aplicativos usando os links abaixo.

Download
Download

Inicie o aplicativo e conceda as permissões solicitadas.

Em seguida, você precisa baixar o modelo que planeja usar no aplicativo. Mas antes de fazer isso, mude para uma conexão Wi-Fi estável, pois os modelos de idiomas geralmente são grandes e você pode esgotar seu limite diário de dados se os baixar em dados móveis.

Depois de concluído, toque no botão do modelo de download na tela inicial. Na tela a seguir, expanda a seção disponível para download , se ainda não estiver, e você verá uma lista de modelos compatíveis. Cada modelo menciona detalhes como seu tamanho, os parâmetros que usa e suas habilidades, ou seja, o que ele se destaca. Toque em um modelo para saber mais sobre isso. Depois de encontrar o modelo que você deseja usar, clique no download para começar a baixá -lo no seu dispositivo.

Após a conclusão do download, toque no botão Carregar no cartão do modelo para carregá -lo na memória. Agora você verá uma interface semelhante a um bate-papo na tela.

Comece a digitar sua consulta no campo de texto abaixo e, dependendo do modelo que você está usando, você verá uma resposta na tela. Você pode fazer as perguntas de acompanhamento do modelo ou iniciar uma nova conversa tocando no botão de nova conversa na parte superior.

Além disso, você pode habilitar amigos. Toque na seta apontando para cima à esquerda do campo de texto, vá para a guia Pals e toque no PAL disponível. Por exemplo, Gemma oferece o Lookie Pal, que permite analisar vídeos no seu dispositivo localmente.

Você pode exportar ainda mais esta sessão tocando no menu de três pontos no canto superior direito e selecionando Exportar/Importar> Exportar todas as sessões . Da mesma forma, você pode importar uma sessão para revisitá -la e continuar de onde parou.

Com certos modelos, como o SMOLVLM2-500M-INSTRUCT, você também pode analisar imagens e aprender mais sobre seu conteúdo. Basta tocar no botão + à esquerda do campo de texto e selecionar a câmera ou a galeria , dependendo se você deseja tirar uma foto e analisá -la ou analisar uma que você já pegou. O modelo retornará uma resposta.

Como é usar o PocketPal AI em um smartphone

O PocketPal AI é um aplicativo bacana. É bastante leve, com uma interface mínima e fácil de usar. Além disso, existem várias opções de configuração - ambos para aplicativos e modelos - que você pode ajustar para personalizar sua experiência.

Chegando ao desempenho, a IA do PocketPal deve funcionar com eficiência na maioria dos smartphones modernos (com 8 GB de RAM ou mais) e processar suas solicitações rapidamente. Uma grande parte do tempo de resposta também depende do modelo que você está usando, mas, a menos que você esteja usando um dos telefones mais antigos ou de nível inferior, não deve haver um atraso perceptível ou, na pior das hipóteses, uma falha de aplicativo.

Eu tenho usado a IA do PocketPal com vários modelos, como Gemma-2-2b-IT, Smolvlm2-500m-Instruct, Phi-3.5 Mini 4K Instruct e LLAMA-3.2-3B-Instruct, no meu Galaxy S23 Ultra e Oneplus 13, e a experiência geralmente tem sido suave. Em nenhum momento o aplicativo caiu em mim, embora pare de responder à minha consulta a meio caminho algumas vezes. Da mesma forma, as respostas a certas consultas de raciocínio levaram um pouco mais. No entanto, eu não enfatizaria muito esses problemas, pois eles não estão diretamente relacionados ao aplicativo.

Dito isto, gostaria de mencionar que escolher o modelo de idioma certo é a chave para obter respostas razoáveis às suas consultas. Por exemplo, o SMOLVLM2-500M-Instruct não listou diferentes interruptores de teclado mecânico e não podia me dizer qual é o melhor para os jogos. Por outro lado, foi um trabalho fácil para o GEMMA-2-2B-IT porque é treinado em diversos conjuntos de dados, possui tamanhos de parâmetros maiores e usa arquitetura avançada, o que o torna mais adequado para essas tarefas.

Você não precisa confiar apenas no PocketPal ai

A abordagem offline da IA do PocketPal fornece uma experiência de IA privada em seu smartphone, permitindo que você consulte coisas que normalmente não faria com um tradicional AI Chatbot. No entanto, você não pode se comprometer completamente com isso, pois possui várias limitações.

Para começar, o PocketPal AI oferece acesso a apenas modelos de tamanho pequeno. Sendo menores, esses modelos têm menos parâmetros. Como tal, eles são desprovidos de compreensão da linguagem diferenciada e, portanto, têm um escopo estreito de uso.

Outra desvantagem de estar offline é que você não pode obter informações em tempo real, como as últimas notícias, atualizações do mercado de ações ou pontuações ao vivo. Por esse motivo, você não pode usar o PocketPal AI para consultas em tópicos que exigem dados atualizados.

Da mesma forma, embora os modelos menores sejam decentes com a geração, eles não têm a amplitude criativa que você recebe com modelos de idiomas grandes (LLMs) devido a parâmetros limitados. Isso significa que você pode não ser capaz de gerar saídas desejadas com vocabulário e linguagem diferenciados.

Portanto, é melhor encontrar um meio termo: use o PocketPal IA para consultas triviais ou privadas e mude para o LLMS para tarefas complexas ou criativas, como aquelas que envolvem análise profunda, solução avançada de problemas, verificação de fatos ou geração de mídia.