PocketPal AI est le moyen le plus simple d'exécuter des modèles AI localement sur votre Android ou votre iPhone

Des géants comme Chatgpt et Gemini aux gemmes sous-estimées comme la perplexité et Grok, vous avez une riche sélection de chatbots IA à choisir en fonction de vos exigences. Cependant, ces chatbots traitent vos requêtes sur leurs serveurs. En conséquence, ils peuvent être un cauchemar de confidentialité, surtout si vous partagez des détails personnels ou des documents dans vos questions.

Pour une expérience d'IA privée, utiliser un chatbot localement sur votre appareil est votre meilleur pari. Bien qu'il existe plusieurs façons de le faire sur un ordinateur, vous avez des options limitées sur un smartphone. Parmi ceux disponibles, PocketPal IA est la plus facile à utiliser. Voici pourquoi, et tout ce que vous devez savoir sur l'utilisation de PocketPal AI pour exécuter les modèles AI localement sur votre smartphone.

Qu'est-ce que PocketPal AI?

PocketPal AI est une application gratuite et open source qui vous permet d'exécuter localement des modèles de petits langues (SLM) sur votre smartphone, sans connexion Internet. Puisqu'il traite vos requêtes localement, vos conversations et données ne quittent jamais votre téléphone.

Vous pouvez choisir parmi une énorme collection de modèles open-source, y compris PHI, Gemma et Qwen, ainsi que ceux disponibles sur des plates-formes comme l'étreinte Face, et peuvent basculer entre elles selon les besoins. L'application vous permet même d'accéder aux modèles fermés sur le visage étreint. Tout ce que vous avez à faire est de configurer votre jeton d'authentification dans les paramètres.

Un autre point culminant de PocketPal IA est les copains. Vous pouvez les considérer comme des assistants d'IA personnalisés avec différentes personnalités et paramètres que vous pouvez mettre en place pour lutter contre des tâches spécifiques.

PocketPal AI est disponible sur Android et iPhone.

Connexes: comment installer et exécuter des modèles AI localement sur votre iPhone

Comment PocketPal AI se démarque-t-il d'autres applications

PocketPal AI n'est pas la seule application à offrir la possibilité d'exécuter des SLM sur les smartphones. Il existe quelques autres bonnes applications qui fournissent également cette fonctionnalité. Cependant, il y a quelques choses qui le font ressortir des autres.

• Une immense bibliothèque de modèles: vous pouvez utiliser une grande variété de modèles open source dans PocketPal IA. Cela signifie que vos options ne sont pas limitées à celles organisées par l'application; Vous pouvez également télécharger et utiliser des modèles disponibles sur des sources comme les câlins.
• Paramètres d'inférence accordables: l'application vous donne la possibilité de personnaliser divers paramètres pour vos modèles téléchargés. Cela comprend des choses comme l'invite du système, la température, les jetons de début de séquence (BOS) et les modèles de chat.
• Personas AI: PocketPal AI vous permet de créer des copains. Les copains sont deux types: des copains adjoints (pour les tâches générales adjoints) et des copains de rôles (pour les scénarios de jeu de rôle). Par exemple, vous pouvez mettre en place un PAL d'étude lorsque vous recherchez ou travaillez sur des projets, de sorte que le modèle est conscient du contexte et peut répondre en conséquence. De même, vous pouvez créer un administrateur administrateur pour les moments où vous souhaitez aider à rédiger des e-mails ou à résumer les rapports.
• Être entièrement libre à utiliser: de nombreuses applications offrant des fonctionnalités similaires suivent un modèle de freemium, dans lequel ils gardent certaines fonctionnalités derrière un mur payant. En revanche, PocketPal AI est entièrement libre à utiliser, vous pouvez donc accéder à l'ensemble des fonctionnalités et utiliser n'importe quel modèle de langage compatible sans aucune limitation.
• Aspect communautaire: PocketPal AI permet aux utilisateurs de gérer des repères sur leur téléphone et de partager les résultats de la communauté. De cette façon, les autres utilisateurs peuvent avoir une idée du modèle mieux adapté à leur appareil et en choisir un en conséquence.

Comment configurer et utiliser PocketPal AI

PocketPal AI a une configuration assez simple.

Tout d'abord, téléchargez l'application sur votre Android ou votre iPhone depuis l'App Store respectif à l'aide des liens ci-dessous.

Télécharger
Télécharger

Lancez l'application et accordez-lui les autorisations demandées.

Ensuite, vous devez télécharger le modèle que vous prévoyez d'utiliser dans l'application. Mais avant de le faire, passez à une connexion Wi-Fi stable, car les modèles de langue sont généralement importants, et vous pouvez épuiser votre limite de données quotidienne si vous les téléchargez sur des données mobiles.

Une fois terminé, appuyez sur le bouton Télécharger le modèle de l'écran d'accueil. Sur l'écran suivant, développez la section disponible pour télécharger , si ce n'est pas déjà le cas, et vous verrez une liste de modèles compatibles. Chaque modèle mentionne des détails comme sa taille, les paramètres qu'il utilise et ses compétences, c'est-à-dire ce à quoi il excelle. Appuyez sur un modèle pour en savoir plus à ce sujet. Une fois que vous avez trouvé le modèle que vous souhaitez utiliser, appuyez sur Télécharger pour commencer à le télécharger sur votre appareil.

Une fois le téléchargement terminé, appuyez sur le bouton de chargement de la carte du modèle pour le charger en mémoire. Vous verrez maintenant une interface de chat à l'écran.

Commencez à taper votre requête dans le champ de texte ci-dessous et, selon le modèle que vous utilisez, vous verrez une réponse à l'écran. Vous pouvez poser les questions de suivi du modèle ou démarrer une nouvelle conversation en appuyant sur le bouton de la nouvelle conversation en haut.

De plus, vous pouvez activer les copains. Appuyez sur la flèche pointant vers le haut à gauche du champ de texte, accédez à l'onglet PALS et appuyez sur le copain disponible. Par exemple, Gemma propose le Lookie Pal, qui vous permet d'analyser les vidéos sur votre appareil localement.

Vous pouvez exporter davantage cette session en appuyant sur le menu à trois points dans le coin supérieur droit et en sélectionnant Exporter / import> Exporter toutes les sessions . De même, vous pouvez importer une session pour le revoir et continuer là où vous vous êtes arrêté.

Avec certains modèles, tels que SmolVLM2-500M-Istruct, vous pouvez également analyser des images et en savoir plus sur leur contenu. Appuyez simplement sur le bouton + à gauche du champ de texte et sélectionnez Caméra ou galerie , selon que vous souhaitez prendre une photo et analyser ou analyser celle que vous avez déjà prise. Le modèle renverra ensuite une réponse.

Ce que c'est que d'utiliser PocketPal Ai sur un smartphone

PocketPal AI est une application Nifty. Il est assez léger, avec une interface minimale et facile à utiliser. De plus, il existe plusieurs options de configuration, à la fois pour les applications et les modèles - que vous pouvez modifier pour personnaliser votre expérience.

En arrivant à la performance, PocketPal AI devrait fonctionner efficacement sur la plupart des smartphones modernes (avec 8 Go de RAM ou plus) et traiter vos demandes rapidement. Une grande partie du temps de réponse dépend également du modèle que vous utilisez, mais à moins que vous n'utilisiez l'un des téléphones plus anciens ou de niveau inférieur, il ne devrait pas y avoir de décalage notable, ou dans le pire des cas, un accident d'application.

J'ai utilisé PocketPal AI avec plusieurs modèles, tels que Gemma-2-2b-it, Smolvlm2-500M-Instruct, PHI-3.5 Mini Instruct 4K et LLAMA-3.2-3B-Istruct, sur ma galaxie S23 Ultra et OnePlus 13, et l'expérience a généralement été fluide. À aucun moment, l'application ne s'est écrasé sur moi, bien qu'elle ait cessé de répondre à ma requête à mi-chemin à quelques reprises. De même, les réponses à certaines requêtes de raisonnement ont pris un peu plus de temps. Cependant, je ne mettrais pas grand-chose à ces problèmes, car ils ne sont pas directement liés à l'application.

Cela dit, je voudrais mentionner que le choix du bon modèle de langue est la clé pour obtenir des réponses raisonnables à vos questions. Par exemple, SMOLVLM2-500M-INSTRUCT n'a pas réussi à énumérer différents commutateurs de clavier mécanique et n'a pas pu me dire ce qui est le meilleur pour le jeu. En revanche, c'était un travail facile pour Gemma-2-2b-it car il est formé sur divers ensembles de données, dispose de tailles de paramètres plus grandes et utilise une architecture avancée, ce qui le rend mieux adapté à de telles tâches.

Vous n'avez pas besoin de compter sur PocketPal IA seul

L'approche hors ligne de PocketPal AI offre une expérience d'IA privée sur votre smartphone, vous permettant d'interroger des choses que vous n'auriez généralement pas avec un chatbot d'IA traditionnel. Cependant, vous ne pouvez pas vous y engager pleinement, car il a plusieurs limites.

Pour commencer, PocketPal AI offre un accès uniquement à des modèles de petite taille. Étant plus petits, ces modèles ont moins de paramètres. En tant que tels, ils sont dépourvus de compréhension du langage nuancé et ont donc une portée étroite d'utilisation.

Un autre inconvénient d'être hors ligne est que vous ne pouvez pas obtenir d'informations en temps réel, telles que les dernières nouvelles, les mises à jour boursières ou les scores en direct. Pour cette raison, vous ne pouvez pas utiliser PocketPal AI pour les requêtes sur des sujets qui nécessitent des données à la minute.

De même, bien que les modèles plus petits soient décents avec la génération, ils n'ont pas l'étendue créative que vous obtenez avec les modèles de langage de grands (LLM) en raison de paramètres limités. Cela signifie que vous ne pourrez peut-être pas générer des sorties souhaitées avec un vocabulaire et un langage nuancés.

Par conséquent, il est préférable de trouver un terrain d'entente: utilisez PocketPal IA pour les requêtes triviales ou privées et passez à des LLM pour des tâches complexes ou créatives, telles que celles impliquant une analyse approfondie, une résolution avancée de problèmes, une vérification des faits ou une génération de médias.