PocketPal Ai es la forma más fácil de ejecutar modelos de IA localmente en su Android o iPhone

Desde gigantes como Chatgpt y Gemini hasta gemas subestimadas como Perplexity and Grok, tienes una rica selección de chatbots de IA para elegir según tus requisitos. Sin embargo, estos chatbots procesan sus consultas en sus servidores. Como resultado, pueden ser una pesadilla de privacidad, especialmente si comparte datos o documentos personales en sus consultas.

Para una experiencia privada de IA, usar un chatbot localmente en su dispositivo es su mejor opción. Si bien hay varias formas de hacer esto en una computadora, tiene opciones limitadas en un teléfono inteligente. Entre los disponibles, PocketPal AI es el más fácil de usar. He aquí por qué, y todo lo que necesita saber sobre el uso de PocketPal AI para ejecutar modelos de IA localmente en su teléfono inteligente.

¿Qué es PocketPal Ai?

PocketPal AI es una aplicación gratuita y de código abierto que le permite ejecutar modelos de idiomas pequeños (SLM) localmente en su teléfono inteligente, sin conexión a Internet. Dado que procesa sus consultas localmente, sus conversaciones y datos nunca dejan su teléfono.

Puede elegir entre una gran colección de modelos de código abierto, incluidos Phi, Gemma y Qwen, así como aquellos disponibles en plataformas como abrazar la cara, y pueden cambiar entre ellos según sea necesario. La aplicación incluso le permite acceder a los modelos cerrados en la cara abrazada. Todo lo que necesita hacer es configurar su token de autenticación dentro de la configuración.

Otro punto destacado de PocketPal Ai son los amigos. Puede pensar en ellos como asistentes de IA personalizados con diferentes personalidades y entornos que puede establecer para abordar tareas específicas.

PocketPal AI está disponible tanto en Android como en iPhone.

Relacionado: Cómo instalar y ejecutar modelos AI localmente en su iPhone

¿Cómo se destaca PocketPal Ai de otras aplicaciones?

PocketPal AI no es la única aplicación que ofrece la capacidad de ejecutar SLM en los teléfonos inteligentes. Hay algunas otras buenas aplicaciones que también proporcionan esta funcionalidad. Sin embargo, hay algunas cosas que lo hacen destacar de los demás.

• Una gran biblioteca de modelos: puede usar una amplia variedad de modelos de código abierto en PocketPal AI. Esto significa que sus opciones no se limitan a las seleccionadas por la aplicación; También puede descargar y usar modelos disponibles en fuentes como abrazar la cara.
• Configuración de inferencia sintonizable: la aplicación le brinda la opción de personalizar varios parámetros para sus modelos descargados. Esto incluye cosas como el aviso del sistema, la temperatura, los tokens de comienzo de secuencia (BOS) y plantillas de chat.
• AI Personas: PocketPal Ai te permite crear amigos. Los amigos son dos tipos: Pals de asistente (para tareas de asistente general) y amigos de juego de roles (para escenarios de juego de roles). Por ejemplo, puede configurar un PAL de estudio cuando esté investigando o trabajando en proyectos, por lo que el modelo es consciente de contexto y puede responder en consecuencia. Del mismo modo, puede crear un PAL de administración para los momentos en que desea ayudar a redactar correos electrónicos o resumir informes.
• Ser completamente gratuito: muchas aplicaciones que ofrecen funcionalidad similar siguen un modelo freemium, en el que mantienen ciertas características detrás de un muro de pago. En contraste, PocketPal AI es completamente gratuito, por lo que puede acceder a todo el conjunto de características y usar cualquier modelo de idioma compatible sin limitaciones.
• Aspecto de la comunidad: PocketPal AI permite a los usuarios ejecutar puntos de referencia en sus teléfonos y compartir los resultados en la comunidad. De esa manera, otros usuarios pueden tener una idea de qué modelo es más adecuado para su dispositivo y elegir uno en consecuencia.

Cómo configurar y usar PocketPal Ai

PocketPal Ai tiene una configuración bastante directa.

Primero, descargue la aplicación a su Android o iPhone desde la App Store respectiva utilizando los enlaces a continuación.

Descargar
Descargar

Inicie la aplicación y otorgue los permisos solicitados.

A continuación, debe descargar el modelo que planea usar en la aplicación. Pero antes de hacerlo, cambie a una conexión Wi-Fi estable, ya que los modelos de lenguaje son típicamente grandes, y puede agotar su límite de datos diarios si los descarga en datos móviles.

Una vez hecho, toque el botón de descarga del modelo en la pantalla de inicio. En la siguiente pantalla, expanda la sección disponible para descargar , si aún no está, y verá una lista de modelos compatibles. Cada modelo menciona detalles como su tamaño, los parámetros que utiliza y sus habilidades, es decir, en qué sobresale. Toque un modelo para obtener más información al respecto. Una vez que haya encontrado el modelo que desea usar, presione la descarga para comenzar a descargarlo a su dispositivo.

Una vez que se complete la descarga, toque el botón de carga en la tarjeta del modelo para cargarla en la memoria. Ahora verá una interfaz de chat en la pantalla.

Comience a escribir su consulta en el campo de texto a continuación y, dependiendo del modelo que esté utilizando, verá una respuesta en la pantalla. Puede hacer las preguntas de seguimiento del modelo o comenzar una nueva conversación tocando el nuevo botón de conversación en la parte superior.

Además, puede habilitar PALS. Toque la flecha de punta ascendente a la izquierda del campo de texto, vaya a la pestaña PALS y toque el PAL disponible. Por ejemplo, Gemma ofrece el Lookie Pal, que le permite analizar videos en su dispositivo localmente.

Puede exportar aún más esta sesión tocando el menú de tres puntos en la esquina superior derecha y seleccionando exportación/importación> Exportar todas las sesiones . Del mismo modo, puede importar una sesión para volver a visitarla y continuar donde lo dejó.

Con ciertos modelos, como SMOLVLM2-500M-Instructo, también puede analizar imágenes y aprender más sobre su contenido. Simplemente toque el botón + a la izquierda del campo de texto y seleccione cámara o galería , dependiendo de si desea tomar una foto y analizarla o analizar una que ya haya tomado. El modelo luego devolverá una respuesta.

Cómo es usar PocketPal Ai en un teléfono inteligente

PocketPal AI es una aplicación ingeniosa. Es bastante liviano, con una interfaz mínima y fácil de usar. Además, hay varias opciones de configuración, tanto para aplicaciones como modelos, que puede ajustar para personalizar su experiencia.

Al llegar al rendimiento, PocketPal AI debería funcionar de manera eficiente en la mayoría de los teléfonos inteligentes modernos (con 8 GB de RAM o más) y procesar sus solicitudes rápidamente. Una gran parte del tiempo de respuesta también depende del modelo que esté utilizando, pero a menos que esté utilizando uno de los teléfonos más antiguos o de nivel inferior, no debería haber un retraso notable, o en el peor de los casos, un bloqueo de la aplicación.

He estado usando PocketPal AI con varios modelos, como GEMMA-2-2B-IT, SMOLVLM2-500M-INSTRUST, PHI-3.5 MINI 4K INSTRUCT, y LLAMA-3.2-3B-INSTRUST, en mi Galaxy S23 Ultra y OnePlus 13, y la experiencia generalmente ha sido suave. En ningún momento se bloqueó la aplicación, aunque dejó de responder a mi consulta a mitad de camino un par de veces. Del mismo modo, las respuestas a ciertas consultas de razonamiento tardaron un poco más. Sin embargo, no estresaría mucho sobre estos problemas, ya que no están directamente relacionados con la aplicación.

Dicho esto, me gustaría mencionar que elegir el modelo de idioma correcto es la clave para obtener respuestas razonables a sus consultas. Por ejemplo, SMOLVLM2-500M-Instructo no pudo enumerar diferentes interruptores de teclado mecánico y no pudo decirme cuál es mejor para los juegos. Por el contrario, fue un trabajo fácil para Gemma-2-2-2B-IT porque está entrenado en diversos conjuntos de datos, presenta tamaños de parámetros más grandes y utiliza una arquitectura avanzada, lo que lo hace más adecuado para tales tareas.

No necesitas confiar solo en PocketPal Ai

El enfoque fuera de línea de PocketPal AI proporciona una experiencia privada de IA en su teléfono inteligente, lo que le permite consultar cosas que normalmente no haría con un chat de IA tradicional. Sin embargo, no puede comprometerse completamente, ya que tiene varias limitaciones.

Para empezar, PocketPal AI ofrece acceso a solo modelos de pequeño tamaño. Al ser más pequeños, estos modelos tienen menos parámetros. Como tal, están desprovistos de comprensión del lenguaje matizado y, por lo tanto, tienen un alcance de uso estrecho.

Otro inconveniente de estar fuera de línea es que no puede obtener información en tiempo real, como las últimas noticias, actualizaciones del mercado de valores o puntajes en vivo. Debido a esto, no puede usar PocketPal AI para consultas en temas que requieren datos de actualización.

Del mismo modo, aunque los modelos más pequeños son decentes con la generación, carecen de la amplitud creativa que obtienes con los modelos de idiomas grandes (LLM) debido a los parámetros limitados. Esto significa que es posible que no pueda generar los resultados deseados con vocabulario y lenguaje matizados.

Por lo tanto, es mejor encontrar un término medio: use PocketPal AI para consultas triviales o privadas y cambie a LLM para tareas complejas o creativas, como las que involucran análisis profundos, resolución de problemas avanzada, verificación de hechos o generación de medios.