PocketPal AI是在您的Android或iPhone上本地运行AI模型的最简单方法

从诸如Chatgpt和Gemini之类的巨人到被低估的宝石（如困惑和Grok），您可以根据自己的要求选择大量的AI聊天机器人。但是，这些聊天机器人会在其服务器上处理您的查询。结果，它们可能是一场隐私的噩梦，尤其是如果您在查询中分享个人详细信息或文件时。

对于私人AI体验，在您的设备上本地使用聊天机器人是最好的选择。虽然有几种方法可以在计算机上执行此操作，但您在智能手机上的选项有限。在可用的产品中，PocketPal AI最容易使用。这就是为什么使用PocketPal AI在智能手机上本地运行AI模型所需的一切。

什么是PocketPal AI？

PocketPal AI是一个免费的开源应用程序，可让您在智能手机上本地运行小语言模型（SLMS），而无需互联网连接。由于它可以在本地处理您的查询，因此您的对话和数据永远不会离开手机。

您可以从包括Phi，Gemma和Qwen在内的大量开源型号中进行选择，以及在拥抱脸等平台上可用的型号，并可以根据需要在它们之间进行切换。该应用程序甚至使您可以在拥抱脸上访问封闭式模型。您需要做的就是在设置中设置身份验证令牌。

PocketPal AI的另一个亮点是朋友。您可以将它们视为具有不同个性和设置的个性化AI助手，您可以设置这些助手来处理特定的任务。

Android和iPhone都可以使用PocketPal AI。

相关：如何在iPhone上本地安装和运行AI模型

PocketPal AI如何从其他应用中脱颖而出

PocketPal AI并不是唯一具有在智能手机上运行SLM的功能的应用程序。还有其他一些好的应用程序也提供了此功能。但是，有几件事使它在其他方面脱颖而出。

• 巨大的型号库：您可以在PocketPal AI中使用各种开源型号。这意味着您的选项不仅限于该应用程序策划的选项；您也可以在拥抱脸等来源上下载并使用可用的型号。
• 可调推理设置：该应用程序为您提供了为下载模型自定义各种参数的选项。这包括系统提示，温度，开始序列（BOS）令牌和聊天模板之类的内容。
• AI角色： PocketPal AI让您创建朋友。好朋友有两种：助理朋友（用于一般助理任务）和角色扮演好朋友（用于角色扮演场景）。例如，您可以在研究或从事项目工作时建立一个研究朋友，因此模型是背景知觉的，并且可以做出相应的响应。同样，当您想帮助起草电子邮件或汇总报告时，您可以创建管理PAL。
• 完全免费使用：许多提供类似功能的应用程序遵循免费增值模型，在其中，它们将某些功能保留在付费墙后面。相比之下，PocketPal AI完全免费使用，因此您可以访问整个功能集并使用任何兼容的语言模型而无需任何限制。
• 社区方面： PocketPal AI允许用户在手机上运行基准并在社区中分享结果。这样，其他用户可以了解哪种型号更适合其设备，并相应地选择一个型号。

如何设置并使用PocketPal AI

PocketPal AI的设置非常简单。

首先，使用以下链接从相应的应用商店下载应用程序或iPhone。

下载
下载

启动该应用程序并授予其要求的权限。

接下来，您需要下载计划在应用程序中使用的模型。但是在这样做之前，请切换到稳定的Wi-Fi连接，因为语言模型通常很大，如果您在移动数据上下载，则可能会耗尽日常数据限制。

完成后，点击主屏幕上的下载模型按钮。在下面的屏幕上，将可用的下载部分展开，如果还没有，您将看到兼容型号的列表。每个模型都会提及诸如其大小，使用的参数以及其技能的细节，即它所表现出的内容。点击模型以了解有关它的更多信息。找到要使用的模型后，点击下载以开始将其下载到您的设备上。

下载完成后，点击模型卡上的“加载”按钮将其加载到内存中。现在，您将在屏幕上看到类似聊天的界面。

开始将查询键入下面的文本字段，并根据所使用的模型，您会在屏幕上看到响应。您可以询问模型后续问题，或通过在顶部点击新对话按钮来开始新的对话。

此外，您可以启用朋友。在文本字段的左侧点击向上的箭头，转到“ PALS”选项卡，然后点击可用的PAL。例如，Gemma提供Lookie Pal，它使您可以在当地的设备上分析视频。

您可以通过在右上角中点击三点菜单并选择“导出/导入>导出所有会话”来进一步导出此会话。同样，您可以导入会话来重新审视它，并继续在关闭的位置。

借助某些模型，例如Smolvlm2-500m教学，您还可以分析图像并了解其内容。只需点击文本字段左侧的+按钮，然后选择相机或画廊，具体取决于您要拍照并分析或分析已经拍摄的图片。然后，该模型将返回响应。

在智能手机上使用PocketPal AI的感觉如何

PocketPal AI是一个漂亮的应用程序。它非常轻巧，界面最少，易于使用。另外，还有几种配置选项（包括应用程序和模型），可以调整个性化您的体验。

出现性能，PocketPal AI应该在大多数现代智能手机（具有8GB RAM或更多）上有效运行，并快速处理您的请求。响应时间的很大一部分也取决于您使用的模型，但是除非您使用的是较旧的或下层手机之一，否则不应该有明显的滞后，或者在最坏的情况下，应用程序崩溃。

我一直在我的Galaxy S23 Ultra和Oneplus 13上使用PocketPal AI，例如Gemma-2-2b-it，Smolvlm2-500m教学，Phi-3.5 Mini 4K指令，以及Llama-3.2-3b-Instruct，以及Llama-3.2-3b-Instruct。该应用程序从来没有崩溃，尽管它确实停止了几次中途回复我的查询。同样，对某些推理查询的回答花费了更长的时间。但是，我不会对这些问题进行太大的压力，因为它们与该应用没有直接相关。

也就是说，我想提一下，选择正确的语言模型是对您的查询进行合理响应的关键。例如，Smolvlm2-500m教学法未能列出不同的机械键盘开关，无法告诉我哪种最适合游戏。相比之下，对于Gemma-2-2b-it来说，这是一项简单的工作，因为它在不同的数据集上进行了培训，具有较大的参数尺寸并使用高级体系结构，这使其更适合此类任务。

您不需要单独依靠PocketPal AI

PocketPal AI的离线优先方法在您的智能手机上提供了私人AI体验，使您可以通过传统的AI聊天机器人来查询通常不会的东西。但是，您无法完全承诺，因为它有几个限制。

首先，PocketPal AI只能访问小型型号。这些模型较小，具有较少的参数。因此，它们没有细微的语言理解，因此具有狭义的使用范围。

离线的另一个缺点是，您无法获得实时信息，例如最新新闻，股票市场更新或现场分数。因此，您不能将PocketPal AI用于需要最新数据的主题的查询。

同样，尽管较小的模型与一代相当，但由于参数有限，它们缺乏您使用大语言模型（LLM）获得的创意广度。这意味着您可能无法用细微的词汇和语言生成所需的输出。

因此，最好找到一个中间立场：使用PocketPal AI进行琐碎或私人查询，然后切换到LLMS进行复杂或创造性的任务，例如涉及深度分析，高级解决问题，事实检验或媒体的生成的任务。