PocketPal AI는 Android 또는 iPhone에서 로컬로 AI 모델을 실행하는 가장 쉬운 방법입니다.

chatgpt 및 gemini와 같은 거인에서 당황 및 그로크와 같은 과소 평가 된 보석에 이르기까지 요구 사항에 따라 선택할 수있는 AI 챗봇을 풍부하게 선택할 수 있습니다. 그러나이 챗봇은 서버에서 쿼리를 처리합니다. 결과적으로 특히 개인 정보 악몽이 될 수 있습니다. 특히 질문에 개인 정보 나 문서를 공유하는 경우.

개인 AI 경험의 경우 장치에서 로컬로 챗봇을 사용하는 것이 가장 좋습니다. 컴퓨터에서이를 수행하는 방법에는 여러 가지가 있지만 스마트 폰에는 옵션이 제한되어 있습니다. 사용 가능한 것 중에서 PocketPal AI는 사용하기 가장 쉽습니다. 다음과 같은 이유와 PocketPal AI를 사용하여 스마트 폰에서 AI 모델을 로컬로 실행하는 것에 대해 알아야 할 모든 사항이 있습니다.

PocketPal AI는 무엇입니까?

PocketPal AI는 인터넷 연결없이 스마트 폰에서 로컬로 소형 언어 모델 (SLM)을 실행할 수있는 무료 및 오픈 소스 앱입니다. 쿼리를 로컬로 처리하므로 대화와 데이터는 휴대 전화를 떠나지 않습니다.

Phi, Gemma 및 Qwen을 포함한 거대한 오픈 소스 모델과 Hugging Face와 같은 플랫폼에서 사용할 수있는 다양한 모음 중에서 선택할 수 있으며 필요에 따라이를 전환 할 수 있습니다. 이 앱을 사용하면 포옹에 게이트 모델에 액세스 할 수 있습니다. 설정 내에서 인증 토큰을 설정하기 만하면됩니다.

PocketPal AI의 또 다른 하이라이트는 친구입니다. 특정 작업을 해결하기 위해 설정할 수있는 다양한 성격 및 설정을 가진 개인화 된 AI 보조원으로 생각할 수 있습니다.

PocketPal AI는 Android 및 iPhone 모두에서 사용할 수 있습니다.

관련 : iPhone에 로컬로 AI 모델을 설치하고 실행하는 방법

PocketPal AI는 다른 앱에서 어떻게 눈에 띄는가?

PocketPal AI만이 스마트 폰에서 SLM을 실행할 수있는 기능을 제공하는 유일한 앱은 아닙니다. 이 기능을 제공하는 몇 가지 다른 좋은 앱이 있습니다. 그러나 다른 사람들과 눈에 띄는 몇 가지가 있습니다.

• 거대한 모델 라이브러리 : PocketPal AI에서 다양한 오픈 소스 모델을 사용할 수 있습니다. 이것은 귀하의 옵션이 앱에 의해 큐 레이션 된 옵션에만 국한되지 않음을 의미합니다. Hugging Face와 같은 소스에서 사용할 수있는 모델을 다운로드하여 사용할 수 있습니다.
• 조정 가능한 추론 설정 : 앱은 다운로드 된 모델에 대한 다양한 매개 변수를 사용자 정의 할 수있는 옵션을 제공합니다. 여기에는 시스템 프롬프트, 온도,시기 시작 (BOS) 토큰 및 채팅 템플릿과 같은 것들이 포함됩니다.
• AI 페르소나 : PocketPal AI를 사용하면 친구를 만들 수 있습니다. 친구는 보조 친구 (일반 조수 작업)와 역할 플레이 PAL (역할 재생 시나리오)의 두 가지 종류입니다. 예를 들어, 프로젝트를 연구하거나 작업 할 때 연구소를 설정할 수 있으므로 모델은 상황을 인식하고 그에 따라 응답 할 수 있습니다. 마찬가지로 이메일 초안 작성 또는 보고서 요약에 도움을주고 싶을 때 시간 동안 관리자를 만들 수 있습니다.
• 완전히 자유롭게 사용할 수 있습니다 : 유사한 기능을 제공하는 많은 앱이 프리미엄 모델을 따르며, 여기서 특정 기능은 페이 월 뒤에 보관합니다. 대조적으로, PocketPal AI는 완전히 무료로 사용할 수 있으므로 전체 기능 세트에 액세스하고 제한없이 호환 가능한 언어 모델을 사용할 수 있습니다.
• 커뮤니티 측면 : PocketPal AI를 통해 사용자는 전화기에서 벤치 마크를 실행하고 커뮤니티에서 결과를 공유 할 수 있습니다. 이렇게하면 다른 사용자가 어떤 모델에 더 적합한 지에 대한 아이디어를 얻고 그에 따라 선택할 수 있습니다.

PocketPal AI를 설정하고 사용하는 방법

PocketPal AI에는 매우 간단한 설정이 있습니다.

먼저 아래 링크를 사용하여 각 앱 스토어에서 앱을 Android 또는 iPhone으로 다운로드하십시오.

다운로드
다운로드

앱을 시작하고 요청 된 권한을 부여하십시오.

다음으로 앱에서 사용하려는 모델을 다운로드해야합니다. 그러나 그렇게하기 전에 언어 모델이 일반적으로 크기 때문에 안정적인 Wi-Fi 연결로 전환하면 모바일 데이터에서 다운로드하면 일일 데이터 제한을 소진 할 수 있습니다.

완료되면 홈 화면에서 다운로드 모델 버튼을 누릅니다. 다음 화면에서는 아직 다운로드 할 수있는 섹션을 확장하지 않으면 호환 가능한 모델 목록이 표시됩니다. 각 모델은 크기, 사용하는 매개 변수 및 기술, 즉 탁월한 기술과 같은 세부 사항을 언급합니다. 모델을 탭하여 자세한 내용을 알아보십시오. 사용하려는 모델을 찾은 후에 는 다운로드를 누르면 장치에 다운로드를 시작하십시오.

다운로드가 완료되면 모델 카드의 로드 버튼을 눌러 메모리에로드하십시오. 이제 화면에 채팅과 같은 인터페이스가 표시됩니다.

아래 텍스트 필드에 쿼리를 입력하기 시작하면 사용중인 모델에 따라 화면에 응답이 표시됩니다. 모델 후속 질문을 요청하거나 상단의 새 대화 버튼을 탭하여 새로운 대화를 시작할 수 있습니다.

또한 친구를 활성화 할 수 있습니다. 텍스트 필드의 왼쪽에있는 위쪽 포인팅 화살표를 탭하고 Pals 탭으로 이동하여 사용 가능한 PAL을 누릅니다. 예를 들어, Gemma는 Lookie Pal을 제공하여 로컬에서 장치의 비디오를 분석 할 수 있습니다.

오른쪽 상단 코너에서 3 도트 메뉴를 탭하고 내보내기/가져 오기> 모든 세션을 내보내 면서이 세션을 더 내보낼 수 있습니다. 마찬가지로, 세션을 가져와 세션을 다시 방문하여 중단 한 곳에서 계속 할 수 있습니다.

smolvlm2-500m 비율과 같은 특정 모델을 사용하면 이미지를 분석하고 해당 콘텐츠에 대해 자세히 알아볼 수도 있습니다. 텍스트 필드 왼쪽에있는 + 버튼을 누르고 사진을 찍고 분석하거나 이미 찍은 사진을 분석할지 여부에 따라 카메라 나 갤러리를 선택하십시오. 그런 다음 모델이 응답을 반환합니다.

스마트 폰에서 PocketPal AI를 사용하는 것은 무엇입니까?

PocketPal AI는 멋진 앱입니다. 최소한의 인터페이스로 매우 가볍고 사용하기 쉽습니다. 또한 앱 및 모델의 경우 모든 구성 옵션이 있습니다. 경험을 개인화하기 위해 조정할 수 있습니다.

성능을 발휘하면서 PocketPal AI는 대부분의 최신 스마트 폰 (8GB RAM 이상)에서 효율적으로 실행되며 요청을 빠르게 처리해야합니다. 응답 시간의 상당 부분은 사용중인 모델에 따라 다르지만 이전 또는 더 낮은 전화 중 하나를 사용하지 않는 한 눈에 띄는 지연이 있거나 최악의 경우 앱 충돌이 없어야합니다.

나는 GEMMA-2-2B-IT, SmolVLM2-500M-Instruct, PHI-3.5 MINI 4K 지시 및 LLAMA-3.2-3B 비교와 같은 여러 모델과 함께 PocketPal AI를 사용해 왔으며, Galaxy S23 Ultra 및 OnePlus 13에서 경험은 일반적으로 매끄 럽습니다. 앱은 나에게 충돌하지 않았지만, 몇 번 중간에 내 쿼리에 대한 응답을 멈추지 않았습니다. 마찬가지로 특정 추론 쿼리에 대한 응답은 조금 더 오래 걸렸습니다. 그러나 이러한 문제는 앱과 직접 관련이 없기 때문에 이러한 문제에 대해 크게 강조하지 않을 것입니다.

즉, 올바른 언어 모델을 선택하는 것이 쿼리에 대한 합리적인 응답을 얻는 핵심이라고 언급하고 싶습니다. 예를 들어, smolvlm2-500m-instruct는 다른 기계식 키보드 스위치를 나열하지 못했고 게임에 가장 적합한 것이 무엇인지 말할 수 없었습니다. 대조적으로, Gemma-2-2B-IT는 다양한 데이터 세트에 대한 교육을 받고 더 큰 매개 변수 크기를 특징으로하며 고급 아키텍처를 사용하므로 이러한 작업에 더 적합하기 때문에 쉬운 작업이었습니다.

PocketPal AI에만 의존 할 필요는 없습니다

PocketPal AI의 오프라인 우선 접근 방식은 스마트 폰에서 개인 AI 경험을 제공하여 일반적으로 전통적인 AI 챗봇과 관련이없는 것을 쿼리 할 수 있습니다. 그러나 몇 가지 한계가 있기 때문에 완전히 헌신 할 수는 없습니다.

우선, PocketPal AI는 소규모 모델에만 액세스 할 수 있습니다. 더 작기 때문에이 모델에는 매개 변수가 적습니다. 따라서, 그들은 미묘한 언어 이해력이 없으므로 좁은 사용 범위를 가지고 있습니다.

오프라인의 또 다른 단점은 최신 뉴스, 주식 시장 업데이트 또는 라이브 점수와 같은 실시간 정보를 얻을 수 없다는 것입니다. 이로 인해 최신 데이터가 필요한 주제에 대한 쿼리에는 PocketPal AI를 사용할 수 없습니다.

마찬가지로, 작은 모델은 세대에 적합하지만 제한된 매개 변수로 인해 LLM (Lange Models)에서 얻는 창의적인 폭이 부족합니다. 이것은 당신이 미묘한 어휘와 언어로 원하는 출력을 생성하지 못할 수 있음을 의미합니다.

따라서 중간지면을 찾는 것이 가장 좋습니다. 사소한 또는 개인 쿼리에는 PocketPal AI를 사용하고 심층 분석, 고급 문제 해결, 사실 확인 또는 미디어 생성과 같은 복잡하거나 창의적인 작업을 위해 LLM으로 전환하십시오.