PocketPal AI本地大模型v1.8.15 开源版
PocketPal AI本地大模型是一个手机上直接运行的本地AI对话工具，这个软件可以让你无需连接网络久等与其他的AI大模型进行聊天和交流，本地部署方法需要根据流程进行摸索，可以在本地增加一个最近十分热门的deepseek，这样就不会卡顿的进行使用了。
部署方法
1.百度找到千千下载
2.在精品网中搜索PocketPal，点击下载
3.打开软件点击Models，点+，点Hugging Face搜索大模型
4.尽量下载名字带Q4_NL（4bit量化 normal 压缩）的模型，回答比较精准。
5.解释一下部分量化标识命名规则：NL 平衡精度与速度（Normal）、M 中等优化（middle）、 XS 极致压缩（Extra Small）、K 极限压缩（K-special）、Qx 量化位数（手机上运行 Q4 最佳）。
6.在加载好模型后在Settings中把N PREDICT设置为4096。
如果遇到问题请发到评论区，我会试着解决。
PocketPal AI是什么软件
PocketPal AI 是一款袖珍型 AI 助手，由直接在手机上运行的小型语言模型 （SLM） 提供支持。PocketPal AI 专为 iOS 和 Android 设计，让您无需互联网连接即可与各种 SLM 进行交互。
软件特色
离线 AI 协助：直接在您的设备上运行语言模型，无需互联网连接。
模型灵活性：下载并在多个 SLM 之间进行交换，包括 Danube 2 和 3、Phi、Gemma 2 和 Qwen。
Auto Offload/Load：当应用程序在后台运行时，通过卸载模型来自动管理内存。
推理设置：自定义模型参数，如系统提示符、温度、BOS 令牌和聊天模板。
实时性能指标：在 AI 响应生成期间查看每秒令牌数和每个令牌的毫秒数。
使用流程
下载模型
点击汉堡菜单
导航到 “Models” 页面
选择您想要的型号并点击下载
加载模型
下载后，点击 Load 将模型导入内存。现在您可以聊天了！
技巧
在 iOS 设备上，Apple 的 GPU API （Metal） 默认处于激活状态。如果您遇到任何问题，请尝试停用它。
iOS 金属
自动卸载/加载
为了保持设备平稳运行，PocketPal AI 可以自动管理内存使用情况：
在模型页面上启用 “Auto Offload/Load” （默认情况下是）
该应用程序将在后台卸载模型
当您返回时，它会重新加载（对于较大的模型，请等待几秒钟）
高级设置
单击 V 形图标可访问高级 LLM 设置，例如：
温度
BOS 代币
聊天模板选项
等。
最后，让我们聊聊吧！
加载模型后，前往 “聊天” 页面并开始与加载的模型交谈！
此时还会显示 generation performance （生成性能） 指标。如果有兴趣，请观察聊天气泡以获取实时性能指标：每秒令牌数和每个令牌的毫秒数。
重要提示：截至目前，我还没有找到一种简单的方法来从生成的响应中选择和复制文本，同时保留文本格式，尤其是 Markdown 支持。
同时，以下是当前用于复制文本的选项：
段落级复制：长按特定段落可复制其内容。
完整响应复制：使用文本气泡底部的复制图标复制 AI 生成的整个响应。
我知道这些选项可能并不理想，这是我使用其他应用程序的挫败感之一。复制部分文本的困难曾经是 ChatGPT 等聊天应用程序特别烦人的方面。
开发商： PocketPal AI 是使用 React Native 构建的。找到一种平衡文本选择和保留格式（尤其是 Markdown 支持）的简单解决方案对我来说一直很棘手。如果您有这方面的经验，我很乐意听取您的意见！
更新日志
1.8.15Feat： 添加预设补全设置
1.8.12feat： 添加 iPad 支持 by in #249
重构：使用 IN #250 使用基于基准测试的模型改进内存需求检查
feat： 添加 Thought 标签并同步 llama.rn by in #251
修复（iPad）：新增对 Upside Down Orientation 的支持 by IN #253
1.8.5修复：改进 Android 版本跨 Edge 到 Edge Display 的实现
v1.6.9修复：在 ChatGenerationSettingsSheet 中使用 processedSettings
1.6.7修复（Android）：删除 llama.rn 的 FP16 编译器标志以解决 Deepseek