Local LLM Chat サポート
Local LLM Chatは、Hugging Faceから対応するMLXモデルをiPhoneへ保存して利用します。チャットの推論は端末内で実行されます。
はじめに
- モデル画面で公開モデルを選び、Wi-Fiなど安定した通信でダウンロードしてください。
- 初回ダウンロードにはモデルごとに約300〜350MBの空き容量が必要です。処理用の一時容量も考慮して、表示される必要容量より余裕を確保してください。
- 保存完了後はチャット画面でモデルを選択できます。保存済みモデルの推論にネットワーク接続は不要です。
ダウンロードが完了しない場合
- 通信と空き容量を確認し、モデル画面から再開してください。
- 認証や利用許諾が必要なモデルは配布元の条件を確認してください。審査用のおすすめモデルはHugging Faceアカウントを必要としません。
- GGUFのみのリポジトリは対象外です。MLX向けsafetensorsモデルを選択してください。
- 解決しない場合は途中ファイルを削除してから、再度ダウンロードしてください。
生成が停止する、または遅い場合
- 端末モニターでメモリ、空き容量、温度状態を確認してください。
- ほかのアプリを終了し、端末が高温の場合は冷えてから再試行してください。
- より小さいモデルを選び、最大出力やコンテキスト長を小さくしてください。
- 比較はメモリ保護のため2〜3モデルを順番に実行します。途中で停止した場合は、選択モデルと端末状態を確認して再試行してください。
履歴とデータを削除する
会話は履歴画面から削除できます。ダウンロード済みモデルはモデル画面から削除できます。Hugging Faceアクセストークンは設定画面から削除できます。アプリを削除すると、ローカルの会話履歴とモデルファイルも削除されます。
お問い合わせ
問題が続く場合は、利用端末、iOSバージョン、モデルのリポジトリID、表示されたエラー内容を添えて info@caen.co.jp までご連絡ください。アクセストークンや会話本文は送らないでください。
よくある質問
チャット内容は外部へ送信されますか？
送信されません。チャットの入力と生成結果はiPhone内で処理されます。Hugging Faceへの通信はモデル情報の確認とモデルファイル取得に限られます。
機内モードでも使えますか？
モデルの保存完了後は、保存済みモデルを使ったチャットと履歴閲覧をオフラインで利用できます。新しいモデルの確認とダウンロードには通信が必要です。
お問い合わせ
Local LLM Chatに関するお問い合わせは、CAEN Inc.までメールでご連絡ください。