Roost

Roostは、Android端末から直接AIモデルの検索、ダウンロード、実行、ベンチマーク、配信を行えるローカルAIアプリです。

端末上のモデルとチャットしたり、独自のハードウェアでパフォーマンスをテストしたり、対応クライアント向けにローカルネットワークAPIサーバーを起動したりできます。Roostは、ローカルAI、プライベートな実験、モバイルモデルのワークフローをより細かく制御したいユーザーのために開発されました。あらゆるプロンプトにクラウドチャットサービスに依存する必要はありません。

主な機能：

• Android端末上でローカルAIモデルを実行
• 端末にダウンロードしたモデルとプライベートチャット
• 対応モデルファイルの閲覧とダウンロード
• ローカルモデルライブラリとストレージの管理
• モデルの速度、メモリ使用量、パフォーマンスのベンチマーク
• OpenAIライクおよびOllamaライクなチャットエンドポイントを備えたLANサーバーを起動
• ローカルサーバーへのアクセスにオプションのAPIキーを使用
• 推論設定、停止文字列、テーマ、チャットのデフォルト設定を調整
• ローカルモデル使用時、プロンプトとチャットアクティビティを端末上に保持

Roostは、ローカルAIテスト、オフライン対応の実験、モバイルLLMワークフロー、GGUFモデルの使用、デバイスのベンチマーク、ローカルネットワーク上での小規模なプライベートモデルサーバーの実行に役立ちます。

このアプリは、Androidスマートフォンから端末上のAIを探求したいアーリーアダプター、開発者、AI愛好家、プライバシーを重視するユーザー向けに設計されています。パフォーマンスは、デバイス、モデルサイズ、量子化、メモリ、選択したエンジンによって異なります。

Roostには、アプリパッケージにモデルの重みは含まれていません。モデルの提供状況、ライセンス、ダウンロードへのアクセスは、Hugging Faceなどのサードパーティ製モデルプロバイダーによって異なる場合があります。一部のモデルはアクセストークンを必要とする場合や、すべてのデバイスで正常に動作しない場合があります。

Roostは現在開発初期段階にあり、アップデートを通じてモデルの互換性、パフォーマンス、サーバーの動作、ローカルAIワークフローを継続的に改善していきます。