Roost

Roost est une application d'IA locale pour Android qui vous permet de découvrir, télécharger, exécuter, évaluer et déployer des modèles d'IA directement depuis votre appareil.

Discutez avec les modèles installés sur votre appareil, testez les performances sur votre propre matériel et lancez un serveur API local pour les clients compatibles. Roost est conçu pour les utilisateurs qui souhaitent un contrôle accru sur l'IA locale, l'expérimentation privée et les flux de travail des modèles mobiles, sans dépendre d'un service de messagerie instantanée dans le cloud pour chaque interaction.

Fonctionnalités clés :

• Exécuter des modèles d'IA locaux sur votre appareil Android

• Discuter en privé avec les modèles téléchargés sur votre appareil

• Parcourir et télécharger les fichiers de modèles compatibles

• Gérer votre bibliothèque et votre espace de stockage de modèles locaux

• Évaluer la vitesse, l'utilisation de la mémoire et les performances des modèles

• Démarrer un serveur LAN avec des points de terminaison de chat similaires à OpenAI et Ollama

• Utiliser une clé API (facultative) pour accéder au serveur local

• Personnaliser les paramètres d'inférence, les chaînes d'arrêt, le thème et les paramètres par défaut du chat

• Conserver les invites et l'activité du chat sur votre appareil lors de l'utilisation de modèles locaux

Roost est utile pour les tests d'IA locaux, les expérimentations hors ligne, les flux de travail LLM mobiles, l'utilisation de modèles GGUF, l'évaluation des performances des appareils et l'exécution d'un petit serveur de modèles privés sur votre réseau local.

L'application est conçue pour les pionniers, les développeurs, les passionnés d'IA et les utilisateurs soucieux de leur confidentialité qui souhaitent explorer l'IA embarquée depuis un téléphone Android. Les performances dépendent de votre appareil, de la taille du modèle, de la quantification, de la mémoire et du moteur sélectionné.

Les poids des modèles ne sont pas inclus dans le package de l'application Roost. La disponibilité des modèles, les licences et l'accès au téléchargement peuvent dépendre de fournisseurs tiers comme Hugging Face. Certains modèles peuvent nécessiter un jeton d'accès ou ne pas fonctionner correctement sur tous les appareils.

Roost est en développement et continuera d'améliorer la compatibilité des modèles, les performances, le comportement du serveur et les flux de travail d'IA locaux grâce à des mises à jour régulières.