Roost

Roost es una aplicación de IA local para Android que te permite descubrir, descargar, ejecutar, evaluar y distribuir modelos de IA directamente desde tu dispositivo.

Chatea con los modelos en tu dispositivo, prueba su rendimiento en tu propio hardware e inicia un servidor API de red local para clientes compatibles. Roost está diseñada para usuarios que desean mayor control sobre la IA local, la experimentación privada y los flujos de trabajo de modelos móviles sin depender de un servicio de chat en la nube para cada consulta.

Características principales:

• Ejecuta modelos de IA locales en tu dispositivo Android
• Chatea de forma privada con modelos descargados en tu dispositivo
• Explora y descarga archivos de modelos compatibles
• Gestiona tu biblioteca y almacenamiento de modelos locales
• Evalúa la velocidad, el uso de memoria y el rendimiento de los modelos
• Inicia un servidor LAN con puntos de chat similares a OpenAI y Ollama
• Usa una clave API opcional para acceder al servidor local
• Ajusta la configuración de inferencia, las cadenas de detención, el tema y la configuración predeterminada del chat
• Mantén las indicaciones y la actividad del chat en tu dispositivo al usar modelos locales

Roost es útil para pruebas de IA locales, experimentación sin conexión, flujos de trabajo LLM móviles, uso de modelos GGUF, evaluación comparativa de dispositivos y para ejecutar un pequeño servidor de modelos privado en tu red local.

La aplicación está diseñada para usuarios pioneros, desarrolladores, entusiastas de la IA y usuarios preocupados por la privacidad que desean explorar la IA en sus dispositivos Android. El rendimiento depende de tu dispositivo, el tamaño del modelo, la cuantización, la memoria y el motor seleccionado.

Roost no incluye los pesos de los modelos en el paquete de la aplicación. La disponibilidad de los modelos, las licencias y el acceso a la descarga pueden depender de proveedores externos como Hugging Face. Algunos modelos pueden requerir un token de acceso o no funcionar correctamente en todos los dispositivos.

Roost se encuentra en fase inicial de desarrollo y seguirá mejorando la compatibilidad de los modelos, el rendimiento, el comportamiento del servidor y los flujos de trabajo de IA locales mediante actualizaciones.