Roost

O Roost é um aplicativo de IA local para Android que permite descobrir, baixar, executar, avaliar e disponibilizar modelos de IA diretamente do seu dispositivo.

Converse com modelos no seu dispositivo, teste o desempenho no seu próprio hardware e inicie um servidor de API de rede local para clientes compatíveis. O Roost foi desenvolvido para usuários que desejam mais controle sobre IA local, experimentação privada e fluxos de trabalho com modelos móveis, sem depender de um serviço de bate-papo na nuvem para cada interação.

O Roost foi criado para usuários que desejam mais controle sobre IA local, experimentação privada e fluxos de trabalho com modelos móveis, sem depender de um serviço de bate-papo na nuvem para cada interação.

Principais recursos:

• Execute modelos de IA locais em seu dispositivo Android
• Converse em particular com modelos baixados no dispositivo
• Navegue e baixe arquivos de modelos compatíveis
• Gerencie sua biblioteca de modelos locais e o armazenamento
• Compare a velocidade, o uso de memória e o desempenho do modelo
• Inicie um servidor LAN com endpoints de bate-papo semelhantes aos do OpenAI e do Ollama
• Use uma chave de API opcional para acesso ao servidor local
• Ajuste as configurações de inferência, strings de parada, tema e padrões de bate-papo
• Mantenha os avisos e a atividade de bate-papo em seu dispositivo ao usar modelos locais

O Roost é útil para testes de IA locais, experimentação offline, fluxos de trabalho LLM móveis, uso de modelos GGUF, avaliação de desempenho de dispositivos e execução de um pequeno servidor de modelos privado em sua rede local.

O aplicativo foi projetado para usuários pioneiros, desenvolvedores, entusiastas de IA e usuários preocupados com a privacidade que desejam explorar a IA em dispositivos Android. O desempenho depende do seu dispositivo, tamanho do modelo, quantização, memória e mecanismo selecionado.

O Roost não inclui pesos de modelo no pacote do aplicativo. A disponibilidade de modelos, licenças e acesso para download podem depender de fornecedores terceirizados, como a Hugging Face. Alguns modelos podem exigir um token de acesso ou podem não funcionar corretamente em todos os dispositivos.

O Roost está em fase inicial de desenvolvimento e continuará aprimorando a compatibilidade de modelos, o desempenho, o comportamento do servidor e os fluxos de trabalho de IA locais por meio de atualizações.