Roost

Roost는 안드로이드 기기에서 AI 모델을 직접 검색, 다운로드, 실행, 벤치마킹 및 제공할 수 있는 로컬 AI 앱입니다.

기기 내 모델과 채팅하고, 자체 하드웨어에서 성능을 테스트하고, 호환되는 클라이언트를 위한 로컬 네트워크 API 서버를 시작할 수 있습니다. Roost는 클라우드 채팅 서비스에 의존하지 않고 로컬 AI, 비공개 실험 및 모바일 모델 워크플로를 더욱 세밀하게 제어하고자 하는 사용자를 위해 설계되었습니다.

주요 기능:

• Android 기기에서 로컬 AI 모델 실행
• 다운로드한 기기 내 모델과 비공개 채팅
• 지원되는 모델 파일 찾아보기 및 다운로드
• 로컬 모델 라이브러리 및 저장소 관리
• 모델 속도, 메모리 사용량 및 성능 벤치마킹
• OpenAI 및 Ollama와 유사한 채팅 엔드포인트를 갖춘 LAN 서버 시작
• 로컬 서버 접근을 위한 선택적 API 키 사용
• 추론 설정, 중지 문자열, 테마 및 채팅 기본값 조정
• 로컬 모델 사용 시 기기에 프롬프트 및 채팅 활동 저장

Roost는 로컬 AI 테스트, 오프라인 친화적인 실험, 모바일 LLM 워크플로, GGUF 모델 사용, 기기 벤치마킹, 로컬 네트워크에서 소규모 비공개 모델 서버 실행에 유용합니다.

이 앱은 Android 휴대폰에서 기기 내 AI를 탐색하려는 얼리 어답터, 개발자, AI 애호가 및 개인 정보 보호에 민감한 사용자를 위해 설계되었습니다. 성능은 기기, 모델 크기, 양자화 방식, 메모리 및 선택한 엔진에 따라 달라집니다.

Roost 앱 패키지에는 모델 가중치가 포함되어 있지 않습니다. 모델 이용 가능 여부, 라이선스 및 다운로드 접근 권한은 Hugging Face와 같은 타사 모델 제공업체에 따라 다를 수 있습니다. 일부 모델은 액세스 토큰이 필요하거나 모든 기기에서 원활하게 작동하지 않을 수 있습니다.

Roost는 초기 개발 단계에 있으며, 업데이트를 통해 모델 호환성, 성능, 서버 동작 및 로컬 AI 워크플로를 지속적으로 개선할 예정입니다.