Yapay Zekâ · Ses · Kişisel Proje

Jarvis

Iron Man'den ilham alan sesli kişisel asistan. "Jarvis" diyerek uyandır, soruyu sor; uygulama sesi metne çevirir, Gemini'ye iletir, yanıtı sesli olarak geri sunar. Windows PC istemcisi ve React Native mobil uç.

Python · FastAPI Whisper (STT) Gemini Flash TTS WebSocket React Native Açık Kaynak
GitHub'da gör →

Farklılaşma

Açık kaynak sesli asistan projeleri genelde tek platforma odaklanıyor: ya sadece masaüstü ya sadece mobil. Jarvis'te aynı FastAPI backend, WebSocket üzerinden hem Windows istemcisine hem React Native mobil uca hizmet veriyor — bu kombinasyon nadir görülüyor. Hobi/portfolyo projesi olduğu için önceliği büyüme değil, bulanık uyandırma eşleştirmesi ve follow-up modu gibi teknik detayların doğru çözülmesiydi.

Nasıl Çalışır

Uyandırma

"Jarvis" uyandırma kelimesi bulanık eşleştirmeyle algılanır. Whisper transkripsiyonundaki tutarsızlıklara karşı dayanıklı.

Gemini + Function Calling

Komut Gemini'ye iletilir. Sistem kontrolü gerekiyorsa (uygulama aç, dosya oluştur) function-calling ile pyautogui/psutil tetiklenir.

Sesli Yanıt

Yanıt TTS motoruyla seslendirilir. Follow-up modda uyandırma kelimesi gerektirmeden konuşma devam eder.

// Whisper STT aktif: dinleniyor...

› Yarın sabah 9'da toplantım var, bir hatırlatıcı ayarla.
// Intent: set_reminder → function_call tetikleniyor...
// psutil → system notification scheduled ✓

JARVIS: Tamam, yarın sabah 9:00 için hatırlatıcınızı ayarladım.

› Şimdiki CPU kullanımı ne?
// Intent: system_info → psutil.cpu_percent() ...
JARVIS: CPU kullanımı şu an %23, bellek %61 dolu.

Özellikler

Bulanık Uyandırma

Whisper "Jarvis" kelimesini her seferinde aynı şekilde transkribe etmez. Bulanık eşleştirme algoritması tutarsız sonuçları tolere eder.

Follow-up Modu

Bir komut sonrasında kısa bir pencere boyunca uyandırma kelimesi gerekmez. Doğal diyalog akışını bozmaz.

Sistem Kontrolü

Gemini function-calling üzerinden pyautogui ve psutil entegrasyonu. Uygulama açma, sistem bilgisi, hatırlatıcı gibi PC komutlarını çalıştırır.

Çapraz Platform

WebSocket üzerinden konuşan Windows PC istemcisi ve React Native mobil uç. Aynı backend ikisine de hizmet verir.

Teknoloji

Python FastAPI WebSocket openai-whisper google-genai pyautogui psutil TTS React Native Expo