Her Apple tutkunu, parmaklarının ucunda tam güce sahip olmayı her zaman hayal etmiştir ve yeni M4 çipiyle artık sadece daha hızlı web tarama veya video düzenlemenin çok ötesinde bir şeyden bahsedebiliriz. Mac'inizi tamamen yerel, özel bir yapay zeka sunucusuna dönüştürmekten bahsediyoruz. İnternet yok, aylık abonelik yok ve verilerinizin şirketler tarafından gözetlenmesi konusunda endişelenmenize gerek yok. Araştırma, planlama ve programlama görevlerini doğrudan sabit diskinizden gerçekleştiren bir yapay zeka modelini çalıştırma fikri, bir Mac kullanıcısının bugün sahip olabileceği en üst düzey teknolojik deneyimdir.
Ayarlar ve araç seçimi labirenti
Bir uygulamayı açıp bir şablon yüklemek kadar basit değil; yerel şablonlar dünyasına girmek, sıfırdan bir bilgisayar kurmaya benziyor. Öncelikle, bu şablonu çalıştıracak platformu seçmeniz gerekiyor; bu Ollama, llama.cpp veya LM Studio olabilir. Her platformun kendine özgü özellikleri ve sınırlamaları var ve hepsi aynı şablonları desteklemiyor. Ardından en büyük zorluk geliyor: diğer uygulamalarınızın sorunsuz çalışması için yeterli alan bırakırken, cihazınızın 24 GB RAM'ine sığacak bir şablon seçmek.
Buradaki amaç, tercihen 128 veya daha fazla belirteç içeren geniş bir bağlam penceresi sağlayan bir model bulmaktır. Qwen 3.6 veya GPT-OSS 20B gibi modellerle yapılan deneyler, teknik olarak bellekte çalışabilmelerine rağmen, aşırı yavaşlık nedeniyle pratikte kullanılamaz hale gelebileceklerini göstermiştir; Gemma 4B gibi daha küçük modeller ise karmaşık araçları ve görevleri uygulamada zorluk çekebilir.
Taçsız Şampiyon: Qwen 3.5-9B
Kapsamlı testlerden sonra bir model ortaya çıktı. qwen3.5-9b@q4_k_s 24 GB MacBook Pro için en dengeli seçenek olan bu model, Düşünme Modu etkinleştirildiğinde saniyede 40 token'a kadar etkileyici hızlar ve yazılım araçlarını başarıyla kullanma yeteneği sunuyor. Daha büyük bulut tabanlı modellere kıyasla zaman zaman dikkat dağıtıcı olsa da, ağ bağlantısı gerektirmeyen bir dizüstü bilgisayar için yine de olağanüstü performans sunuyor.
Hassas programlama görevlerinde en iyi sonuçları elde etmek için, sıcaklığı 0.6'ya ayarlamak ve top_p=0.95 gibi seçenekleri etkinleştirmek gibi ayarları ince ayar yapmak önerilir. Bu küçük teknik ayrıntılar, akıllıca bir yanıt ile kısır döngüye giren bir yanıt arasındaki farkı yaratır.
Etkileşimli iş akışı: İnsan ve makine yan yana
Gerçekçi olalım; Qwen 3.5 gibi yerel modeller, gelişmiş bulut tabanlı modeller gibi tek tıklamayla eksiksiz bir uygulama oluşturmaya henüz hazır değiller. Bunun yerine, kontrolün sizde olduğu ve modeli bir arama asistanı veya akıllı bir "kauçuk ördek" gibi kullanarak kodu anında inceleyebileceğiniz veya karmaşık programlama dillerinin ayrıntılarını hatırlayabileceğiniz etkileşimli bir iş akışına ihtiyaç duyarlar.
Bu çalışma yaklaşımı, sizden daha fazla zihinsel çaba gerektirirken, daha etkili düşünmenizi ve planlamanızı teşvik eder. Tüm düşünme işini makineye devretmiyorsunuz; aksine, projeyi kontrol altında tutmadan verimliliğinizi artırmak için onu bir araç olarak kullanıyorsunuz. Bu, teknolojiyi ilk başta neden sevdiğimizi bize hatırlatan eğlenceli ve sürdürülebilir bir teknolojik deneyim: araçlarla deney yapma ve mümkün olanın sınırlarını keşfetme yeteneği.
المصدر:
Bir yanıt bırakın