Llama, Mistral, DeepSeek gibi LLM'leri veya Hugging Face'te bulunan milyonlarca LLM'den birini denemek istiyorsanız, Mac gibi güçlü bir bilgisayara ve LM Studio gibi kullanışlı bir uygulamaya ihtiyacınız var.
Bu kısa kılavuzda, Mac'te LLM çalıştırmak için en iyi araç olan LM Studio'yu, temel özelliklerini ve avantajlarını tartışacağız. Ayrıca LM Studio yardımıyla Mac'te LLM'nin nasıl kurulacağını ve çalıştırılacağını keşfedeceğiz.
Hadi başlayalım!
LM Studio nedir?
LM Studio, LLM'leri bilgisayarınızda yerel olarak çalıştırmanıza olanak tanıyan bir masaüstü uygulamasıdır. Mac'te bir LLM üzerinde ince ayar yapmak istiyor ancak verileri üçüncü taraflarla paylaşmak istemiyorsanız veya sadece gizliliği seviyorsanız mükemmel bir seçimdir.
Kullanışlı sohbet arayüzü sayesinde LM Studio tüm Apple Silicon Mac'lerle iyi çalışır ve kurulumu ve kullanımı kolaydır. Hugging Face ile entegrasyon, kullanıcıların çeşitli görevler için çeşitli modeller arasından seçim yapmasına olanak tanır. Uygulama ayrıca çevrimdışı modu destekler ve kendi uygulamalarınıza ve komut dosyalarınıza bağlanmak için kullanabileceğiniz bir REST API sağlar.
Ancak en önemlisi, LM Studio'nun Mac'te bir LLM kurmak ve çalıştırmak için harika bir araç olmasıdır. Mac makine öğrenimi yetenekleri sonuna kadar.
LM Studio ile Başlamak
Mac üzerinde bir LLM çalıştırmak için öncelikle LM Studio'yu indirmeniz ve bilgisayarınıza kurmanız gerekir. İşlem çok hızlıdır ve sadece birkaç sezgisel adımdan oluşur.
LM Studio'yu resmi sitelerinden indirebilirsiniz:
Uygulamayı Mac'inizde çalıştırdığınızda, atlayabileceğiniz ve doğrudan seçilen LLM ile çalışmaya başlayabileceğiniz bir Hoş Geldiniz eğitimi açılır.
LM Studio ile Mac'te LLM Nasıl Kurulur ve Çalıştırılır?
LM Studio'yu kurup ayarladıktan sonra, Mac'inizde çalışmak için en iyi olduğunu düşündüğünüz herhangi bir LLM'yi arayabilir ve indirebilirsiniz. İşte dört basit adım:
- LM Studio arama arayüzünde ihtiyacınız olan LLM'yi arayın
- İhtiyacınız olan modeli seçin. Model sürümünün boyutuna dikkat edin ve bilgisayarınızın özellikleriyle uyumlu olanı seçin
- Modeli yükleyin
- LLM'yi sohbet arayüzü üzerinden çalıştırın
Şimdi bu adımları yakından inceleyelim.
İhtiyacınız olan LLM için arama yapın
LM Studio, Hugging Face ile entegre yerleşik bir model indiriciye sahiptir. Mac'inizde çalıştırmak için desteklenen herhangi bir LLM'yi almanıza izin verecektir. Başlamak için resimdeki gibi simgeye basın:
Arama işlevi çok esnektir: Modelleri anahtar kelimelerle, Hugging Face URL'leriyle veya belirli bir kullanıcı/model dizesi sağlayarak arayabilirsiniz.
Doğru model sürümünü seçin ve indirin
Modeli indirmek için, arama alanına model adını girmeli, listeden model varyantını seçmeli ve İndir düğmesine basmalısınız.
Seçilen modelin, bazıları Q3_K_S veya Q_8 gibi adlara sahip çeşitli varyantlarını sıklıkla göreceksiniz. Bunlar, aynı modelin farklı bilgi işlem yeteneklerine sahip bilgisayarlar için oluşturulmuş sıkıştırılmış kopyalarıdır.
"Q" burada "Quantization" anlamına gelmektedir. Kuantizasyon, model dosyalarını bellek uğruna sıkıştırırken bir miktar kaliteden vazgeçme uygulamasıdır. Bir LLM'yi Mac'e etkili bir şekilde yüklemek ve çalıştırmak için 4 bit veya daha yüksek bir seçenek seçin.
Modeli Mac belleğinize yükleyin
Bir modelin yüklenmesi, bilgisayar belleğinizin modelin ağırlıklarını ve diğer parametrelerini barındıracak şekilde ayrılması anlamına gelir.
Model indirme işlemi tamamlandığında İndirilenler penceresinde ilgili düğme görünecektir.
LLM'yi çalıştırın
Model yüklendikten sonra, sohbete gidebilir ve görevlerinizi yerine getirmek için ileri geri bir konuşma başlatabilirsiniz.
Her biri özel bir klasörde saklanan ayrı bir sohbet dizisine sahip birkaç farklı modelle çalışabilirsiniz.
Sohbette, seçilen modele istemler aracılığıyla verilerinizle ne yapması gerektiği konusunda görevler verirsiniz.
Örneğin, bir modelden, modele eklediğiniz belgelerden ilgili bilgileri çıkarmasını isteyebilirsiniz. LM Studio, bu süreci basitleştirmek için her model için bir istem şablonu sunar. İş veya çalışma amaçlarınız için Mac üzerinde bir LLM'ye ince ayar yapmanız gerekiyorsa bu özellik çok kullanışlıdır.
Özetlemek gerekirse
Sezgisel ve tanıdık sohbet tabanlı arayüzü ile LM Studio, Mac'te bir LLM kurmak ve çalıştırmak ve iş veya çalışma ihtiyaçlarınız için ML modellerine ince ayar yapmak için mükemmel bir araçtır.
LM Studio ve Mac'i birleştirdiğinizde ihtiyacınız olan her şeyi elde edersiniz: hız, kalite ve kullanım kolaylığı, çünkü MacOS LLM'lerle oynamak, denemek ve yenilik yapmak için mükemmel bir ortamdır.
Harika bir makine öğrenimi fikriniz var ancak bunu hayata geçirecek bilgi işlem gücünden yoksun musunuz?
Bulutta Mac kiralamak sizin için mükemmel bir çözüm olabilir!
Hizmetimiz size şunları sağlar neredeyse tüm üst düzey Mac'leri kiralayın İhtiyacınız olan herhangi bir süre için: bir gün, bir ay veya daha fazla.