Bilgisayarınız hangi açık kaynak Ollama modelini rahatça çalıştırabilir bilmiyorsanız yalnız değilsiniz. Yanlışsız büyük lisan modelini seçmek, donanım tarafında önemli bir hesap işi gerektiriyor. Binlerce model varyantı, farklı kuantizasyon düzeyleri ve birbirinden farklı donanım yapılandırmaları ortasında kaybolmak çok kolay. Bellek bant genişliği, VRAM hudutları ve performans karakteristikleri üzere teknik ayrıntıları bilmeden gerçek tercihi yapmak neredeyse imkânsız. Tam bu noktada LLM Checker devreye giriyor.

Donanımınızı tahlil ediyor, en uygun modeli öneriyor

LLM Checker, sisteminizi tahlil ediyor ve uyumlu tüm modelleri dört farklı boyutta puanlıyor: kalite, sürat, ahenk ve bağlam. Sonuç olarak saniyeler içinde direkt uygulanabilir teklifler sunuyor. 200’den fazla dinamik model üzerinde deterministik bir puanlama sistemi kullanıyor. Ayrıyeten 35’ten fazla küratörlü yedek modeli de kıymetlendiriyor. Bellek iddiaları ise donanıma nazaran kalibre edilmiş formda hesaplanıyor. Öteki bir deyişle, sisteminizin sahiden kaldırabileceği modeli söylüyor.

Deneme yanılmaya son

Yüksek boyutlu yapay zeka modellerini yalnızca çalışır mı diye denemek için indirmek pek mantıklı bir seçenek değil. Bir NPM paketi olarak sunulan llm-checker komut satırı üzerinden çalışıyor. Sistem özelliklerinizi tarıyor ve hangi açık kaynak Ollama modellerinin makinenizde düzgün biçimde çalışacağını net biçimde bildiriyor.

Böylece, rastgele model indirme kaygısından kurtuluyorsunuz, dizüstü bilgisayarınızı kilitleyen dev modellerle uğraşmıyorsunuz ve iddia yürütmek yerine donanım temelli teklifler alıyorsunuz. Daha geniş kapsamlı deneyler, özel pipeline yapıları ve çoklu senaryolar için ise iki farklı aracı birlikte kullanmak mümkün. Yani LLM Checker, keşif sürecinin yerine geçmekten çok, hakikat başlangıç noktasını süratlice bulmanızı sağlıyor.

Nasıl kurulur ve kullanılır?

Kurulum ve kullanım adımları epey kolay. Birinci olarak komut satırına aşağıdaki komutu yazın.

npm install -g llm-checker

Kurulumun akabinde bilgisayarınızın donanımını test etmek için ise aşağıdaki komutu kullanabilirsiniz.

llm-checker hw-detect

Örneğin kodlama odaklı modeller için, kategoriye nazaran teklif almak için ise şu komut kâfi olacak:

llm-checker recommend –category coding

Aşağıdaki komut ise kodlama kategorisindeki en uygun modeli otomatik olarak seçip verdiğiniz komut istemiyle çalıştıracaktır.

llm-checker ai-run –category coding –prompt “Write a hello world in Python”

llm-checker’ı bu GitHub reposundan kurabilirsiniz.