Pull down to go back
Sıfırdan Eğitilmiş 258M Parametre Türkçe LLM: Marul V7

Sıfırdan Eğitilmiş 258M Parametre Türkçe LLM: Marul V7

Selam, Bir süredir üzerinde çalıştığım bir projeyi paylaşmak istiyorum. Sıfırdan geliştirdiğim bir Türkçe dil modeli var: Marul V7 Model tamamen bağımsız şekilde eğitildi. Yaklaşık 258M parametreye sahip ve eğitim sürecinde hazır LLaMA benzeri mimariler kullanılmadı. Kendi tokenizer yapısını ve kendi model mimarisini geliştirdim. Pretrain aşamasında tamamen Türkçe ve temiz bir dataset kullanıldı, ardından instruction tuning yapıldı. Şu an model: Temel Türkçe dil görevlerinde çalışabiliyor