Yeni sistemle yapay zeka eğitimi iki kat hızlandı: TLT

Karmaşık akıl yürütme modellerinin eğitimindeki yüksek enerji ve hesaplama maliyetleri, Massachusetts Teknoloji Enstitüsü (MIT) ve NVIDIA tarafından geliştirilen ‘TLT’ sistemiyle aşılıyor. Atıl işlemci kapasitesini kullanan yeni yöntem, eğitim hızını yüzde 210’a kadar artırırken doğruluk oranını koruyor.

Gelişmiş programlama ve stratejik planlama gibi zorlu görevleri üstlenen büyük dil modellerinin (LLM) en büyük sorunu olan ‘eğitim darboğazı’ çözüme kavuşuyor. Massachusetts Teknoloji Enstitüsü (MIT), NVIDIA ve ETH Zürih’ten araştırmacıların ortak çalışmasıyla geliştirilen ‘Uzun Kuyruğu Evcilleştirme’ (TLT) sistemi, yapay zeka modellerinin geliştirme maliyetlerini düşürecek. Finansal trendlerin tahmininden enerji şebekelerinin yönetimine kadar geniş bir ticari yelpazede kullanılacak olan bu sistem, özellikle yüksek işlemci gücü gerektiren projelerde devrim yaratacak. DARBOĞAZ VE HESAPLAMA VERİMSİZLİĞİGünümüzde akıl yürütme modelleri, pekiştirmeli öğrenme (RL) teknikleriyle eğitiliyor. Ancak bu süreçte, işlemci grubundaki bazı üniteler karmaşık sorgularla uğraşırken, daha kısa yanıtlar üreten diğer işlemciler boşta kalarak sistemin tamamlanmasını bekliyor. Araştırmalar, bu ‘dönüşüm’ sürecinin eğitim süresinin yüzde 85’ini tükettiğini gösteriyor. MIT araştırmacısı Qinghao Hu, hedeflerinin bu atıl zamanı, ek bir maliyet getirmeden hızlanmaya dönüştürmek olduğunu vurguluyor. ATIL ZAMAN KAZANCA DÖNÜŞÜYORGeliştirilen TLT sistemi, ‘spekülatif kod çözme’ yöntemini uyarlanabilir bir modele dönüştürüyor. Sistem, ana modelin çıktılarını tahmin etmek için daha küçük ve hızlı bir ‘taslakçı’ modeli otomatik olarak eğitiyor. Bu taslak model, yalnızca bazı işlemciler boşta kaldığında devreye girerek, aksi takdirde boşa gidecek olan hesaplama kaynaklarını kullanıyor. Bu sayede ana modelin yapması gereken iş yükü azalırken, eğitim süreci kesintisiz ve daha hızlı bir şekilde devam ediyor. DOĞRULUK ORANI KORUNURKEN HIZ İKİ KATINA ÇIKTIGerçek dünya veri kümeleri üzerinde test edilen sistem, modellerin tahmin doğruluğundan ödün vermeden eğitim hızını yüzde 70 ile yüzde 210 arasında artırmayı başardı. Bu performans artışı, ileri düzey mantıksal modellerin geliştirilme maliyetini düşürürken, enerji verimliliği sayesinde karbon ayak izini de küçültüyor. NVIDIA'nın seçkin bilim insanlarından Song Han, bu yöntemin verimli yapay zeka hesaplaması bağlamında, gelecekteki çıkarım taleplerini karşılamak için en kritik araçlardan biri olacağını belirtiyor.