Makine Öğrenmesinin Gerçek Siperi

Yapay zeka rekabetinden bahsettiğimizde, genellikle model mimarisine, parametre ölçeğine ve hesaplama gücü yatırımına odaklanırız. Ancak bunların hiçbiri gerçek engel değildir.

Algoritmalar kopyalanabilir. Hesaplama gücü kiralanabilir. Ancak özel gerçek dünya veri hatları? İşte o zaman siper olur.

ML Rekabetinin Üç Aşaması

Geçtiğimiz on yılda, makine öğrenmesi rekabetinin odak noktası üç kez değişti:

Birinci Aşama: Algoritma Rekabeti (2012-2017)

• Kimin daha iyi model mimarisi var
• CNN, RNN, Transformer'ın mucitleri avantaj elde etti
• Ancak makale yayınlandıktan sonra herkes kullanabilir

İkinci Aşama: Hesaplama Gücü Rekabeti (2017-2022)

• Kimin daha fazla GPU'su var
• GPT-3'ü eğitmek için 1000'den fazla V100 gerekiyor
• Ancak bulut hizmetleri, hesaplama gücünü satın alınabilir bir mal haline getiriyor

Üçüncü Aşama: Veri Rekabeti (2022-Şimdi)

• Kimin benzersiz bir veri döngüsü var
• Sentetik veriler gerçek dünya verilerinin yerini alamaz
• İşte bu kopyalanamaz bir engeldir

Veriler Neden Son Siper?

Üç sebep:

1. Kıtlık: Yüksek kaliteli, iyi etiketlenmiş gerçek veriler doğal olarak kıttır
2. Ticaret Yapılamazlık: Para ödemeye istekli olsanız bile, rakibin veri hattını satın alamazsınız
3. Bileşik Etki: Daha iyi veriler → daha iyi ürünler → daha fazla kullanıcı → daha fazla veri

Bir ML uygulayıcısı X'te şunu yazdı:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Bu, sorunun özünü yakalıyor. OpenAI'nin yayıncılarla özel anlaşmalar imzaladığını, Google'ın Reddit veri erişimi için milyarlar harcadığını gördüğünüzde, satın aldıkları içerik değil, eğitim verileri siperidir.

Sapma-Varyans Takasının Geri Dönüşü

İlginç bir şekilde, veri kalitesini tartıştığımızda, makine öğrenmesinin en klasik kavramı geri dönüyor: sapma-varyans takası.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM çağında, bir zamanlar bu kavramın modası geçmiş olduğunu düşündük. Ancak gerçek şu ki, veri kalitesi sorunlarının özü hala sapma ve varyansın dengesi - çöp veriler sapmaya neden olurken, homojen veriler varyansa neden olur.

Matematiksel Bakış Açısının Değişimi

Dikkat edilmesi gereken bir diğer eğilim de ML'nin matematiksel temellerine ilişkin anlayışın derinleşmesidir.

Bir araştırmacı şunu belirtiyor:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Bu bakış açısı değişimi - "sayı ızgaralarından" "grafik yapısına" - ML'nin geçirdiği bilişsel yükseltmeyi ortaya koyuyor. Giderek daha fazla insan doğrusal cebirin, olasılık teorisinin ve optimizasyon teorisinin bu "sihri" nasıl desteklediğini anladığında, sektör kara kutu tapınmasından beyaz kutu anlayışına doğru ilerleyecektir.

Çevresel Maliyet Sorunu

Göz ardı edilemeyecek bir şey de, ML'nin refahının gerçek çevresel maliyetlerle birlikte gelmesidir:

• Teknoloji şirketlerinin %74'ünün "Yapay Zeka destekli iklim" beyanları kanıt yetersizliğinden muzdarip
• Google emisyonları 2019-2023'te %48 arttı
• Microsoft emisyonları 2020'den bu yana %29 arttı

Bu rakamlar, veri merkezi genişlemesinden kaynaklanıyor ve veri merkezi genişlemesinin itici gücü ML eğitimi ve çıkarımıdır. Bu, sonsuza kadar dışarı çıkarılabilecek bir eğri değil.

Uygulayıcılar İçin Çıkarımlar

ML alanına giriyorsanız, dikkat edilmesi gereken üç yön var:

1. Veri Mühendisliği: Model mimarisinden daha zor değiştirilir
2. Alan Bilgisi: Hangi verilerin değerli olduğunu bilmek, nasıl eğitileceğini bilmekten daha önemlidir
3. Sistem Düşüncesi: ML, izole bir model değil, veri-model-ürün-kullanıcı döngüsüdür

Birinin dediği gibi: Öğrenen bir makine olmak, hayattaki en önemli meta beceridir.

Ancak daha doğru bir ifadeyle: Verileri anlayan bir öğrenme makinesi olmak, bu çağın gerçek rekabet gücüdür.