Parit Sebenar dalam Pembelajaran Mesin

Apabila kita bercakap tentang persaingan AI, kita biasanya menumpukan perhatian pada seni bina model, skala parameter, dan pelaburan kuasa pengkomputeran. Tetapi ini bukanlah halangan sebenar.

Algoritma boleh disalin. Kuasa pengkomputeran boleh disewa. Tetapi saluran data dunia nyata proprietari? Itulah paritnya.

Tiga Peringkat Persaingan ML

Dalam dekad yang lalu, fokus persaingan pembelajaran mesin telah mengalami tiga peralihan:

Peringkat Pertama: Persaingan Algoritma (2012-2017)

• Siapa yang mempunyai seni bina model yang lebih baik
• Pencipta CNN, RNN, Transformer mendapat kelebihan
• Tetapi selepas kertas kerja diterbitkan, semua orang boleh menggunakannya

Peringkat Kedua: Persaingan Kuasa Pengkomputeran (2017-2022)

• Siapa yang mempunyai lebih banyak GPU
• Melatih GPT-3 memerlukan 1000+ V100
• Tetapi perkhidmatan awan menjadikan kuasa pengkomputeran sebagai komoditi yang boleh dibeli

Peringkat Ketiga: Persaingan Data (2022-Sekarang)

• Siapa yang mempunyai kitaran data unik
• Data sintetik tidak boleh menggantikan data dunia nyata
• Ini adalah halangan yang tidak boleh ditiru

Mengapa Data adalah Parit Terakhir?

Tiga sebab:

1. Kekurangan: Data sebenar yang berkualiti tinggi dan berlabel baik secara semula jadi adalah terhad
2. Tidak Boleh Didagangkan: Walaupun anda sanggup membayar, anda tidak boleh membeli saluran data pesaing
3. Kesan Pengkompaunan: Data yang lebih baik → Produk yang lebih baik → Lebih banyak pengguna → Lebih banyak data

Seorang pengamal ML menulis di X:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Ini menangkap intipati masalah. Apabila anda melihat OpenAI menandatangani perjanjian eksklusif dengan penerbit, Google membelanjakan berbilion untuk membeli akses data Reddit, mereka tidak membeli kandungan—mereka membeli parit data latihan.

Regresi Pertukaran Bias-Varians

Menariknya, apabila kita membincangkan kualiti data, konsep pembelajaran mesin yang paling klasik kembali: pertukaran bias-varians.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

Dalam era LLM, kita pernah berfikir bahawa konsep ini sudah lapuk. Tetapi ternyata, intipati masalah kualiti data masih merupakan keseimbangan antara bias dan varians—data sampah menghasilkan bias, data homogen menyebabkan varians.

Peralihan Perspektif Matematik

Satu lagi trend yang patut diberi perhatian ialah: pemahaman tentang asas matematik ML semakin mendalam.

Seorang penyelidik menyatakan:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Peralihan perspektif ini—daripada "grid nombor" kepada "struktur graf"—mendedahkan peningkatan kognitif yang sedang dialami oleh ML. Apabila semakin ramai orang memahami bagaimana algebra linear, teori kebarangkalian, dan teori pengoptimuman menyokong "sihir" ini, industri akan beralih daripada pemujaan kotak hitam kepada pemahaman kotak putih.

Masalah Kos Alam Sekitar

Tidak boleh diabaikan bahawa kemakmuran ML disertai dengan kos alam sekitar yang sebenar:

• 74% daripada kenyataan syarikat teknologi "AI membantu iklim" kekurangan bukti
• Pelepasan Google meningkat 48% dari 2019-2023
• Pelepasan Microsoft telah meningkat 29% sejak 2020

Angka-angka ini datang daripada pengembangan pusat data, dan pendorong pengembangan pusat data adalah latihan dan inferens ML. Ini bukan lengkung yang boleh diekstrapolasi tanpa had.

Implikasi untuk Pengamal

Jika anda memasuki bidang ML, terdapat tiga arah yang patut diberi perhatian:

1. Kejuruteraan Data: Lebih sukar untuk diganti daripada seni bina model
2. Pengetahuan Domain: Mengetahui data apa yang berharga adalah lebih penting daripada mengetahui cara melatih
3. Pemikiran Sistem: ML bukanlah model terpencil, tetapi gelung tertutup data-model-produk-pengguna

Seperti yang dikatakan oleh seseorang: menjadi mesin pembelajaran itu sendiri adalah meta-kemahiran yang paling penting dalam hidup.

Tetapi kenyataan yang lebih tepat ialah: menjadi mesin pembelajaran yang memahami data adalah daya saing sebenar era ini.