Hào sâu thực sự của Machine Learning

Khi chúng ta nói về cạnh tranh AI, chúng ta thường tập trung vào kiến trúc mô hình, quy mô tham số, đầu tư vào sức mạnh tính toán. Nhưng đây không phải là những rào cản thực sự.

Thuật toán có thể được sao chép. Sức mạnh tính toán có thể được thuê. Nhưng đường ống dữ liệu thế giới thực độc quyền? Đó mới là hào sâu.

Ba giai đoạn của cạnh tranh ML

Trong mười năm qua, trọng tâm cạnh tranh của machine learning đã trải qua ba lần chuyển đổi:

Giai đoạn đầu tiên: Cạnh tranh thuật toán (2012-2017)

• Ai có kiến trúc mô hình tốt hơn
• Những người phát minh ra CNN, RNN, Transformer có được lợi thế
• Nhưng sau khi bài báo được công bố, mọi người đều có thể sử dụng

Giai đoạn thứ hai: Cạnh tranh sức mạnh tính toán (2017-2022)

• Ai có nhiều GPU hơn
• Đào tạo GPT-3 cần hơn 1000 V100
• Nhưng dịch vụ đám mây biến sức mạnh tính toán thành hàng hóa có thể mua được

Giai đoạn thứ ba: Cạnh tranh dữ liệu (2022-nay)

• Ai có vòng quay dữ liệu độc đáo
• Dữ liệu tổng hợp không thể thay thế dữ liệu thế giới thực
• Đây mới là rào cản không thể sao chép

Tại sao dữ liệu là hào sâu cuối cùng?

Ba lý do:

1. Tính khan hiếm: Dữ liệu thực chất lượng cao, được gắn nhãn tốt vốn dĩ khan hiếm
2. Tính không thể giao dịch: Ngay cả khi bạn sẵn sàng trả tiền, bạn cũng không thể mua đường ống dữ liệu của đối thủ cạnh tranh
3. Hiệu ứng lãi kép: Dữ liệu tốt hơn → Sản phẩm tốt hơn → Nhiều người dùng hơn → Nhiều dữ liệu hơn

Một người làm ML đã viết trên X:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

Điều này nắm bắt được bản chất của vấn đề. Khi bạn thấy OpenAI ký thỏa thuận độc quyền với các nhà xuất bản, Google chi hàng tỷ đô la để mua quyền truy cập dữ liệu Reddit, họ không mua nội dung - họ đang mua hào sâu dữ liệu đào tạo.

Sự trở lại của đánh đổi giữa độ lệch và phương sai

Điều thú vị là, khi chúng ta thảo luận về chất lượng dữ liệu, khái niệm cổ điển nhất của machine learning đang quay trở lại: đánh đổi giữa độ lệch và phương sai.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

Trong kỷ nguyên LLM, chúng ta từng nghĩ rằng khái niệm này đã lỗi thời. Nhưng hóa ra, bản chất của vấn đề chất lượng dữ liệu vẫn là sự cân bằng giữa độ lệch và phương sai - dữ liệu rác tạo ra độ lệch, dữ liệu đồng nhất dẫn đến phương sai.

Sự thay đổi trong góc nhìn toán học

Một xu hướng khác đáng chú ý là: sự hiểu biết về nền tảng toán học của ML đang ngày càng sâu sắc.

Một nhà nghiên cứu chỉ ra:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

Sự chuyển đổi góc nhìn này - từ "lưới số" sang "cấu trúc đồ thị" - cho thấy ML đang trải qua một sự nâng cấp nhận thức. Khi ngày càng có nhiều người hiểu cách đại số tuyến tính, lý thuyết xác suất, lý thuyết tối ưu hóa hỗ trợ những "phép thuật" này, ngành sẽ chuyển từ sùng bái hộp đen sang hiểu hộp trắng.

Vấn đề chi phí môi trường

Không thể bỏ qua rằng, sự thịnh vượng của ML đi kèm với cái giá môi trường thực sự:

• 74% tuyên bố "AI hỗ trợ khí hậu" của các công ty công nghệ thiếu bằng chứng
• Lượng khí thải của Google tăng 48% từ năm 2019-2023
• Lượng khí thải của Microsoft đã tăng 29% kể từ năm 2020

Những con số này đến từ việc mở rộng trung tâm dữ liệu, và động lực thúc đẩy việc mở rộng trung tâm dữ liệu chính là đào tạo và suy luận ML. Đây không phải là một đường cong có thể ngoại suy vô hạn.

Bài học cho người hành nghề

Nếu bạn đang bước vào lĩnh vực ML, có ba hướng đáng chú ý:

1. Kỹ thuật dữ liệu: Khó bị thay thế hơn kiến trúc mô hình
2. Kiến thức chuyên môn: Biết dữ liệu nào có giá trị quan trọng hơn biết cách đào tạo
3. Tư duy hệ thống: ML không phải là một mô hình cô lập, mà là một vòng lặp khép kín dữ liệu-mô hình-sản phẩm-người dùng

Như ai đó đã nói: Trở thành một cỗ máy học tập, bản thân nó, là một siêu kỹ năng quan trọng nhất trong cuộc đời.

Nhưng một cách chính xác hơn là: Trở thành một cỗ máy học tập hiểu dữ liệu mới là lợi thế cạnh tranh thực sự trong thời đại này.