ಯಂತ್ರ ಕಲಿಕೆಯ ನಿಜವಾದ ಕೋಟೆ

ನಾವು AI ಸ್ಪರ್ಧೆಯ ಬಗ್ಗೆ ಮಾತನಾಡುವಾಗ, ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪ, ನಿಯತಾಂಕಗಳ ಪ್ರಮಾಣ ಮತ್ತು ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯ ಹೂಡಿಕೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ. ಆದರೆ ಇವು ಯಾವುದೂ ನಿಜವಾದ ತಡೆಗೋಡೆಯಲ್ಲ.

ಕ್ರಮಾವಳಿಗಳನ್ನು ನಕಲು ಮಾಡಬಹುದು. ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯನ್ನು ಬಾಡಿಗೆಗೆ ಪಡೆಯಬಹುದು. ಆದರೆ ಸ್ವಾಮ್ಯದ ನೈಜ-ಪ್ರಪಂಚದ ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ಗಳು? ಅದು ಕೋಟೆ.

ML ಸ್ಪರ್ಧೆಯ ಮೂರು ಹಂತಗಳು

ಕಳೆದ ದಶಕದಲ್ಲಿ, ಯಂತ್ರ ಕಲಿಕೆಯ ಸ್ಪರ್ಧೆಯ ಗಮನವು ಮೂರು ಬಾರಿ ಬದಲಾಗಿದೆ:

ಮೊದಲ ಹಂತ: ಕ್ರಮಾವಳಿ ಸ್ಪರ್ಧೆ (2012-2017)

• ಯಾರು ಉತ್ತಮ ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಹೊಂದಿದ್ದಾರೆ
• CNN, RNN, Transformer ಅನ್ನು ಕಂಡುಹಿಡಿದವರು ಪ್ರಯೋಜನವನ್ನು ಪಡೆದರು
• ಆದರೆ ಪ್ರಬಂಧವನ್ನು ಪ್ರಕಟಿಸಿದ ನಂತರ, ಪ್ರತಿಯೊಬ್ಬರೂ ಅದನ್ನು ಬಳಸಬಹುದು

ಎರಡನೇ ಹಂತ: ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿ ಸ್ಪರ್ಧೆ (2017-2022)

• ಯಾರು ಹೆಚ್ಚು GPU ಗಳನ್ನು ಹೊಂದಿದ್ದಾರೆ
• GPT-3 ಅನ್ನು ತರಬೇತಿ ಮಾಡಲು 1000+ V100 ಅಗತ್ಯವಿದೆ
• ಆದರೆ ಕ್ಲೌಡ್ ಸೇವೆಗಳು ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯನ್ನು ಖರೀದಿಸಬಹುದಾದ ವಸ್ತುವನ್ನಾಗಿ ಮಾಡುತ್ತವೆ

ಮೂರನೇ ಹಂತ: ಡೇಟಾ ಸ್ಪರ್ಧೆ (2022-ಇಂದಿನವರೆಗೆ)

• ಯಾರು ಅನನ್ಯ ಡೇಟಾ ಫ್ಲೈವ್ಹೀಲ್ ಅನ್ನು ಹೊಂದಿದ್ದಾರೆ
• ಸಿಂಥೆಟಿಕ್ ಡೇಟಾವು ನೈಜ-ಪ್ರಪಂಚದ ಡೇಟಾವನ್ನು ಬದಲಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ
• ಇದು ನಕಲು ಮಾಡಲು ಸಾಧ್ಯವಾಗದ ತಡೆಗೋಡೆ

ಡೇಟಾವು ಕೊನೆಯ ಕೋಟೆಯಾಗಿರುವುದು ಏಕೆ?

ಮೂರು ಕಾರಣಗಳು:

1. ಕೊರತೆ: ಉತ್ತಮ ಗುಣಮಟ್ಟದ, ಉತ್ತಮವಾಗಿ ಲೇಬಲ್ ಮಾಡಲಾದ ನೈಜ ಡೇಟಾವು ಸ್ವಾಭಾವಿಕವಾಗಿ ವಿರಳವಾಗಿದೆ
2. ವರ್ಗಾಯಿಸಲಾಗದಿರುವುದು: ಹಣವನ್ನು ಪಾವತಿಸಲು ಸಿದ್ಧರಿದ್ದರೂ, ಪ್ರತಿಸ್ಪರ್ಧಿಗಳ ಡೇಟಾ ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಖರೀದಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ
3. ಸಂಯುಕ್ತ ಪರಿಣಾಮ: ಉತ್ತಮ ಡೇಟಾ → ಉತ್ತಮ ಉತ್ಪನ್ನ → ಹೆಚ್ಚು ಬಳಕೆದಾರರು → ಹೆಚ್ಚು ಡೇಟಾ

ಒಬ್ಬ ML ವೃತ್ತಿಪರರು X ನಲ್ಲಿ ಬರೆದಿದ್ದಾರೆ:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

ಇದು ಸಮಸ್ಯೆಯ ಸಾರವನ್ನು ಸೆರೆಹಿಡಿಯುತ್ತದೆ. OpenAI ಪ್ರಕಾಶಕರೊಂದಿಗೆ ವಿಶೇಷ ಒಪ್ಪಂದಗಳಿಗೆ ಸಹಿ ಹಾಕುವುದನ್ನು ನೀವು ನೋಡಿದಾಗ, Google Reddit ಡೇಟಾ ಪ್ರವೇಶಕ್ಕಾಗಿ ಶತಕೋಟಿ ಡಾಲರ್‌ಗಳನ್ನು ಖರ್ಚು ಮಾಡಿದಾಗ, ಅವರು ವಿಷಯವನ್ನು ಖರೀದಿಸುತ್ತಿಲ್ಲ - ಅವರು ತರಬೇತಿ ಡೇಟಾದ ಕೋಟೆಯನ್ನು ಖರೀದಿಸುತ್ತಿದ್ದಾರೆ.

ಪಕ್ಷಪಾತ-ವ್ಯತ್ಯಾಸದ ವಹಿವಾಟಿನ ಮರುಕಳಿಸುವಿಕೆ

ಕುತೂಹಲಕಾರಿಯಾಗಿ, ನಾವು ಡೇಟಾ ಗುಣಮಟ್ಟದ ಬಗ್ಗೆ ಚರ್ಚಿಸುವಾಗ, ಯಂತ್ರ ಕಲಿಕೆಯ ಅತ್ಯಂತ ಶ್ರೇಷ್ಠ ಪರಿಕಲ್ಪನೆಯು ಮರಳುತ್ತಿದೆ: ಪಕ್ಷಪಾತ-ವ್ಯತ್ಯಾಸದ ವಹಿವಾಟು.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM ಯುಗದಲ್ಲಿ, ಈ ಪರಿಕಲ್ಪನೆಯು ಹಳೆಯದಾಗಿದೆ ಎಂದು ನಾವು ಒಮ್ಮೆ ಭಾವಿಸಿದ್ದೆವು. ಆದರೆ ಡೇಟಾ ಗುಣಮಟ್ಟದ ಸಮಸ್ಯೆಯ ಸಾರವು ಇನ್ನೂ ಪಕ್ಷಪಾತ ಮತ್ತು ವ್ಯತ್ಯಾಸದ ನಡುವಿನ ಸಮತೋಲನವಾಗಿದೆ ಎಂದು ತಿರುಗುತ್ತದೆ - ಕಸದ ಡೇಟಾವು ಪಕ್ಷಪಾತವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ ಮತ್ತು ಏಕರೂಪದ ಡೇಟಾವು ವ್ಯತ್ಯಾಸಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ.

ಗಣಿತದ ದೃಷ್ಟಿಕೋನದ ಬದಲಾವಣೆ

ಗಮನಿಸಬೇಕಾದ ಮತ್ತೊಂದು ಪ್ರವೃತ್ತಿ ಎಂದರೆ: ML ಗಣಿತದ ಅಡಿಪಾಯದ ತಿಳುವಳಿಕೆಯು ಆಳವಾಗುತ್ತಿದೆ.

ಒಬ್ಬ ಸಂಶೋಧಕರು ಹೇಳುತ್ತಾರೆ:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

ಈ ದೃಷ್ಟಿಕೋನ ಬದಲಾವಣೆ - "ಸಂಖ್ಯೆಗಳ ಗ್ರಿಡ್" ನಿಂದ "ಗ್ರಾಫ್ ರಚನೆ" ಗೆ - ML ಅರಿವಿನ ನವೀಕರಣವನ್ನು ಅನುಭವಿಸುತ್ತಿದೆ ಎಂದು ಬಹಿರಂಗಪಡಿಸುತ್ತದೆ. ರೇಖೀಯ ಬೀಜಗಣಿತ, ಸಂಭವನೀಯತೆ ಸಿದ್ಧಾಂತ ಮತ್ತು ಆಪ್ಟಿಮೈಸೇಶನ್ ಸಿದ್ಧಾಂತವು ಈ "ಮ್ಯಾಜಿಕ್" ಅನ್ನು ಹೇಗೆ ಬೆಂಬಲಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಹೆಚ್ಚು ಹೆಚ್ಚು ಜನರು ಅರ್ಥಮಾಡಿಕೊಂಡಾಗ, ಉದ್ಯಮವು ಕಪ್ಪು ಪೆಟ್ಟಿಗೆಯ ಆರಾಧನೆಯಿಂದ ಬಿಳಿ ಪೆಟ್ಟಿಗೆಯ ತಿಳುವಳಿಕೆಗೆ ಚಲಿಸುತ್ತದೆ.

ಪರಿಸರ ವೆಚ್ಚದ ಸಮಸ್ಯೆ

ML ನ ಸಮೃದ್ಧಿಯು ನೈಜ ಪರಿಸರ ವೆಚ್ಚದೊಂದಿಗೆ ಬರುತ್ತದೆ ಎಂಬುದನ್ನು ನಿರ್ಲಕ್ಷಿಸಲಾಗುವುದಿಲ್ಲ:

• 74% ತಂತ್ರಜ್ಞಾನ ಕಂಪನಿಗಳ "AI ಸಹಾಯದಿಂದ ಹವಾಮಾನ" ಹೇಳಿಕೆಗಳು ಪುರಾವೆಗಳ ಕೊರತೆಯನ್ನು ಹೊಂದಿವೆ
• Google ಹೊರಸೂಸುವಿಕೆ 2019-2023 ರಿಂದ 48% ರಷ್ಟು ಹೆಚ್ಚಾಗಿದೆ
• Microsoft ಹೊರಸೂಸುವಿಕೆ 2020 ರಿಂದ 29% ರಷ್ಟು ಹೆಚ್ಚಾಗಿದೆ

ಈ ಅಂಕಿಅಂಶಗಳು ಡೇಟಾ ಸೆಂಟರ್ ವಿಸ್ತರಣೆಯಿಂದ ಬಂದಿವೆ ಮತ್ತು ಡೇಟಾ ಸೆಂಟರ್ ವಿಸ್ತರಣೆಯ ಚಾಲನಾ ಶಕ್ತಿ ML ತರಬೇತಿ ಮತ್ತು ತಾರ್ಕಿಕ ಕ್ರಿಯೆಯಾಗಿದೆ. ಇದು ಅನಂತವಾಗಿ ಹೊರತೆಗೆಯಲು ಸಾಧ್ಯವಾಗದ ರೇಖೆಯಲ್ಲ.

ವೃತ್ತಿಪರರಿಗೆ ಸೂಚನೆಗಳು

ನೀವು ML ಕ್ಷೇತ್ರವನ್ನು ಪ್ರವೇಶಿಸುತ್ತಿದ್ದರೆ, ಗಮನಿಸಬೇಕಾದ ಮೂರು ನಿರ್ದೇಶನಗಳಿವೆ:

1. ಡೇಟಾ ಎಂಜಿನಿಯರಿಂಗ್: ಮಾದರಿ ವಾಸ್ತುಶಿಲ್ಪಕ್ಕಿಂತ ಬದಲಾಯಿಸಲು ಕಷ್ಟ
2. ಕ್ಷೇತ್ರ ಜ್ಞಾನ: ಯಾವ ಡೇಟಾವು ಮೌಲ್ಯಯುತವಾಗಿದೆ ಎಂದು ತಿಳಿಯುವುದು, ತರಬೇತಿ ಮಾಡುವುದು ಹೇಗೆ ಎಂದು ತಿಳಿದುಕೊಳ್ಳುವುದಕ್ಕಿಂತ ಮುಖ್ಯವಾಗಿದೆ
3. ಸಿಸ್ಟಮ್ ಚಿಂತನೆ: ML ಒಂದು ಪ್ರತ್ಯೇಕ ಮಾದರಿಯಲ್ಲ, ಆದರೆ ಡೇಟಾ-ಮಾದರಿ-ಉತ್ಪನ್ನ-ಬಳಕೆದಾರರ ಮುಚ್ಚಿದ ಲೂಪ್ ಆಗಿದೆ

ಯಾರೋ ಹೇಳಿದಂತೆ: ಕಲಿಯುವ ಯಂತ್ರವಾಗುವುದು ಜೀವನದ ಪ್ರಮುಖ ಮೆಟಾ-ಕೌಶಲ್ಯವಾಗಿದೆ.

ಆದರೆ ಹೆಚ್ಚು ನಿಖರವಾದ ಹೇಳಿಕೆಯೆಂದರೆ: ಡೇಟಾವನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಕಲಿಕೆಯ ಯಂತ್ರವಾಗುವುದು ಈ ಯುಗದ ನಿಜವಾದ ಸ್ಪರ್ಧಾತ್ಮಕತೆಯಾಗಿದೆ.