ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੀ ਅਸਲ ਸੁਰੱਖਿਆ ਖਾਈ
ਜਦੋਂ ਅਸੀਂ AI ਮੁਕਾਬਲੇ ਬਾਰੇ ਗੱਲ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਅਸੀਂ ਆਮ ਤੌਰ 'ਤੇ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ, ਪੈਰਾਮੀਟਰ ਸਕੇਲ ਅਤੇ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਇਨਪੁਟ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਾਂ। ਪਰ ਇਹ ਅਸਲ ਰੁਕਾਵਟਾਂ ਨਹੀਂ ਹਨ।
ਐਲਗੋਰਿਦਮ ਦੀ ਨਕਲ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਕਿਰਾਏ 'ਤੇ ਲਈ ਜਾ ਸਕਦੀ ਹੈ। ਪਰ ਕੀ ਮਲਕੀਅਤ ਵਾਲੀ ਅਸਲ-ਸੰਸਾਰ ਡਾਟਾ ਪਾਈਪਲਾਈਨ? ਇਹ ਸੁਰੱਖਿਆ ਖਾਈ ਹੈ।
ML ਮੁਕਾਬਲੇ ਦੇ ਤਿੰਨ ਪੜਾਅ
ਪਿਛਲੇ ਦਹਾਕੇ ਵਿੱਚ, ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੇ ਮੁਕਾਬਲੇ ਦਾ ਫੋਕਸ ਤਿੰਨ ਵਾਰ ਬਦਲਿਆ ਹੈ:
ਪਹਿਲਾ ਪੜਾਅ: ਐਲਗੋਰਿਦਮ ਮੁਕਾਬਲਾ (2012-2017)
- ਕਿਸ ਕੋਲ ਬਿਹਤਰ ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ ਹੈ
- CNN, RNN, Transformer ਦੇ ਖੋਜੀਆਂ ਨੇ ਫਾਇਦਾ ਹਾਸਲ ਕੀਤਾ
- ਪਰ ਪੇਪਰ ਪ੍ਰਕਾਸ਼ਿਤ ਹੋਣ ਤੋਂ ਬਾਅਦ, ਹਰ ਕੋਈ ਇਸਨੂੰ ਵਰਤ ਸਕਦਾ ਹੈ
ਦੂਜਾ ਪੜਾਅ: ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਮੁਕਾਬਲਾ (2017-2022)
- ਕਿਸ ਕੋਲ ਜ਼ਿਆਦਾ GPU ਹਨ
- GPT-3 ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ 1000+ V100 ਦੀ ਲੋੜ ਹੈ
- ਪਰ ਕਲਾਉਡ ਸੇਵਾਵਾਂ ਨੇ ਕੰਪਿਊਟਿੰਗ ਪਾਵਰ ਨੂੰ ਖਰੀਦਣ ਯੋਗ ਵਸਤੂ ਬਣਾ ਦਿੱਤਾ ਹੈ
ਤੀਜਾ ਪੜਾਅ: ਡਾਟਾ ਮੁਕਾਬਲਾ (2022-ਹੁਣ)
- ਕਿਸ ਕੋਲ ਵਿਲੱਖਣ ਡਾਟਾ ਫਲਾਈਵ੍ਹੀਲ ਹੈ
- ਸਿੰਥੈਟਿਕ ਡਾਟਾ ਅਸਲ-ਸੰਸਾਰ ਡਾਟਾ ਨੂੰ ਬਦਲ ਨਹੀਂ ਸਕਦਾ
- ਇਹ ਅਟੱਲ ਰੁਕਾਵਟ ਹੈ
ਡਾਟਾ ਆਖਰੀ ਸੁਰੱਖਿਆ ਖਾਈ ਕਿਉਂ ਹੈ?
ਤਿੰਨ ਕਾਰਨ:
- ਘਾਟ: ਉੱਚ-ਗੁਣਵੱਤਾ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਲੇਬਲ ਵਾਲਾ ਅਸਲ ਡਾਟਾ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਘੱਟ ਹੁੰਦਾ ਹੈ
- ਗੈਰ-ਵਪਾਰਕਤਾ: ਭਾਵੇਂ ਤੁਸੀਂ ਭੁਗਤਾਨ ਕਰਨ ਲਈ ਤਿਆਰ ਹੋ, ਤੁਸੀਂ ਮੁਕਾਬਲੇਬਾਜ਼ਾਂ ਦੀ ਡਾਟਾ ਪਾਈਪਲਾਈਨ ਨਹੀਂ ਖਰੀਦ ਸਕਦੇ
- ਮਿਸ਼ਰਿਤ ਪ੍ਰਭਾਵ: ਬਿਹਤਰ ਡਾਟਾ → ਬਿਹਤਰ ਉਤਪਾਦ → ਵਧੇਰੇ ਉਪਭੋਗਤਾ → ਵਧੇਰੇ ਡਾਟਾ
ਇੱਕ ML ਪ੍ਰੈਕਟੀਸ਼ਨਰ ਨੇ X 'ਤੇ ਲਿਖਿਆ:
"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."
ਇਹ ਮੁੱਦੇ ਦੇ ਤੱਤ ਨੂੰ ਫੜਦਾ ਹੈ। ਜਦੋਂ ਤੁਸੀਂ OpenAI ਨੂੰ ਪ੍ਰਕਾਸ਼ਕਾਂ ਨਾਲ ਵਿਸ਼ੇਸ਼ ਸਮਝੌਤਿਆਂ 'ਤੇ ਦਸਤਖਤ ਕਰਦੇ ਹੋ, Google Reddit ਡਾਟਾ ਪਹੁੰਚ ਖਰੀਦਣ ਲਈ ਅਰਬਾਂ ਖਰਚ ਕਰਦਾ ਹੈ, ਤਾਂ ਉਹ ਸਮੱਗਰੀ ਨਹੀਂ ਖਰੀਦ ਰਹੇ ਹਨ - ਉਹ ਸਿਖਲਾਈ ਡਾਟਾ ਦੀ ਸੁਰੱਖਿਆ ਖਾਈ ਖਰੀਦ ਰਹੇ ਹਨ।
ਪੱਖਪਾਤ-ਵਿਚਲਨ ਵਪਾਰ-ਬੰਦ ਦੀ ਵਾਪਸੀ
ਦਿਲਚਸਪ ਗੱਲ ਇਹ ਹੈ ਕਿ ਜਦੋਂ ਅਸੀਂ ਡਾਟਾ ਗੁਣਵੱਤਾ ਬਾਰੇ ਗੱਲ ਕਰਦੇ ਹਾਂ, ਤਾਂ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਦੀ ਸਭ ਤੋਂ ਕਲਾਸਿਕ ਧਾਰਨਾ ਵਾਪਸ ਆ ਰਹੀ ਹੈ: ਪੱਖਪਾਤ-ਵਿਚਲਨ ਵਪਾਰ-ਬੰਦ।
"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy
LLM ਯੁੱਗ ਵਿੱਚ, ਅਸੀਂ ਇੱਕ ਵਾਰ ਸੋਚਿਆ ਸੀ ਕਿ ਇਹ ਧਾਰਨਾ ਪੁਰਾਣੀ ਹੋ ਗਈ ਹੈ। ਪਰ ਇਹ ਪਤਾ ਚਲਦਾ ਹੈ ਕਿ ਡਾਟਾ ਗੁਣਵੱਤਾ ਸਮੱਸਿਆ ਦਾ ਤੱਤ ਅਜੇ ਵੀ ਪੱਖਪਾਤ ਅਤੇ ਪਰਿਵਰਤਨ ਦਾ ਸੰਤੁਲਨ ਹੈ - ਕੂੜਾ ਡਾਟਾ ਪੱਖਪਾਤ ਪੈਦਾ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਮਾਨ ਡਾਟਾ ਪਰਿਵਰਤਨ ਦਾ ਕਾਰਨ ਬਣਦਾ ਹੈ।
ਗਣਿਤਕ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਵਿੱਚ ਤਬਦੀਲੀ
ਇੱਕ ਹੋਰ ਰੁਝਾਨ ਜਿਸ 'ਤੇ ਧਿਆਨ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ ਉਹ ਹੈ: ML ਦੇ ਗਣਿਤਕ ਬੁਨਿਆਦ ਦੀ ਸਮਝ ਡੂੰਘੀ ਹੋ ਰਹੀ ਹੈ।
ਇੱਕ ਖੋਜਕਰਤਾ ਨੇ ਦੱਸਿਆ:
"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."
ਇਹ ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਤਬਦੀਲੀ - "ਨੰਬਰ ਗਰਿੱਡ" ਤੋਂ "ਗ੍ਰਾਫ ਬਣਤਰ" - ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ML ਇੱਕ ਬੋਧਾਤਮਕ ਅੱਪਗ੍ਰੇਡ ਦਾ ਅਨੁਭਵ ਕਰ ਰਿਹਾ ਹੈ। ਜਦੋਂ ਵੱਧ ਤੋਂ ਵੱਧ ਲੋਕ ਸਮਝਦੇ ਹਨ ਕਿ ਲੀਨੀਅਰ ਅਲਜਬਰਾ, ਸੰਭਾਵਨਾ ਸਿਧਾਂਤ, ਅਤੇ ਅਨੁਕੂਲਤਾ ਸਿਧਾਂਤ ਇਹਨਾਂ "ਜਾਦੂਆਂ" ਦਾ ਸਮਰਥਨ ਕਿਵੇਂ ਕਰਦੇ ਹਨ, ਤਾਂ ਉਦਯੋਗ ਬਲੈਕ ਬਾਕਸ ਪੂਜਾ ਤੋਂ ਵਾਈਟ ਬਾਕਸ ਸਮਝ ਵੱਲ ਵਧੇਗਾ।
ਵਾਤਾਵਰਣ ਦੀ ਲਾਗਤ ਦੀ ਸਮੱਸਿਆ
ਇਸ ਗੱਲ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਕਿ ML ਦੀ ਖੁਸ਼ਹਾਲੀ ਅਸਲ ਵਾਤਾਵਰਣਕ ਕੀਮਤ ਦੇ ਨਾਲ ਹੈ:
- 74% ਤਕਨੀਕੀ ਕੰਪਨੀਆਂ ਦੇ "AI-ਸਹਾਇਤਾ ਪ੍ਰਾਪਤ ਜਲਵਾਯੂ" ਬਿਆਨਾਂ ਵਿੱਚ ਸਬੂਤ ਦੀ ਘਾਟ ਹੈ
- Google ਦੇ ਨਿਕਾਸ ਵਿੱਚ 2019-2023 ਤੋਂ 48% ਦਾ ਵਾਧਾ ਹੋਇਆ ਹੈ
- Microsoft ਦੇ ਨਿਕਾਸ ਵਿੱਚ 2020 ਤੋਂ 29% ਦਾ ਵਾਧਾ ਹੋਇਆ ਹੈ
ਇਹ ਅੰਕੜੇ ਡਾਟਾ ਸੈਂਟਰ ਦੇ ਵਿਸਥਾਰ ਤੋਂ ਆਉਂਦੇ ਹਨ, ਅਤੇ ਡਾਟਾ ਸੈਂਟਰ ਦੇ ਵਿਸਥਾਰ ਨੂੰ ML ਸਿਖਲਾਈ ਅਤੇ ਅਨੁਮਾਨ ਦੁਆਰਾ ਚਲਾਇਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਇੱਕ ਅਜਿਹਾ ਕਰਵ ਨਹੀਂ ਹੈ ਜਿਸਨੂੰ ਅਨੰਤ ਰੂਪ ਵਿੱਚ ਬਾਹਰ ਕੱਢਿਆ ਜਾ ਸਕਦਾ ਹੈ।
ਪ੍ਰੈਕਟੀਸ਼ਨਰਾਂ ਲਈ ਪ੍ਰਭਾਵ
ਜੇਕਰ ਤੁਸੀਂ ML ਖੇਤਰ ਵਿੱਚ ਦਾਖਲ ਹੋ ਰਹੇ ਹੋ, ਤਾਂ ਧਿਆਨ ਦੇਣ ਯੋਗ ਤਿੰਨ ਦਿਸ਼ਾਵਾਂ ਹਨ:
- ਡਾਟਾ ਇੰਜੀਨੀਅਰਿੰਗ: ਮਾਡਲ ਆਰਕੀਟੈਕਚਰ ਨਾਲੋਂ ਬਦਲਣਾ ਔਖਾ ਹੈ
- ਡੋਮੇਨ ਗਿਆਨ: ਇਹ ਜਾਣਨਾ ਕਿ ਕਿਹੜਾ ਡਾਟਾ ਕੀਮਤੀ ਹੈ, ਇਹ ਜਾਣਨ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿ ਸਿਖਲਾਈ ਕਿਵੇਂ ਦੇਣੀ ਹੈ
- ਸਿਸਟਮ ਸੋਚ: ML ਇੱਕ ਅਲੱਗ-ਥਲੱਗ ਮਾਡਲ ਨਹੀਂ ਹੈ, ਸਗੋਂ ਡਾਟਾ-ਮਾਡਲ-ਉਤਪਾਦ-ਉਪਭੋਗਤਾ ਦਾ ਇੱਕ ਬੰਦ ਲੂਪ ਹੈ
ਜਿਵੇਂ ਕਿ ਕਿਸੇ ਨੇ ਕਿਹਾ: ਆਪਣੇ ਆਪ ਨੂੰ ਇੱਕ ਸਿੱਖਣ ਵਾਲੀ ਮਸ਼ੀਨ ਬਣਨਾ ਜੀਵਨ ਦਾ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਮੈਟਾ-ਹੁਨਰ ਹੈ।
ਪਰ ਇੱਕ ਵਧੇਰੇ ਸਹੀ ਕਥਨ ਇਹ ਹੈ: ਇੱਕ ਸਿੱਖਣ ਵਾਲੀ ਮਸ਼ੀਨ ਬਣਨਾ ਜੋ ਡਾਟਾ ਨੂੰ ਸਮਝਦੀ ਹੈ ਇਸ ਯੁੱਗ ਵਿੱਚ ਅਸਲ ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਹੈ।
