మెషిన్ లెర్నింగ్ యొక్క నిజమైన రక్షణ కవచం

మేము AI పోటీ గురించి మాట్లాడేటప్పుడు, సాధారణంగా మోడల్ ఆర్కిటెక్చర్, పారామీటర్ స్కేల్, కంప్యూటింగ్ పవర్ ఇన్పుట్ పై దృష్టి పెడతాము. కానీ ఇవేవీ నిజమైన అడ్డంకులు కావు.

అల్గారిథమ్‌లను కాపీ చేయవచ్చు. కంప్యూటింగ్ పవర్‌ను అద్దెకు తీసుకోవచ్చు. కానీ ప్రత్యేకమైన వాస్తవ ప్రపంచ డేటా పైప్‌లైన్‌లు? అదే అసలైన రక్షణ కవచం.

ML పోటీ యొక్క మూడు దశలు

గత దశాబ్దంలో, మెషిన్ లెర్నింగ్ యొక్క పోటీ దృష్టి మూడుసార్లు మారింది:

మొదటి దశ: అల్గారిథమ్ పోటీ (2012-2017)

• ఎవరికి మంచి మోడల్ ఆర్కిటెక్చర్ ఉంది
• CNN, RNN, Transformer సృష్టికర్తలు ప్రయోజనం పొందారు
• కానీ పేపర్ విడుదలైన తర్వాత, ప్రతి ఒక్కరూ ఉపయోగించవచ్చు

రెండవ దశ: కంప్యూటింగ్ పవర్ పోటీ (2017-2022)

• ఎవరికి ఎక్కువ GPUలు ఉన్నాయి
• GPT-3కి శిక్షణ ఇవ్వడానికి 1000+ V100లు అవసరం
• కానీ క్లౌడ్ సేవలు కంప్యూటింగ్ పవర్‌ను కొనుగోలు చేయగల వస్తువుగా మార్చాయి

మూడవ దశ: డేటా పోటీ (2022-ఇప్పుడు)

• ఎవరికి ప్రత్యేకమైన డేటా ఫ్లైవీల్ ఉంది
• సింథటిక్ డేటా వాస్తవ ప్రపంచ డేటాను భర్తీ చేయలేదు
• ఇది కాపీ చేయలేని అడ్డంకి

డేటా చివరి రక్షణ కవచం ఎందుకు?

మూడు కారణాలు:

1. కొరత: అధిక-నాణ్యత, బాగా లేబుల్ చేయబడిన నిజమైన డేటా సహజంగా కొరతగా ఉంటుంది
2. వర్తకం చేయలేనిది: డబ్బు చెల్లించడానికి సిద్ధంగా ఉన్నప్పటికీ, ప్రత్యర్థి యొక్క డేటా పైప్‌లైన్‌ను కొనలేము
3. సమ్మేళనం ప్రభావం: మంచి డేటా → మంచి ఉత్పత్తి → ఎక్కువ మంది వినియోగదారులు → ఎక్కువ డేటా

ఒక ML నిపుణుడు Xలో ఇలా వ్రాశాడు:

"Algorithms can be replicated. Compute can be rented. But proprietary real-world data pipelines? That's a moat."

ఇది సమస్య యొక్క సారాంశాన్ని పట్టుకుంది. OpenAI ప్రచురణకర్తలతో ప్రత్యేక ఒప్పందాలపై సంతకం చేయడం, Google Reddit డేటా యాక్సెస్ కోసం బిలియన్ల డాలర్లు ఖర్చు చేయడం చూసినప్పుడు, వారు కొనుగోలు చేసేది కంటెంట్ కాదు - వారు శిక్షణ డేటా యొక్క రక్షణ కవచాన్ని కొనుగోలు చేస్తున్నారు.

బయాస్-వేరియన్స్ ట్రేడ్ఆఫ్ యొక్క పునరాగమనం

ఆసక్తికరంగా, మేము డేటా నాణ్యత గురించి చర్చించినప్పుడు, మెషిన్ లెర్నింగ్ యొక్క అత్యంత క్లాసిక్ భావన తిరిగి వస్తోంది: బయాస్-వేరియన్స్ ట్రేడ్ఆఫ్.

"Machine Learning in a nutshell: minimize error to achieve optimal bias-variance tradeoff. Higher the bias, more the error between predictions and ground truth - i.e. underfitting. Higher the variance, more the error from small fluctuations in the training set - i.e. overfitting." — @bindureddy

LLM యుగంలో, ఈ భావన పాతది అని ఒకసారి అనుకున్నాము. కానీ డేటా నాణ్యత సమస్య యొక్క సారాంశం ఇప్పటికీ బయాస్ మరియు వేరియన్స్ మధ్య సమతుల్యత అని తేలింది - చెత్త డేటా బయాస్‌ను ఉత్పత్తి చేస్తుంది, సజాతీయ డేటా వేరియన్స్‌కు దారితీస్తుంది.

గణిత దృక్పథంలో మార్పు

శ్రద్ధ వహించాల్సిన మరో ధోరణి ఏమిటంటే: ML గణిత పునాదుల గురించి అవగాహన పెరుగుతోంది.

ఒక పరిశోధకుడు ఇలా పేర్కొన్నాడు:

"The most powerful tool in your mathematical toolkit isn't a formula, it's a change of perspective... We're taught to see matrices as 'grids of numbers.' But to a machine learning engineer, a matrix is often secretly a graph."

ఈ దృక్పథం మార్పు - "సంఖ్యల గ్రిడ్" నుండి "గ్రాఫ్ నిర్మాణం" వరకు - ML అభిజ్ఞా నవీకరణను పొందుతోందని వెల్లడిస్తుంది. లీనియర్ ఆల్జీబ్రా, సంభావ్యత సిద్ధాంతం, ఆప్టిమైజేషన్ సిద్ధాంతం ఈ "మేజిక్"కు ఎలా మద్దతు ఇస్తాయో ఎక్కువ మంది అర్థం చేసుకున్నప్పుడు, పరిశ్రమ బ్లాక్ బాక్స్ ఆరాధన నుండి వైట్ బాక్స్ అవగాహనకు మారుతుంది.

పర్యావరణ వ్యయ సమస్య

విస్మరించకూడని విషయం ఏమిటంటే, ML యొక్క శ్రేయస్సు నిజమైన పర్యావరణ వ్యయంతో కూడుకున్నది:

• 74% టెక్ కంపెనీల "AI సహాయంతో వాతావరణం" ప్రకటనలకు ఆధారాలు లేవు
• Google ఉద్గారాలు 2019-2023 నుండి 48% పెరిగాయి
• Microsoft ఉద్గారాలు 2020 నుండి 29% పెరిగాయి

ఈ సంఖ్యలు డేటా సెంటర్ విస్తరణ నుండి వచ్చాయి మరియు డేటా సెంటర్ విస్తరణకు చోదక శక్తి ML శిక్షణ మరియు అనుమితి. ఇది నిరవధికంగా పొడిగించగల వక్రరేఖ కాదు.

అభ్యాసకులకు సూచనలు

మీరు ML రంగంలోకి ప్రవేశిస్తుంటే, శ్రద్ధ వహించాల్సిన మూడు దిశలు ఉన్నాయి:

1. డేటా ఇంజనీరింగ్: మోడల్ ఆర్కిటెక్చర్ కంటే భర్తీ చేయడం కష్టం
2. డొమైన్ నాలెడ్జ్: ఏ డేటా విలువైనదో తెలుసుకోవడం, శిక్షణ ఎలా ఇవ్వాలో తెలుసుకోవడం కంటే ముఖ్యం
3. సిస్టమ్ థింకింగ్: ML అనేది వివిక్త మోడల్ కాదు, డేటా-మోడల్-ఉత్పత్తి-వినియోగదారు యొక్క క్లోజ్డ్ లూప్

ఎవరైనా చెప్పినట్లుగా: నేర్చుకునే యంత్రంగా మారడం జీవితంలో ముఖ్యమైన మెటా-స్కిల్.

కానీ మరింత ఖచ్చితమైన ప్రకటన ఏమిటంటే: డేటాను అర్థం చేసుకునే నేర్చుకునే యంత్రంగా మారడం ఈ యుగంలో నిజమైన పోటీతత్వం.