30 ಲಕ್ಷ ಮಾತ್ರ ವೆಚ್ಚ? 4台 512GB Mac Studio ನಲ್ಲಿ ವೈಯಕ್ತಿಕ AI ಸೂಪರ್ ಕಂಪ್ಯೂಟರ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು, 1 ಟ್ರಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ Kimi-K2.5 ಸ್ಥಳೀಯ ನಿಯೋಜನೆ ಮಾರ್ಗದರ್ಶಿ

ಈ ದೊಡ್ಡ ಮಾದರಿಯ ಉಲ್ಲಾಸದ ಯುಗದಲ್ಲಿ, ನಮಗೆಲ್ಲಾ ಒಂದು ಕನಸು ಇದೆ: ಸ್ಥಳೀಯವಾಗಿ GPT-5 ಮಟ್ಟದ 1 ಟ್ರಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಯನ್ನು ನಿರ್ವಹಿಸುವುದು. ಆದರೆ ವಾಸ್ತವವು ಕ್ರೂರವಾಗಿದೆ, 1 ಟ್ರಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಯು 4-ಬಿಟ್ ಪ್ರಮಾಣೀಕರಣವಾದರೂ, ಇದು ದೊಡ್ಡ ಪ್ರಮಾಣದ ಗ್ರಾಫಿಕ್ ಮೆಮೊರಿಯನ್ನು ಅಗತ್ಯವಿದೆ. H100, B200 ಬಹಳ ದುಬಾರಿ, ಖರೀದಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತಿಲ್ಲ ಏನು?

ಇಂದು JamePeng 4台 ಸಂಪೂರ್ಣ ಸಜ್ಜುಗೊಳಿಸಿದ M3 Ultra Mac Studio ಅನ್ನು ಬಳಸಿಕೊಂಡು, EXO+MLX ಮತ್ತು Thunderbolt 5 ಮೂಲಕ, 2TB ಏಕೀಕೃತ ಮೆಮೊರಿಯೊಂದಿಗೆ ಸ್ಥಳೀಯ AI ಸೂಪರ್ ಕಂಪ್ಯೂಟರ್ ಅನ್ನು ನಿರ್ಮಿಸುತ್ತಾರೆ! ಗುರಿಯು ಒಂದೇ: ಸ್ಥಳೀಯವಾಗಿ Kimi-K2.5 1 ಟ್ರಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ದೊಡ್ಡ ಮಾದರಿಯನ್ನು ಓಡಿಸಲು.

ಏಕೆ ಈಷ್ಟು ಕಷ್ಟಪಡಿಸುತ್ತೇವೆ?

ಇದು ಕೇವಲ ಶ್ರೇಷ್ಟತೆಗೆ ಮಾತ್ರವಲ್ಲ, ಡೇಟಾ ಗೌಪ್ಯತೆ ಮತ್ತು ಅತ್ಯಂತ ಸ್ಥಳೀಯ ನಿಯಂತ್ರಣಕ್ಕಾಗಿ ಕೂಡ.

ಕೋರ್ ಶಸ್ತ್ರಾಸ್ತ್ರವೆಂದರೆ EXO (GitHub: exo-explore/exo), ಇದು RDMA (ದೂರಸ್ಥ ನೇರ ಮೆಮೊರಿ ಪ್ರವೇಶ) ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, 4台 Mac ನ ಏಕೀಕೃತ ಮೆಮೊರಿಯನ್ನು ಒಂದು ದೊಡ್ಡ ಗ್ರಾಫಿಕ್ ಮೆಮೊರಿ ತೋಳದಲ್ಲಿ ವಿಲೀನಗೊಳಿಸುತ್ತದೆ.

ಹಾರ್ಡ್‌ವೇರ್ ಪಟ್ಟಿ: 4台 Mac Studio (M3 Ultra, 512GB ಮೆಮೊರಿ ಆವೃತ್ತಿ), ಒಟ್ಟು ಗ್ರಾಫಿಕ್ ಮೆಮೊರಿ ಸುಮಾರು 2TB, Thunderbolt 5 (120Gbps ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್) ಅನ್ನು ಸಂಪರ್ಕಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ, ವ್ಯವಸ್ಥೆಗೆ macOS Tahoe 26.2 ಅಥವಾ ಹೊಸ ಆವೃತ್ತಿ ಅಗತ್ಯವಿದೆ.

ಹಂತ 1: RDMA ಬೆಂಬಲವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ

ಪ್ರತಿಯೊಂದು Mac ನಲ್ಲಿ ಕಾರ್ಯಾಚರಣೆ:

• Mac ಅನ್ನು ಮುಚ್ಚಿ, ಪುನಃಸ್ಥಾಪನಾ ಮೋಡ್‌ಗೆ ಹೋಗಿ (ಶಕ್ತಿ ಬಟನ್ ಒತ್ತಿ, "ಆಪ್ಷನ್" > "ಮುಂದುವರಿಯಿರಿ" ಆಯ್ಕೆ ಮಾಡಿ)
• ಟರ್ಮಿನಲ್ ತೆರೆಯಿರಿ, ಕಾರ್ಯನಿರ್ವಹಿಸಿ: bputil -a rdma
• Mac ಅನ್ನು ಪುನರಾರಂಭಿಸಿ
• ಪರಿಶೀಲಿಸಿ: systemprofiler SPThunderboltDataType RDMA ಸಕ್ರಿಯಗೊಳಿಸಲಾಗಿದೆ ಎಂದು ಪರಿಶೀಲಿಸಿ

Thunderbolt 5 120Gbps ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ, ಡೇಟಾ ಪ್ರಸರಣವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬೆಂಬಲಿಸುತ್ತದೆ.

ಹಂತ 2: EXO ಅನ್ನು ಸ್ಥಾಪಿಸಿ

macOS ಅಪ್ಲಿಕೇಶನ್ ಸ್ಥಾಪನೆ: GitHub ನಿಂದ EXO-version.dmg ಅನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ, ಸ್ಥಾಪಿಸಿ ಮತ್ತು ಕಾರ್ಯನಿರ್ವಹಿಸಿ. ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಅನ್ನು ತೆರೆಯಿರಿ ಮತ್ತು ಇತರ Mac IP ಅನ್ನು ಸೇರಿಸಿ.

ಮೂಲ ಕೋಡ್ ಸ್ಥಾಪನೆ:

• Homebrew ಅನ್ನು ಸ್ಥಾಪಿಸಿ
• git clone https://github.com/exo-explore/exo.git
• pip install -e .
• exo start

ಹಂತ 3: ಭೌತಿಕ ಸಂಪರ್ಕ ಮತ್ತು ಟೋಪೋಲಜಿ

Wi-Fi ಅನ್ನು ನೆಟ್‌ವರ್ಕ್ ಮಾಡಲು ಬಳಸಬೇಡಿ! Wi-Fi 7 ಇದ್ದರೂ ಸಹ ಸಾಧ್ಯವಿಲ್ಲ. 1 ಟ್ರಿಲಿಯನ್ ಮಾದರಿಯ ನಿರ್ಣಯವು ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್‌ಗೆ ಅತ್ಯಂತ ಸಂವೇದನಶೀಲವಾಗಿದೆ. ದಯವಿಟ್ಟು Thunderbolt 5 ಕೇಬಲ್ ಅನ್ನು ಬಳಸಿರಿ, ಒಂದು Mac ಅನ್ನು ಮುಖ್ಯ ನೋಡ್ (ಮಾಸ್ಟರ್) ಎಂದು ಮತ್ತು ಇತರ ಮೂರುಗಳನ್ನು ಕಾರ್ಯನೋಡ್‌ಗಳ (ವರ್ಕರ್) ರೂಪದಲ್ಲಿ ಬಳಸಿರಿ. ತಾರೆ ರೂಪದ ಟೋಪೋಲಜಿ ಅಥವಾ ಸರಣಿಯ ಸಂಪರ್ಕವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ.

EXO ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ, ನೀವು 4台 ಸಾಧನಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ ನೋಡಬೇಕು, ಒಟ್ಟು ಮೆಮೊರಿ ತೋಳ 2048 GB ಎಂದು ತೋರಿಸುತ್ತದೆ.

ಹಂತ 4: MLX ಸಮುದಾಯ ಆವೃತ್ತಿ Kimi-K2.5 ಅನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ ಮತ್ತು ಕಾರ್ಯನಿರ್ವಹಿಸಿ

ಮಾದರಿಯನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿ:

pip install huggingfacehub huggingface-cli download mlx-community/Kimi-K2.5 --local-dir ./models/mlx-community/Kimi-K2.5 2. ನಿರ್ಣಯ ಎಂಜಿನ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ:

exo run --model ./models/mlx-community/Kimi-K2.5 --quant 4 --shards auto --engine mlx ಆಜ್ಞೆ ವಿಶ್ಲೇಷಣೆ:

• --model: ಮಾದರಿ ಡೈರೆಕ್ಟರಿಗೆ ಸೂಚಿಸುತ್ತದೆ
• --quant 4: ಮೆಮೊರಿ ಬಳಕೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಲು 4-ಬಿಟ್ ಪ್ರಮಾಣೀಕರಣವನ್ನು ಬಳಸುತ್ತದೆ
• --shards auto: EXO ಸ್ವಾಯತ್ತವಾಗಿ ಬುದ್ಧಿವಂತವಾಗಿ ಮಾದರಿಯನ್ನು ವಿಭಜಿಸುತ್ತದೆ
• --engine mlx: M3 Ultra ನ 76-ಕೋರ್ GPU ಮತ್ತು ನ್ಯೂರಲ್ ಎಂಜಿನ್ ಅನ್ನು ನಿರ್ಣಯಕ್ಕಾಗಿ ಕರೆ ಮಾಡುತ್ತದೆ

ಅಂತಿಮ ಪರಿಣಾಮ ಮತ್ತು ವಾಸ್ತವ ಪರೀಕ್ಷೆ

ಟರ್ಮಿನಲ್ "Ready" ಎಂದು ತೋರಿಸಿದಾಗ, ನೀವು ನಿಮ್ಮದೇ ಆದ AI ಸೂಪರ್ ಕಂಪ್ಯೂಟರ್ ಅನ್ನು ಹೊಂದಿದ್ದೀರಿ.

ಪೂರ್ವಭರ್ತಿ (Prefill) ಹಂತ: 4台 Mac ನ ಫ್ಯಾನ್ ಸ್ವಲ್ಪ ವೇಗವಾಗಿ ಓಡುತ್ತದೆ (M3 Ultra ನ ಶಕ್ತಿ ಪರಿಣಾಮಕಾರಿತ್ವದಿಂದ, ಇದು ಹಾರುವುದಿಲ್ಲ).

ಉತ್ಪಾದನೆ (Generation) ಹಂತ: ಟೋಕನ್ ಒಂದರ ನಂತರ ಒಂದು ಬಾರಿಸುತ್ತವೆ.

ವೇಗ: H100 ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಹೋಲಿಸಿದರೆ, ಆದರೆ Thunderbolt 5 ನ RDMA ಬೆಂಬಲದಿಂದ, ಟೋಕನ್ ಉತ್ಪಾದನಾ ವೇಗ 17-28 tokens/s ಗೆ ತಲುಪಬಹುದು. ಇದು 1 ಟ್ರಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿಯು ಸಂಪೂರ್ಣವಾಗಿ ಪರಸ್ಪರವಾಗಿದೆ!

ಸಾರಾಂಶ

ಈ ಯೋಜನೆಯು ಖಂಡಿತವಾಗಿ ಅಗ್ಗದದು, ಆದರೆ ಇದು Apple Silicon + ಓಪನ್ ಸೋರ್ಸ್ ಸಮುದಾಯದ ಪ್ರಯತ್ನಗಳ ಮೂಲಕ, ಕೇಂದ್ರೀಕೃತ AI ಯ ಭವಿಷ್ಯ ಬರುವುದನ್ನು ತೋರಿಸುತ್ತದೆ. ನಾವು ಡೇಟಾವನ್ನು ಕ್ಲೌಡ್ ದೈತ್ಯಗಳಿಗೆ ಕಳುಹಿಸಲು ಅಗತ್ಯವಿಲ್ಲ, ಕೈಯಲ್ಲಿರುವ ಸಾಧನಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ಶಕ್ತಿಶಾಲಿ ಖಾಸಗಿ ನಿರ್ಣಯ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ನಿರ್ಮಿಸಬಹುದು.