ರಾಜಾ ಬಂದಿದೆ! Claude Code ಸ್ಥಳೀಯ ಅನಿಯಮಿತ ಟೋಕನ್ ಮಾರ್ಗದರ್ಶಿ

Claude Code ಬಲವಾಗಿದೆ, ಆದರೆ ಟೋಕನ್ ಬಳಕೆ ಹೃದಯವನ್ನು ನೋಯಿಸುತ್ತದೆ!

ಅಂತಿಮವಾಗಿ, Claude Code ಸ್ಥಳೀಯ ಮಾದರಿಯೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಬಹುದು, ಸಂರಚನೆ ತುಂಬಾ ಸರಳವಾಗಿದೆ.

ಕೆಳಗಿನ ಪರಿಸರ Mac Mini4 ಆಗಿದೆ. Windows ಪರಿಸರವೂ ಸಾಧ್ಯ.

ಪ್ರಸ್ತುತ ಯುಗದಲ್ಲಿ, ಡೆಸ್ಕ್ಟಾಪ್ AI ಆಡಲು ಬಯಸಿದರೆ, Mac M ಸರಣಿಯ ಸಣ್ಣ ಹೋಸ್ಟ್ ಖರೀದಿಸಲು ಸೂಚಿಸಲಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ mini4\mini4 pro\m3 ultra\m4 max, ಇದು ವೈಯಕ್ತಿಕ ಡೆಸ್ಕ್ಟಾಪ್ AI ಅದ್ಭುತ ಸಾಧನ.

ಮೊದಲಿಗೆ, LM Studio ಅನ್ನು ಅತ್ಯಂತ ಹೊಸ ಆವೃತ್ತಿಗೆ ನವೀಕರಿಸಬೇಕು, ಅಂದರೆ 0.4.1, ಏಕೆಂದರೆ ಹೊಸ ಆವೃತ್ತಿಯಲ್ಲಿ Claude Code ಗೆ ಬೆಂಬಲ ಸೇರಿಸಲಾಗಿದೆ. (Ollama ಸಹ ಸಾಧ್ಯ)

ನಿಮ್ಮ Mac ನ ಸ್ಮೃತಿ ಸಾಕಷ್ಟು ಇದ್ದರೆ, ನಿಮ್ಮ ಸ್ಥಳೀಯ ಯಾವುದೇ ಮುಕ್ತ ಮೂಲ ಮಾದರಿಯನ್ನು ನೀವು ಬಳಸಬಹುದು. ನಾವು gpt-oss-20b-mlx ಅನ್ನು ಉದಾಹರಣೆಯಾಗಿ ತೆಗೆದುಕೊಳ್ಳುತ್ತೇವೆ, ಇದು OpenAI ನ ಮುಕ್ತ ಮೂಲ ಮಾದರಿ.

ಒಂದು ವಿಷಯ ಗಮನಿಸಿ: Context length ಅನ್ನು ಪೂರ್ಣಗೊಳಿಸಿ, ಅಂದರೆ ಸಂದರ್ಭದ ಉದ್ದವನ್ನು ಮಾದರಿ ಬೆಂಬಲಿಸುವ ಗರಿಷ್ಠಕ್ಕೆ ಎಳೆಯಿರಿ, ಏಕೆಂದರೆ ಬುದ್ಧಿವಂತ ಏಜೆಂಟ್ ಬಹು-ಸುತ್ತಿನ ಕಾರ್ಯಗಳ ನಿರ್ವಹಣೆಯು ಸಂದರ್ಭದ ಉದ್ದವನ್ನು ಹೆಚ್ಚಾಗಿ ಅವಲಂಬಿಸಿರುತ್ತದೆ, ಕಡಿಮೆಯಾದರೆ ಸಾಧ್ಯವಿಲ್ಲ. ಈ ನಿಯತಾಂಕವನ್ನು ನಿಮ್ಮ Mac ನ ಸ್ಮೃತಿ ಮತ್ತು ಮಾದರಿಯ ತರ್ಕದ ವೇಗದ ಆಧಾರದ ಮೇಲೆ ಸಮತೋಲನಗೊಳಿಸಿ ಸರಿಹೊಂದಿಸಬೇಕು. ಇನ್ನೊಂದು ವಿಷಯ ಗಮನಿಸಿ: Mac ಪರಿಸರದಲ್ಲಿ, MLX ರೂಪದ ಮಾದರಿಗಳನ್ನು ಆದ್ಯತೆಯಿಂದ ಡೌನ್ಲೋಡ್ ಮಾಡಿ, ಇವು GGUF ರೂಪದ ಮಾದರಿಗಳಿಗಿಂತ ತರ್ಕದ ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ.

ಮುಂದೆ, ನಾವು ಆಜ್ಞಾ ಸಾಲಿನ ಟರ್ಮಿನಲ್ನಲ್ಲಿ claude code ಅನ್ನು ಸ್ಥಾಪಿಸುತ್ತೇವೆ.

ಪರಿಸರ ವೇರಿಯೇಬಲ್ಗಳನ್ನು ಸಂರಚಿಸಿ:

export ANTHROPIC_AUTH_TOKEN=lmstudio

export ANTHROPIC_BASE_URL=http://localhost:1234

claude code ಮುಖ್ಯ ಭಾಗವನ್ನು ಸ್ಥಾಪಿಸಿ:

npm install -g @anthropic-ai/claude-code

ನಂತರ, claude code ಅನ್ನು ಪ್ರಾರಂಭಿಸಿ:

claude --model gpt-oss-20b-mlx

ಈ ಸಮಯದಲ್ಲಿ, claude code ನಿಮ್ಮ ಸ್ಥಳೀಯ ಮಾದರಿಯನ್ನು ಕರೆ ಮಾಡಿ ಔಟ್ಪುಟ್ ನೀಡುತ್ತದೆ.

ಟರ್ಮಿನಲ್ ಬಳಸುವುದರ ಜೊತೆಗೆ, VS Code ನಲ್ಲಿಯೂ ಬಳಸಬಹುದು, ಸಂರಚನೆ ಕೆಳಗಿನಂತಿದೆ:

ನಾವು ಮೊದಲು Claude Code for VS Code ಪ್ಲಗಿನ್ ಅನ್ನು ಸ್ಥಾಪಿಸುತ್ತೇವೆ.

ನಂತರ ಪರಿಸರ ವೇರಿಯೇಬಲ್ಗಳನ್ನು ಹೊಂದಿಸಿ:

{    "claudeCode.environmentVariables": [        { "name": "ANTHROPIC_BASE_URL", "value": "http://localhost:1234" },         { "name": "ANTHROPIC_AUTH_TOKEN", "value": "lmstudio" }     ]}

ನಂತರ ಕೆಲಸ ಪ್ರಾರಂಭಿಸಬಹುದು.

ಚಿಂತನೆಯ ಪ್ರಶ್ನೆ: Anthropic ಮಾದರಿಯನ್ನು ಬಳಸದ Claude Code ಅದೇ Claude Code ಆಗಿದೆಯೇ?

ನಾವು ಬಳಸುವ gpt-oss-20b-mlx ಮಾದರಿಯ ಸಾಮರ್ಥ್ಯವು Opus 4.5 ನೊಂದಿಗೆ ಹೋಲಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ, ಆದರೆ, ನಿಮ್ಮ ಸ್ಥಳೀಯ ಪರಿಸರದಲ್ಲಿ Kimi K2.5 ಅನ್ನು ನಿಯೋಜಿಸಿದರೆ, ಪ್ರಸ್ತುತ ನೋಡಿದರೆ, ಸಾಮರ್ಥ್ಯವು Opus 4.5 ಗಿಂತ ಕಡಿಮೆಯಿಲ್ಲ.