მეფის კარტი მოვიდა! Claude Code-ის ადგილობრივი შეუზღუდავი Token-ების გზამკვლევი

Claude Code ძალიან ძლიერია, მაგრამ Token-ების მოხმარება ღვიძლს აწუხებს!

ბოლოს და ბოლოს, Claude Code-ს შეუძლია ადგილობრივ მოდელებთან მუშაობა, კონფიგურაცია ძალიან მარტივია.

ქვემოთ მოცემული გარემო არის Mac Mini4. Windows გარემოც შესაძლებელია.

ამჟამინდელ ეპოქაში, თუ დესკტოპ AI-ით გსიამოვნებთ, გირჩევთ შეიძინოთ Mac M სერიის პატარა კომპიუტერი, როგორიცაა mini4\mini4 pro\m3 ultra\m4 max, პერსონალური დესკტოპ AI ხელსაწყო.

პირველ რიგში, საჭიროა LM Studio-ს განახლება უახლეს ვერსიაზე, ანუ 0.4.1-ზე, რადგან უახლეს ვერსიამ დაუმატა Claude Code-ის მხარდაჭერა. (Ollama-ც შესაძლებელია)

თქვენ შეგიძლიათ გამოიყენოთ ნებისმიერი ღია კოდის მოდელი თქვენს ადგილობრივ გარემოში, თუ თქვენს Mac-ს საკმარისი მეხსიერება აქვს. ჩვენ მაგალითად გამოვიყენებთ gpt-oss-20b-mlx-ს, ეს არის OpenAI-ს ღია კოდის მოდელი.

ყურადღება მიაქციეთ ერთ პუნქტს: Context length გააჩერეთ მაქსიმუმზე, ანუ კონტექსტის სიგრძე გაწიეთ მოდელის მიერ მხარდაჭერილ მაქსიმუმამდე, რადგან ინტელექტუალური აგენტის მრავალრიგული დავალებების შესრულება დიდად არის დამოკიდებული კონტექსტის სიგრძეზე, პატარა არ იმუშავებს. ეს პარამეტრიც უნდა მორგებული იყოს თქვენი Mac-ის მეხსიერებისა და მოდელის დასკვნის სიჩქარის მიხედვით. კიდევ ერთი ყურადღება: Mac გარემოში, უპირატესობა მიანიჭეთ MLX ფორმატის მოდელების ჩამოტვირთვას, დასკვნის სიჩქარე უფრო სწრაფია ვიდრე GGUF ფორმატის მოდელების.

შემდეგ, ჩვენ ვაინსტალირებთ claude code-ს ბრძანების სტრიქონის ტერმინალში.

გარემოს ცვლადების კონფიგურაცია:

export ANTHROPIC_AUTH_TOKEN=lmstudio

export ANTHROPIC_BASE_URL=http://localhost:1234

claude code-ის ძირითადი ნაწილის ინსტალაცია:

npm install -g @anthropic-ai/claude-code

შემდეგ, claude code-ის გაშვება:

claude --model gpt-oss-20b-mlx

ამ დროს, claude code გამოიყენებს თქვენს ადგილობრივ მოდელს გამოსატანად.

ტერმინალში გამოყენების გარდა, ასევე შესაძლებელია გამოყენება VS Code-ში, კონფიგურაცია შემდეგია:

ჩვენ ჯერ ვაინსტალირებთ Claude Code for VS Code დამატებას.

შემდეგ ვაყენებთ გარემოს ცვლადებს:

{    "claudeCode.environmentVariables": [        { "name": "ANTHROPIC_BASE_URL", "value": "http://localhost:1234" },         { "name": "ANTHROPIC_AUTH_TOKEN", "value": "lmstudio" }     ]}

შემდეგ შეგიძლიათ დაიწყოთ მუშაობა.

დასაფიქრებელი კითხვა: Claude Code, რომელიც არ იყენებს Anthropic-ის მოდელებს, ისევ ის Claude Code არის?

ჩვენს მიერ გამოყენებული gpt-oss-20b-mlx მოდელის შესაძლებლობები, რა თქმა უნდა, ვერ შეედრება Opus 4.5-ს, მაგრამ, თუ თქვენს ადგილობრივ გარემოში დააყენეთ Kimi K2.5, ამჟამად როგორც ჩანს, შესაძლებლობები არანაკლებია Opus 4.5-ზე.