Үлкен тілдік модельдерді реттеуге (Fine-tuning) арналған кіріспе нұсқаулық: тұжырымдамалар, әдістер және тәжірибе

Үлкен тілдік модельдер (LLMs) жаратылыстану тілін өңдеу саласында айтарлықтай жетістіктерге жетті, олар мәтін жасау, аудару, сұрақтарға жауап беру және т.б. бойынша керемет нәтижелер көрсетті. Алайда, бұл модельдердің нақты тапсырмалар немесе салаларда жақсырақ жұмыс істеуі үшін реттеу (Fine-tuning) маңызды технологияға айналды. Бұл мақала LLM реттеуінің тұжырымдамаларын, әдістерін және нақты қолданылуын терең қарастырады, бұл жаңадан бастаушыларға тез арада бастауға көмектеседі.

Реттеу дегеніміз не?

Реттеу дегеніміз - алдын ала жаттықтырылған үлкен тілдік модельдердің негізінде нақты тапсырмалардың деректер жиынтығын пайдаланып қосымша жаттығулар жасау. Алдын ала жаттықтырылған модельдер жалпы тілдік білімді үйренді, ал реттеу оларды нақты тапсырмалардың ерекшеліктері мен үлгілеріне бейімдейді. Алдын ала жаттықтырылған модель кең білімді қамтитын энциклопедия екенін елестетіп көріңіз. Реттеу модельге «медицина» туралы арнайы кітап беруге ұқсайды, бұл оны медицина саласында одан да кәсіби етеді.

Реттеуді басынан бастап жаттықтырумен салыстыру:

• Басынан бастап жаттықтыру: көптеген есептеу ресурстарын және деректерді қажет етеді, жаттығу уақыты ұзақ.
• Реттеу: аз деректер мен есептеу ресурстарын қажет етеді, жаттығу уақыты қысқа және әдетте жақсы нәтижелерге қол жеткізеді.

Неліктен реттеуді жүргізу керек?

• Өнімділікті арттыру: модельдің нақты тапсырмаларда жақсырақ жұмыс істеуін қамтамасыз ету, мысалы, эмоциялық талдау, мәтінді жіктеу, машиналық аудару және т.б.
• Салаға бейімделу: модельді нақты салалардың білімі мен стиліне бейімдеу, мысалы, қаржы, заң, медицина және т.б.
• Ресурстарды үнемдеу: басынан бастап жаттықтырумен салыстырғанда, реттеу есептеу ресурстары мен уақыт шығындарын айтарлықтай азайтады.
• Бақылау: әзірлеушілерге модельдің шығыс стилі мен әрекетін жақсырақ бақылауға мүмкіндік береді.

Реттеудің негізгі қадамдары

1. Алдын ала жаттықтырылған модельді таңдау: тапсырмаға сәйкес келетін алдын ала жаттықтырылған модельді таңдаңыз. Мысалы, мәтін жасау тапсырмасы үшін GPT сериялы моделін таңдауға болады; сұрақ-жауап тапсырмасы үшін BERT сериялы моделін таңдауға болады. Hugging Face Model Hub (https://huggingface.co/models) - әртүрлі алдын ала жаттықтырылған модельдерді табуға болатын жақсы ресурс.

2. Деректер жиынтығын дайындау: жоғары сапалы нақты тапсырмалардың деректер жиынтығын дайындаңыз. Деректер жиынтығының көлемі мен сапасы реттеу әсеріне үлкен әсер етеді.

   • Деректерді тазарту: деректердегі қателерді, шуды және сәйкессіздіктерді тазартыңыз.
   • Деректерді белгілеу: деректерді белгілеңіз, мысалы, мәтінді жіктеу санаттарды белгілеуді қажет етеді, сұрақ-жауап тапсырмасы жауаптарды белгілеуді қажет етеді.
   • Деректерді бөлу: деректер жиынтығын жаттығу жиынтығына, тексеру жиынтығына және сынақ жиынтығына бөліңіз.

3. Реттеу параметрлерін конфигурациялау: оңтайландыру құралын, оқу жылдамдығын, batch size, жаттығу дәуірлерін және т.б. сәйкес параметрлерді таңдаңыз.

   • Оқу жылдамдығы: оқу жылдамдығы модельдің параметрлерін жаңарту жылдамдығын басқарады. Тым жоғары оқу жылдамдығы модельдің тұрақсыздығына әкелуі мүмкін, тым төмен оқу жылдамдығы жаттығудың баяулауына әкелуі мүмкін. Жалпы оқу жылдамдығының мәндеріне мыналар кіреді: 1e-3, 1e-4, 1e-5.
   • Batch Size: Batch size әрбір итерацияда жаттығу үшін пайдаланылатын үлгілер санын анықтайды. Үлкен batch size жаттығу жылдамдығын арттыруы мүмкін, бірақ көбірек жадты пайдалануы мүмкін.
   • Epochs: Epochs бүкіл жаттығу деректер жиынтығының модельмен өңделетін санын білдіреді. Тым көп epochs шамадан тыс үйренуге әкелуі мүмкін, тым аз epochs жеткіліксіз жаттығуға әкелуі мүмкін.

4. Реттеуді жүргізу: дайындалған деректер жиынтығын және конфигурация параметрлерін пайдаланып, алдын ала жаттықтырылған модельде реттеуді жүргізіңіз. Жалпы реттеу фреймдеріне TensorFlow, PyTorch және Hugging Face Transformers кіреді.

5. Модельді бағалау: реттелгеннен кейінгі модельдің өнімділігін бағалау үшін сынақ жиынтығын пайдаланыңыз және қажетті түзетулер енгізіңіз. Жалпы бағалау көрсеткіштеріне дәлдік, нақтылық, қайтарып алу, F1 мәні және т.б. кіреді.

Реттеу әдістері

1. Толық реттеу (Full Fine-tuning)

Бұл реттеудің ең тікелей әдісі, ол алдын ала жаттықтырылған модельдің барлық параметрлерін жаңартады.

• Артықшылықтары: алдын ала жаттықтырылған модельдің білімін толық пайдалана алады, нақты тапсырмаларда ең жақсы өнімділікке қол жеткізеді.
• Кемшіліктері: көптеген есептеу ресурстарын және жадты қажет етеді, шамадан тыс үйренуге бейім.### 2. Параметрлік тиімділікпен дәлдеу (Parameter-Efficient Fine-tuning, PEFT)

Үлкен модельдердің параметрлері көп болғандықтан, толық дәлдеу қымбатқа түседі. Параметрлік тиімділікпен дәлдеу әдістері есептеу құнын және жад қажеттілігін азайту үшін модельдің параметрлерінің аз ғана бөлігін жаңартады.

• LoRA (Low-Rank Adaptation)

  LoRA бастапқы модельдің параметрлерін жаңартуды шамамен есептеу үшін төмен дәрежелі матрицаларды енгізу арқылы жұмыс істейді. Оның негізгі идеясы - алдын ала үйретілген модельдің бар салмақ матрицасының жанына төмен дәрежелі матрицаны қосу және осы төмен дәрежелі матрицаларды төменгі ағынды тапсырмаларға бейімдеу арқылы үйрету. Осылайша, жаттықтыруды қажет ететін параметрлердің саны аз болады, бұл есептеу құнын айтарлықтай төмендетеді.

  # Hugging Face PEFT кітапханасын пайдаланып LoRA дәлдеуін орындау
  from peft import LoraConfig, get_peft_model
  
  # LoRA конфигурациясын анықтау
  lora_config = LoraConfig(
      r=8, # Төмен дәрежелі матрицаның дәрежесі
      lora_alpha=32, # LoRA масштабтау факторы
      lora_dropout=0.05, # LoRA dropout ықтималдығы
      bias="none",
      task_type="CAUSAL_LM" # Тапсырма түрі
  )
  
  # Алдын ала үйретілген модельді жүктеу
  model = AutoModelForCausalLM.from_pretrained(model_name_or_path)
  
  # LoRA-ны модельге қолдану
  model = get_peft_model(model, lora_config)
  model.print_trainable_parameters()
  

• Prefix Tuning

  Prefix Tuning кіріс тізбегінің алдына жаттықтыруға болатын кейбір "prefix" векторларын қосады және осы prefix векторларын жаттықтыру арқылы модельдің әрекетін реттейді. Бұл әдіс бастапқы модельдің параметрлерін өзгертпейді, сондықтан өте тиімді.

• Adapter Tuning

  Adapter Tuning алдын ала үйретілген модельдің әрбір қабатына шағын нейрондық желі модульдерін (adapters) енгізеді және осы adapters-ті төменгі ағынды тапсырмаларға бейімдеу арқылы жаттықтырады. Толық дәлдеумен салыстырғанда, Adapter Tuning тек аз мөлшердегі параметрлерді жаттықтыруды қажет етеді, сонымен қатар жақсы өнімділікті сақтай алады.

3. Prompt Tuning

Prompt Tuning - бұл жеңілдетілген дәлдеу әдісі, ол алдын ала үйретілген модельді күтілетін шығысты жасауға бағыттау үшін кіріс шақыруын (prompt) оңтайландырады. Бұл әдіс модельдің ешқандай параметрін өзгертпейді, сондықтан өте тиімді.

• Hard Prompt Tuning: Шақыруды қолмен жобалау.
• Soft Prompt Tuning: Шақыру ретінде жаттықтыруға болатын векторларды пайдалану және осы векторларды жаттықтыру арқылы шақыруды оңтайландыру.

# Жаттықтыруға болатын шақыруды (Soft Prompt) пайдалану
from peft import PromptTuningConfig, get_peft_model, PromptTuningInit, TaskType

# Prompt Tuning конфигурациясын анықтау
prompt_tuning_config = PromptTuningConfig(
    task_type=TaskType.CAUSAL_LM,
    prompt_tuning_init=PromptTuningInit.TEXT,
    num_virtual_tokens=20, # Шақырудың ұзындығы
    prompt_tuning_init_text="Жауап беріңіз:", # Бастапқы шақыру
    tokenizer_name_or_path=model_name_or_path,
)
```# Алдын ала үйретілген модельді жүктеу
model = AutoModelForCausalLM.from_pretrained(model_name_or_path)

# Prompt Tuning-ді модельге қолдану
model = get_peft_model(model, prompt_tuning_config)
model.print_trainable_parameters()

Пайдалы кеңестер

• Деректерді кеңейту: Жаттығу деректерін кездейсоқ түрлендіру арқылы, мысалы, синонимдерді ауыстыру, сөйлемдерді қайта реттеу және т.б., деректердің әртүрлілігін арттыру және шамадан тыс үйренудің алдын алу.
• Ерте тоқтату (Early Stopping): Жатығу процесінде тексеру жинағындағы өнімділікті бақылаңыз, өнімділік жақсармаған кезде, шамадан тыс үйренудің алдын алу үшін жатығуды ерте тоқтатыңыз.
• Оқу жылдамдығының төмендеуі (Learning Rate Decay): Жатығу процесінде оқу жылдамдығын бірте-бірте төмендету модельдің оңтайлы шешімге тұрақты түрде жақындауына мүмкіндік береді.
• Реттеу (Regularization): Модель параметрлерін шектеу және шамадан тыс үйренудің алдын алу үшін L1 немесе L2 реттеуін пайдаланыңыз.
• Алдын ала үйретілген Embedding-ді пайдалану: Мысалы, GloVe немесе Word2Vec, модельдің жалпылау қабілетін жақсарта алады.

Құралдар ұсынысы

• Hugging Face Transformers: LLM әзірлеушілері үшін таңдаулы фреймворк болып табылатын бай алдын ала үйретілген модельдер мен жұқалап реттеу құралдарын ұсынады.
• PEFT (Parameter-Efficient Fine-Tuning): Параметрлік тиімді жұқалап реттеу әдістеріне арналған Hugging Face кітапханасы.
• TensorBoard: Жатығу процесін визуализациялауға арналған құрал, ол модельдің өнімділігін бақылауға және параметрлерді түзетуге көмектеседі.
• Weights & Biases: Машиналық оқыту эксперименттерін бақылауға және визуализациялауға арналған платформа.

Нақты қолдану

• Эмоциялық талдау: LLM-ді жұқалап реттеу эмоциялық талдаудың дәлдігін арттыра алады, мысалы, фильмге шолудағы эмоцияның оң немесе теріс екенін анықтау.
• Мәтінді классификациялау: LLM-ді жұқалап реттеу мәтінді классификациялау тапсырмалары үшін пайдаланылуы мүмкін, мысалы, жаңалықтар мақалаларын әртүрлі тақырыптық санаттарға бөлу.
• Машиналық аударма: LLM-ді жұқалап реттеу машиналық аударманың сапасын арттыра алады, мысалы, ағылшын тілінен қытай тіліне аудару.
• Сұрақ-жауап жүйесі: LLM-ді жұқалап реттеу сұрақ-жауап жүйесін құру үшін пайдаланылуы мүмкін, мысалы, пайдаланушылардың сұрақтарына жауап беру.
• Код генерациясы: Жұқалап реттелген LLM-ді код фрагменттерін жасау немесе кодты аяқтау үшін пайдалануға болады. Мысалы, GitHub Copilot - табысты қолдану мысалы.

Назар аударыңыз

• Шамадан тыс үйрену: Жұқалап реттеу процесінде шамадан тыс үйрену құбылысы орын алуы мүмкін, сондықтан деректерді кеңейту, ерте тоқтату, реттеу және т.б. сияқты тиісті шараларды қабылдау қажет.
• Апаттық ұмыту (Catastrophic Forgetting): Жұқалап реттеу модельдің алдын ала жатығу кезеңінде үйренген білімді ұмытуына әкелуі мүмкін, сондықтан жұқалап реттеу стратегиясын мұқият таңдау керек.
• Деректердің ауытқуы (Data Bias): Егер жұқалап реттеу деректер жинағында ауытқу болса, модельдің белгілі бір топтардағы өнімділігі нашар болуы мүмкін.
• Қауіпсіздік мәселелері: Жұқалап реттелген модель зиянды немесе орынсыз мазмұнды жасай алады, сондықтан қауіпсіздік бағалауын және сүзгілеуді жүргізу қажет.

Қорытынды

LLM-ді жұқарту - модельдің өнімділігін арттыру, нақты тапсырмалар мен салаларға бейімдеудің маңызды технологиясы. Тиісті алдын ала үйретілген модельді таңдау, жоғары сапалы деректер жиынтығын дайындау, тиісті жұқарту параметрлерін конфигурациялау және әртүрлі практикалық кеңестерді біріктіру арқылы сіз LLM-ді сәтті жұқартып, әртүрлі қолданбалы сценарийлерде тамаша нәтижелерге қол жеткізе аласыз. Бұл мақала кіріспе нұсқаулықты ұсынады, ол сізге LLM-ді жұқартуды тез бастауға көмектеседі деп үміттенеміз. Технологияның үздіксіз дамуымен болашақта тиімді және ыңғайлы жұқарту әдістері пайда болады.