Didelių kalbos modelių derinimo (Fine-tuning) įvadas: sąvokos, metodai ir praktika
Didelių kalbos modelių derinimo (Fine-tuning) įvadas: sąvokos, metodai ir praktika
Dideli kalbos modeliai (LLM) pasiekė reikšmingą pažangą natūralios kalbos apdorojimo srityje, puikiai veikia teksto generavimo, vertimo, klausimų ir atsakymų srityse. Tačiau, norint, kad šie modeliai geriau veiktų konkrečiose užduotyse ar srityse, derinimas (Fine-tuning) tapo esmine technologija. Šiame straipsnyje išsamiai aptarsime LLM derinimo sąvokas, metodus ir praktinį pritaikymą, kad padėtume pradedantiesiems greitai pradėti.
Kas yra derinimas?
Derinimas reiškia papildomą mokymą, naudojant konkrečios užduoties duomenų rinkinį, ant iš anksto apmokyto didelio kalbos modelio. Iš anksto apmokytas modelis jau išmoko bendrų kalbos žinių, o derinimas leidžia jam prisitaikyti prie konkrečios užduoties detalių ir modelių. Įsivaizduokite, kad iš anksto apmokytas modelis yra enciklopedija, kurioje yra daug žinių. Derinimas yra tarsi specializuotos „medicinos“ knygos pateikimas modeliui, kad jis taptų profesionalesnis medicinos srityje.
Derinimo palyginimas su mokymu nuo nulio:
- Mokymas nuo nulio: Reikia daug skaičiavimo išteklių ir duomenų, ilgas mokymo laikas.
- Derinimas: Reikia mažiau duomenų ir skaičiavimo išteklių, trumpas mokymo laikas ir paprastai pasiekiami geresni rezultatai.
Kodėl reikia derinti?
- Pagerinti našumą: Padaryti, kad modelis geriau veiktų konkrečiose užduotyse, tokiose kaip nuotaikų analizė, teksto klasifikavimas, automatinis vertimas ir kt.
- Prisitaikyti prie srities: Padaryti, kad modelis prisitaikytų prie konkrečios srities žinių ir stiliaus, pavyzdžiui, finansų, teisės, medicinos ir kt.
- Taupyti išteklius: Palyginti su mokymu nuo nulio, derinimas gali žymiai sumažinti skaičiavimo išteklius ir laiko sąnaudas.
- Valdomumas: Leidžia kūrėjams geriau valdyti modelio išvesties stilių ir elgesį.
Pagrindiniai derinimo žingsniai
-
Pasirinkite iš anksto apmokytą modelį: Pasirinkite iš anksto apmokytą modelį, tinkantį užduočiai. Pavyzdžiui, teksto generavimo užduočiai galite pasirinkti GPT serijos modelį; klausimų ir atsakymų užduočiai galite pasirinkti BERT serijos modelį. Hugging Face Model Hub (https://huggingface.co/models) yra puikus šaltinis, kuriame galite rasti įvairių iš anksto apmokytų modelių.
-
Paruoškite duomenų rinkinį: Paruoškite aukštos kokybės, konkrečios užduoties duomenų rinkinį. Duomenų rinkinio dydis ir kokybė turi didelę įtaką derinimo efektui.
- Duomenų valymas: Išvalykite duomenyse esančias klaidas, triukšmą ir neatitikimus.
- Duomenų žymėjimas: Pažymėkite duomenis, pavyzdžiui, teksto klasifikavimui reikia pažymėti kategorijas, klausimų ir atsakymų užduočiai reikia pažymėti atsakymus.
- Duomenų padalijimas: Padalinkite duomenų rinkinį į mokymo rinkinį, patvirtinimo rinkinį ir testavimo rinkinį.
-
Konfigūruokite derinimo parametrus: Pasirinkite tinkamą optimizatorių, mokymosi greitį, batch size, mokymo epochs ir kitus parametrus.
- Mokymosi greitis: Mokymosi greitis kontroliuoja modelio parametrų atnaujinimo greitį. Per didelis mokymosi greitis gali sukelti modelio nestabilumą, o per mažas mokymosi greitis gali sulėtinti mokymąsi. Dažni mokymosi greičio reikšmės yra: 1e-3, 1e-4, 1e-5.
- Batch Size: Batch size nustato, kiek pavyzdžių naudojama kiekvienai mokymo iteracijai. Didesnis batch size gali pagreitinti mokymąsi, bet gali užimti daugiau atminties.
- Epochs: Epochs reiškia, kiek kartų visas mokymo duomenų rinkinys yra peržiūrimas modelio. Per daug epochs gali sukelti per didelį pritaikymą, o per mažai epochs gali sukelti nepakankamą mokymąsi.
-
Atlikite derinimą: Naudokite paruoštą duomenų rinkinį ir konfigūracijos parametrus, kad atliktumėte derinimą ant iš anksto apmokyto modelio. Dažni derinimo karkasai yra TensorFlow, PyTorch ir Hugging Face Transformers.
-
Įvertinkite modelį: Naudokite testavimo rinkinį, kad įvertintumėte suderinto modelio našumą ir atliktumėte būtinus koregavimus. Dažni vertinimo rodikliai yra tikslumas, tikslumas, atšaukimas, F1 reikšmė ir kt.
Derinimo metodai
1. Visiškas derinimas (Full Fine-tuning)
Tai tiesioginis derinimo metodas, kuris atnaujina visus iš anksto apmokyto modelio parametrus.
- Privalumai: Galima visapusiškai išnaudoti iš anksto apmokyto modelio žinias ir pasiekti geriausią našumą konkrečioje užduotyje.
- Trūkumai: Reikia daug skaičiavimo išteklių ir atminties, lengva per daug pritaikyti.### 2. Parametrų efektyvusis tikslinimas (Parameter-Efficient Fine-tuning, PEFT)
Dėl didelio modelių parametrų skaičiaus, pilnas tikslinimas yra brangus. Parametrų efektyvaus tikslinimo metodai atnaujina tik nedidelę modelio parametrų dalį, taip sumažindami skaičiavimo sąnaudas ir atminties poreikius.
-
LoRA (Low-Rank Adaptation)
LoRA aproksimuoja originalaus modelio parametrų atnaujinimus įvesdama žemo rango matricas. Pagrindinė idėja yra pridėti žemo rango matricą šalia esamos apmokyto modelio svorių matricos ir apmokyti šias žemo rango matricas, kad prisitaikytų prie tolimesnių užduočių. Tokiu būdu reikia apmokyti tik nedidelį parametrų kiekį, o tai labai sumažina skaičiavimo sąnaudas.
# Naudojant Hugging Face PEFT biblioteką LoRA tikslinimui from peft import LoraConfig, get_peft_model # Apibrėžiam LoRA konfigūraciją lora_config = LoraConfig( r=8, # Žemo rango matricos rangas lora_alpha=32, # LoRA mastelio koeficientas lora_dropout=0.05, # LoRA dropout tikimybė bias="none", task_type="CAUSAL_LM" # Užduoties tipas ) # Įkeliam apmokytą modelį model = AutoModelForCausalLM.from_pretrained(model_name_or_path) # Pritaikom LoRA modeliui model = get_peft_model(model, lora_config) model.print_trainable_parameters() -
Prefix Tuning
Prefix Tuning prideda keletą apmokomų "prefix" vektorių prieš įvesties seką ir apmoko šiuos prefix vektorius, kad pakoreguotų modelio elgseną. Šis metodas nereikalauja keisti originalaus modelio parametrų, todėl yra labai efektyvus.
-
Adapter Tuning
Adapter Tuning įterpia keletą mažų neuroninių tinklų modulių (adapterių) į kiekvieną apmokyto modelio sluoksnį ir apmoko šiuos adapterius, kad prisitaikytų prie tolimesnių užduočių. Palyginti su pilnu tikslinimu, Adapter Tuning reikalauja apmokyti tik nedidelį parametrų kiekį, tuo pačiu išlaikant gerą našumą.
3. Prompt Tuning
Prompt Tuning yra lengvesnis tikslinimo metodas, kuris optimizuoja įvesties raginimus (prompt), kad nukreiptų apmokytą modelį generuoti norimą išvestį. Šis metodas nereikalauja keisti jokių modelio parametrų, todėl yra labai efektyvus.
- Hard Prompt Tuning: Rankinis raginimo dizainas.
- Soft Prompt Tuning: Naudojami apmokomi vektoriai kaip raginimas ir apmokomi šie vektoriai, kad optimizuotų raginimą.
# Naudojant apmokomą raginimą (Soft Prompt)
from peft import PromptTuningConfig, get_peft_model, PromptTuningInit, TaskType
# Apibrėžiam Prompt Tuning konfigūraciją
prompt_tuning_config = PromptTuningConfig(
task_type=TaskType.CAUSAL_LM,
prompt_tuning_init=PromptTuningInit.TEXT,
num_virtual_tokens=20, # Raginimo ilgis
prompt_tuning_init_text="Atsakykite į šiuos klausimus:", # Pradinis raginimas
tokenizer_name_or_path=model_name_or_path,
)
```# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained(model_name_or_path)
# 将 Prompt Tuning 应用于模型
model = get_peft_model(model, prompt_tuning_config)
model.print_trainable_parameters()
实用技巧
- 数据增强： 通过对训练数据进行随机变换，例如同义词替换、句子重排等，来增加数据的多样性，防止过拟合。
- Duomenų papildymas: Padidinkite duomenų įvairovę atlikdami atsitiktines transformacijas su mokymo duomenimis, pvz., sinonimų pakeitimus, sakinių pertvarkymus ir kt., kad išvengtumėte perteklinio pritaikymo.
- 早停法 (Early Stopping)： 在训练过程中，监控验证集上的性能，当性能不再提升时，提前停止训练，防止过拟合。
- Ankstyvas sustabdymas (Early Stopping): Mokymo proceso metu stebėkite našumą patvirtinimo rinkinyje ir sustabdykite mokymą anksčiau laiko, kai našumas nebepagerėja, kad išvengtumėte perteklinio pritaikymo.
- 学习率衰减 (Learning Rate Decay)： 在训练过程中，逐渐降低学习率，可以使模型更稳定地收敛到最优解。
- Mokymosi greičio mažinimas (Learning Rate Decay): Mokymo proceso metu palaipsniui mažinkite mokymosi greitį, kad modelis stabiliau konverguotų į optimalų sprendimą.
- 正则化 (Regularization)： 使用 L1 或 L2 正则化来约束模型参数，防止过拟合。
- Regularizavimas (Regularization): Naudokite L1 arba L2 regularizavimą, kad apribotumėte modelio parametrus ir išvengtumėte perteklinio pritaikymo.
- 使用预训练好的 Embedding： 例如 GloVe 或 Word2Vec，可以提高模型的泛化能力。
- Naudokite iš anksto apmokytus Embedding: Pvz., GloVe arba Word2Vec, gali pagerinti modelio apibendrinimo galimybes.
工具推荐
- Hugging Face Transformers： 提供了丰富的预训练模型和微调工具，是 LLM 开发者的首选框架。
- Hugging Face Transformers: Pateikia daug iš anksto apmokytų modelių ir smulkaus derinimo įrankių, todėl tai yra pageidaujamas LLM kūrėjų karkasas.
- PEFT (Parameter-Efficient Fine-Tuning)： Hugging Face 的一个库，专门用于参数高效的微调方法。
- PEFT (Parameter-Efficient Fine-Tuning): Hugging Face biblioteka, skirta efektyviems parametrų smulkaus derinimo metodams.
- TensorBoard： 用于可视化训练过程的工具，可以帮助你监控模型性能、调试参数。
- TensorBoard: Įrankis, skirtas vizualizuoti mokymo procesą, kuris gali padėti stebėti modelio našumą ir derinti parametrus.
- Weights & Biases： 一个用于追踪和可视化机器学习实验的平台。
- Weights & Biases: Platforma, skirta sekti ir vizualizuoti mašininio mokymosi eksperimentus.
实际应用
- 情感分析： 微调 LLM 可以提高情感分析的准确率，例如识别电影评论中的情感是正面还是负面。
- Nuotaikų analizė: Smulkus LLM derinimas gali pagerinti nuotaikų analizės tikslumą, pvz., nustatyti, ar filmo apžvalgos nuotaika yra teigiama, ar neigiama.
- 文本分类： 微调 LLM 可以用于文本分类任务，例如将新闻文章分类到不同的主题类别。
- Teksto klasifikavimas: Smulkus LLM derinimas gali būti naudojamas teksto klasifikavimo užduotims, pvz., naujienų straipsnių klasifikavimui į skirtingas temų kategorijas.
- 机器翻译： 微调 LLM 可以提高机器翻译的质量，例如将英文翻译成中文。
- Automatinis vertimas: Smulkus LLM derinimas gali pagerinti automatinio vertimo kokybę, pvz., verčiant anglų kalbą į kinų kalbą.
- 问答系统： 微调 LLM 可以用于构建问答系统，例如回答用户提出的问题。
- Klausimų ir atsakymų sistemos: Smulkus LLM derinimas gali būti naudojamas kuriant klausimų ir atsakymų sistemas, pvz., atsakant į vartotojų klausimus.
- 代码生成： 可以使用微调后的 LLM 来生成代码片段或完成代码。 例如 GitHub Copilot 就是一个成功的应用案例。
- Kodo generavimas: Galite naudoti smulkiai suderintą LLM kodo fragmentams generuoti arba kodui užbaigti. Pavyzdžiui, GitHub Copilot yra sėkmingas naudojimo atvejis.
注意事项
- 过拟合： 微调过程中容易出现过拟合现象，需要采取相应的措施，例如数据增强、早停法、正则化等。
- Perteklinis pritaikymas: Smulkaus derinimo metu lengva per daug pritaikyti, todėl reikia imtis atitinkamų priemonių, tokių kaip duomenų papildymas, ankstyvas sustabdymas, regularizavimas ir kt.
- 灾难性遗忘 (Catastrophic Forgetting)： 微调可能会导致模型忘记预训练阶段学习到的知识，需要谨慎选择微调策略。
- Katastrofiškas užmiršimas (Catastrophic Forgetting): Smulkus derinimas gali priversti modelį pamiršti žinias, įgytas iš anksto apmokymo etapo, todėl reikia atidžiai pasirinkti smulkaus derinimo strategiją.
- 数据偏差 (Data Bias)： 如果微调数据集存在偏差，可能会导致模型在特定群体上的表现不佳。
- Duomenų šališkumas (Data Bias): Jei smulkaus derinimo duomenų rinkinyje yra šališkumo, modelis gali blogai veikti tam tikrose grupėse.
- 安全问题： 微调后的模型可能会生成有害或不当的内容，需要进行安全评估和过滤。
- Saugos problemos: Smulkiai suderintas modelis gali generuoti žalingą arba netinkamą turinį, todėl reikia atlikti saugos įvertinimą ir filtravimą.
