Ce este Algoritmul Byte Pair Encoding (BPE): Îmbinarea Perechilor de Octeți și Vocabularul?

Byte Pair Encoding (BPE) este algoritmul fundamental de compresie utilizat de GPT-4, Llama și Mistral. Pornește de la octeți individuali și combină iterativ perechile cel mai des întâlnite în corpusul de antrenare.

Exemplu de antrenare BPE

from tokenizers import Tokenizer
from tokenizers.models import BPE
from tokenizers.trainers import BpeTrainer

tokenizer = Tokenizer(BPE(unk_token="[UNK]"))
trainer = BpeTrainer(special_tokens=["[UNK]", "[CLS]", "[SEP]", "[PAD]", "[MASK]"], vocab_size=32000)

tokenizer.train(["corpus_romana.txt"], trainer)
tokenizer.save("bpe_dexblog.json")

Permite reprezentarea oricărui cuvânt rar sau nou prin descompunerea lui în fragmente de bază fără erori de tip Out-of-Vocabulary (OOV).