dexblog.ro
Acces rapid: Învață AI Învață Programare Specificații Dispozitive Comparații
LLM Toți termenii

Ce este Algoritmul Unigram în SentencePiece: Modelul Probabilistic de Segmentare Textuală?

Tokenizare și Reprezentare Text SentencePiece 0.2+ Q&A AI / Distribuie cod

Segmentarea textelor pe baza maximizării log-verosimilității unui model probabilistic Unigram.

Denumire completă

import sentencepiece as spm spm.SentencePieceTrainer.train(input='data.txt', model_prefix='m', vocab_size=32000, model_type='unigram')

Spre deosebire de BPE care adaugă reguli de fuziune, algoritmul Unigram pornește de la un vocabular imens și elimină progresiv tokenii a căror dispariție afectează cel mai puțin calitatea comprimării.

Exemplu de utilizare

import sentencepiece as spm

sp = spm.SentencePieceProcessor(model_file="m.model")
fragmente = sp.encode_as_pieces("Optimizarea rețelelor neurale moderne.")
print(fragmente)
# Ieșire: [' Optim', 'izarea', ' rețelelor', ' neurale', ' moderne', '.']

Caracterul special (U+2581) păstrează poziția exactă a spațiilor albe pentru reconstituire reversibilă perfectă.

Învață AI • Comunitate & Q&A

Întrebări & Discuții: Algoritmul Unigram în SentencePiece: Modelul Probabilistic de Segmentare Textuală

Ai o întrebare despre Algoritmul Unigram în SentencePiece: Modelul Probabilistic de Segmentare Textuală sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!

🤖

Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!

Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.

Comunitate AI Adaugă o întrebare sau distribuie un cod / prompt

Moderare & Siguranță:

Pentru a menține calitatea și securitatea informațiilor, fiecare întrebare sau fragment de cod/prompt este analizat (manual sau prin moderare asistată de AI) înainte de publicare.