hf sync / hf buckets sync în Hugging Face Hub & Transformers

hf buckets sync [SURSĂ] [DESTINAȚIE] [--delete] [--include MODEL] [--exclude MODEL] [--plan FIȘIER] [--apply FIȘIER] [--dry-run]

Ce face hf sync / hf buckets sync

hf buckets sync compară sursa cu destinația și transferă doar fișierele schimbate. Una dintre ele este un director local, cealaltă un bucket (hf://buckets/namespace/nume, opțional cu prefix). hf sync este aliasul de prim nivel, cu aceleași opțiuni.

Implicit fișierele sunt comparate după dimensiune și dată de modificare; --ignore-times și --ignore-sizes schimbă criteriul. --delete șterge din destinație fișierele care nu mai există în sursă. --existing actualizează doar fișiere existente, iar --ignore-existing creează doar fișiere noi.

Pentru siguranță poți genera un plan cu --plan fisier.jsonl, îl verifici, apoi îl aplici cu --apply. --dry-run scrie planul ca JSONL la ieșirea standard, fără să execute nimic.

Sintaxă și opțiuni

Opțiune / Parametru	Descriere
[SOURCE]	Director local sau hf://buckets/namespace/nume(/prefix).
[DEST]	Director local sau hf://buckets/namespace/nume(/prefix).
--delete / --no-delete	Șterge din destinație fișierele absente în sursă. Implicit dezactivat.
--ignore-times	Compară doar după dimensiune.
--ignore-sizes	Compară doar după data modificării.
--plan TEXT	Salvează planul în fișier JSONL, fără execuție.
--apply TEXT	Aplică un plan salvat.
--dry-run	Afișează planul ca JSONL, fără execuție.
--include TEXT	Include fișierele potrivite (se poate repeta).
--exclude TEXT	Exclude fișierele potrivite (se poate repeta).
--filter-from TEXT	Citește modelele include/exclude dintr-un fișier.
--existing	Nu creează fișiere noi; actualizează doar existente.
--ignore-existing	Nu actualizează fișiere existente; creează doar noi.
-v, --verbose	Jurnal detaliat, cu motivul fiecărei decizii.
--token TEXT	Token de acces (User Access Token) creat în huggingface.co/settings/tokens. Implicit se folosește tokenul salvat de hf auth login.

Exemple practice

Exemplul 1: Încărcarea unui director în bucket

hf buckets sync ./data hf://buckets/username/my-bucket

Exemplul 2: Descărcarea bucket-ului local

hf buckets sync hf://buckets/username/my-bucket ./data

Exemplul 3: Oglindă exactă (cu ștergeri)

hf buckets sync ./data hf://buckets/username/my-bucket --delete

Exemplul 4: Plan verificat, apoi aplicat

hf buckets sync ./data hf://buckets/username/my-bucket --plan sync-plan.jsonl
hf buckets sync --apply sync-plan.jsonl

Exemplul 5: Planul ca JSONL, în jq

hf sync ./data hf://buckets/username/my-bucket --dry-run | jq .

Greșeli frecvente și bune practici

• Rulezi --delete cu sursa și destinația inversate. Verifică întâi cu --dry-run.
• Folosești sync pentru repository-uri. Comanda lucrează cu buckets; pentru repository-uri există hf upload și hf download.

Comenzi înrudite

• hf-buckets
• hf-cp
• hf-upload
• hf-jobs-run