Secvențe de Lungime Variabilă cu nn.CTCLoss în PyTorch & Deep Learning Practic

Funcția nn.CTCLoss (Connectionist Temporal Classification) este utilizată în sarcini secvență-la-secvență unde alinierea temporală dintre intrare și etichetă este necunoscută (de exemplu, transcrierea unui fișier audio în text sau recunoașterea textului dintr-o imagine de linie manuscrisă).

import torch
import torch.nn as nn

# T: pași de timp, N: batch size, C: număr caractere (clase)
T, N, C = 50, 4, 30
ctc_loss = nn.CTCLoss(blank=0)

log_probs = torch.randn(T, N, C).log_softmax(2).detach().requires_grad_()
targets = torch.randint(1, C, (N, 20), dtype=torch.long)
input_lengths = torch.full((N,), T, dtype=torch.long)
target_lengths = torch.randint(10, 20, (N,), dtype=torch.long)

loss = ctc_loss(log_probs, targets, input_lengths, target_lengths)
print("CTC Loss:", loss.item())

Algoritmul utilizează programare dinamică (forward-backward algorithm) pentru a însuma probabilitățile peste toate alinierile posibile ce produc textul țintă după eliminarea repetițiilor și a token-ului blank.