RMSNorm este o variantă simplificată și de mare viteză a Layer Normalization (LayerNorm), utilizată în majoritatea modelelor de frontieră recente (LLaMA, Gemma, DeepSeek, Qwen). Aceasta elimină calculul mediei și re-centrarea datelor, calculând doar rădăcina mediei pătratelor.
import torch
import torch.nn as nn
class RMSNorm(nn.Module):
def __init__(self, dim: int, eps: float = 1e-6):
super().__init__()
self.eps = eps
self.weight = nn.Parameter(torch.ones(dim))
def forward(self, x: torch.Tensor) -> torch.Tensor:
# Calculează direct media pătratelor pe ultima dimensiune:
variance = x.pow(2).mean(-1, keepdim=True)
# Scalare fără scăderea mediei:
return x * torch.rsqrt(variance + self.eps) * self.weightCâștig de performanță: Reduce timpul de execuție al normalizării cu 10% până la 50% pe GPU, fără a degrada stabilitatea numerică a antrenării.
Întrebări & Discuții: RMSNorm în LLM: Root Mean Square Layer Normalization
Ai o întrebare despre RMSNorm în LLM: Root Mean Square Layer Normalization sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.