RMSNorm (Root Mean Square Normalization) demonstrează că proprietatea critică a normalizării este scalarea magnitudinii vectorilor, nu centrarea mediei în zero. Reduce operațiile memorie-registru cu ~30% per strat.
Formula de calcul
import torch
import torch.nn as nn
class RMSNorm(nn.Module):
def __init__(self, dim: int, eps: float = 1e-6):
super().__init__()
self.eps = eps
self.weight = nn.Parameter(torch.ones(dim))
def forward(self, x):
variance = x.pow(2).mean(-1, keepdim=True)
return x * torch.rsqrt(variance + self.eps) * self.weightPre-normalizarea (Pre-RMSNorm) asigură stabilitatea antrenării modelelor de peste 100 de miliarde de parametri.
Întrebări & Discuții: Normalizarea RMSNorm: Stabilizarea Gradientelor Fără Calculul Mediei
Ai o întrebare despre Normalizarea RMSNorm: Stabilizarea Gradientelor Fără Calculul Mediei sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.