Ce este Funcția de Activare SwiGLU în LLM: Gated Linear Units Moderne?

import torch
import torch.nn as nn
import torch.nn.functional as F

class SwiGLUFFN(nn.Module):
    def __init__(self, hidden_dim: int, ffn_dim: int):
        super().__init__()
        self.w_gate = nn.Linear(hidden_dim, ffn_dim, bias=False)
        self.w_up = nn.Linear(hidden_dim, ffn_dim, bias=False)
        self.w_down = nn.Linear(ffn_dim, hidden_dim, bias=False)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # SwiGLU = Swish(Gate(x)) * Up(x)
        gate = F.silu(self.w_gate(x))
        up = self.w_up(x)
        return self.w_down(gate * up)

Superioritate dovedită: Înlocuiește activările clasice ReLU și GeLU în LLaMA, PaLM și Mistral, oferind scoruri de perplexitate superioare la același număr de parametri.