FlashAttention-2 este un algoritm de calcul al atenției pe GPU care optimizează transferurile de memorie între SRAM și HBM, oferind viteze de inferență și antrenare de 2-4 ori mai mari și reducând consumul de VRAM pentru ferestre lungi de context (32k – 128k tokeni).
import torch
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen2.5-7B-Instruct",
torch_dtype=torch.bfloat16,
attn_implementation="flash_attention_2",
device_map="auto"
)Compatibilitate hardware: Necesită GPU-uri NVIDIA din arhitectura Ampere, Ada Lovelace sau Hopper (RTX 3090, 4090, A100, H100).
Întrebări & Exemple practice:
FlashAttention-2 în Transformers: Accelerare și Reducerea Consumului de MemorieAi o întrebare despre FlashAttention-2 în Transformers: Accelerare și Reducerea Consumului de Memorie sau ai descoperit un truc, prompt sau fragment de cod util? Distribuie-l cu ceilalți membri ai comunității!
Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau resurse pentru această pagină. Dacă ai testat un prompt sau ai un snippet util, adaugă-l mai jos pentru comunitate.