Memoria RAM a executorilor dintr-un cluster Spark este o resursă limitată și scumpă. Dacă păstrați DataFrame-uri mari în cache după ce ați finalizat etapa din pipeline care avea nevoie de ele, riscați ca noile transformări să nu aibă suficient spațiu și să facă Spill to Disk (degradând viteza de 10-50 de ori).
Metoda df.unpersist() elimină imediat blocurile din memoria clusterului.
Exemplu: Eliberarea memoriei după finalizarea agregărilor
# Caching temporar pentru operațiuni intensive:
df_temp = df.groupBy("cheie").count().cache()
df_temp.show()
# Odată ce am terminat cu df_temp, eliberăm RAM-ul:
df_temp.unpersist()
Întrebări & Exemple de Cod:
Eliberarea Resurselor din Memorie cu df.unpersistAi o nelămurire despre utilizarea comenzii
Eliberarea Resurselor din Memorie cu df.unpersistsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.