Gestiunea Valorilor Nule: df.na.fill și df.na.drop în Apache Spark & PySpark

Spațiul de nume df.na (DataFrameNaFunctions) oferă instrumentele dedicate pentru tratarea valorilor nule (None / NULL / NaN):

• df.na.drop(): Elimină rândurile care conțin valori lipsă. Poate funcționa pe modul how='any' (dacă oricare valoare e NULL) sau how='all' (doar dacă tot rândul e NULL).
• df.na.fill(): Înlocuiește valorile NULL cu constante implicite (ex. 0 pentru valori numerice sau 'Necunoscut' pentru șiruri).

# Elimină rândurile doar dacă lipsește ID-ul sau email-ul:
df_valid = df.na.drop(subset=["id", "email"])

# Înlocuirea valorilor lipsă cu valori implicite specifice per coloană:
valori_implicite = {
    "oras": "București",
    "varsta": 0,
    "rating": 5.0
}
df_imputat = df_valid.na.fill(valori_implicite)
df_imputat.show(5)