Formatul columnar Apache Parquet este standardul industrial modern pentru stocarea seturilor masive de date tabulare. Spre deosebire de fișierele CSV (care sunt stocate linie cu linie ca text brut și necesită parsare lentă), Parquet comprimă datele pe coloane și păstrează tipurile stricte de date (integers, datetimes, booleans) direct în antet.
Metodele pd.read_parquet() și df.to_parquet() oferă o viteză de citire și scriere de până la 20 de ori mai mare comparativ cu CSV, permițând și column pruning (citirea exclusivă a câtorva coloane necesare de pe disc fără a citi restul fișierului).
Exemplu: Salvarea comprimată și citirea selectivă a coloanelor
import pandas as pd
# Salvarea unui DataFrame în format Parquet cu compresie Snappy:
df.to_parquet("date_tranzactii.parquet", compression="snappy", engine="pyarrow")
# Citirea ultra-rapidă doar a coloanelor 'client_id' și 'total':
df_selectat = pd.read_parquet(
"date_tranzactii.parquet",
columns=["client_id", "total"]
)
print(df_selectat.head())
Întrebări & Exemple de Cod:
Stocare Columnară Rapidă cu read_parquet și to_parquetAi o nelămurire despre utilizarea comenzii
Stocare Columnară Rapidă cu read_parquet și to_parquetsau ai descoperit un truc / fragment de cod util? Distribuie-l cu ceilalți programatori!Fii primul care pune o întrebare sau distribuie un fragment de cod / prompt!
Nu au fost adăugate încă întrebări sau exemple de cod pentru această pagină. Dacă ai întâlnit o problemă sau ai un snippet util, adaugă-l mai jos pentru a-i ajuta pe ceilalți.