PYSPARK - Pandas DataFrame Cumulative Operations

„In Python ist PYSPARK ein Spark -Modul, das eine ähnliche Art von Verarbeitung bietet, die mit DataFrame spark ist und die angegebenen Daten im Zeilen- und Spaltenformat speichert.

PYSPARK - Pandas DataFrame repräsentiert den Pandas -Datenfreame, enthält jedoch den PYSPark -Datenfreame in intern.

PANDAS unterstützen die Datenstruktur der Datenframe, und Pandas wird aus dem PYSPARK -Modul importiert.

Vorher müssen Sie das PYSPARK -Modul installieren.”

Befehl

PIP Installieren Sie PYSPARK

Syntax zum Import

aus pyspark import Pandas

Danach können wir den Datenrahmen aus dem Pandas -Modul erstellen oder verwenden.

Syntax zum Erstellen von PANDAS -Datenframe

PYSPARK.Pandas.DataFrame ()

Wir können ein Wörterbuch oder eine Liste von Listen mit Werten übergeben.

Erstellen wir mit drei Spalten und fünf Zeilen einen Pandas -Datenframe über PYSPARK.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Anzeige
print (pyspark_pandas)

Ausgang

Jetzt werden wir in unser Tutorial gehen.

Kumulative Operationen werden verwendet, um kumulative Ergebnisse über die Säulen im PYSPARK Pandas -Datenframe hinweg zurückzugeben.

Lassen Sie uns sie einzeln sehen.

PYSPARK.Pandas.Datenrahmen.Cumsum ()

cumsum () gibt die kumulative Summe in jeder Spalte zurück. Es kann auf den gesamten pyspark pandas DataFrame oder auf eine einzelne Spalte angewendet werden.

Syntax

Auf dem gesamten Datenrahmen

pyspark_pandas.Cumsum ()

Auf bestimmte Spalte

pyspark_pandas.Spalte.Cumsum ()

Wobei pyspark_pandas der pyspark pandas, DataFrame und Spalte ist, siehe den Spaltennamen.

Beispiel 1
In diesem Beispiel werden wir Cumsum () in der Mark2 -Spalte durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform
print (pyspark_pandas.Mark2.Cumsum ())

Ausgang

Kumulative Summenoperation in Mark2 -Spalte

100 = 100
100+67 = 167
100+67+96 = 263
100+67+96+89 = 352
100+67+96+89+77 = 429

Beispiel 2
In diesem Beispiel werden wir Cumsum () auf dem gesamten PYSPARK PANDAS -Datenframe durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform
print (pyspark_pandas.Cumsum ())

Ausgang

Wir können sehen, dass die kumulative Summe in jeder Spalte zurückgegeben wird.

PYSPARK.Pandas.Datenrahmen.cumprod ()

cumprod () gibt das kumulative Produkt in jeder Spalte zurück. Es kann auf den gesamten PySpark Pandas DataFrame oder in einer einzelnen Spalte angewendet werden.

Syntax

Auf dem gesamten Datenrahmen

pyspark_pandas.cumprod ()

Auf bestimmte Spalte

pyspark_pandas.Spalte.cumprod ()

Wobei pyspark_pandas der pyspark pandas, DataFrame und Spalte ist, siehe den Spaltennamen.

Beispiel 1
In diesem Beispiel werden wir Cumprod () in der Spalte Mark2 durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform
print (pyspark_pandas.cumprod ())

Ausgang

Kumulativer Produktbetrieb in Mark2 -Spalte arbeitet

100 = 100
100*67 = 6700
100*67*96 = 643200
100*67*96*89 = 57244800
100*67*96*89*77 = 4407849600

Beispiel 2
In diesem Beispiel werden wir Cumprod () im gesamten PySpark Pandas DataFrame durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cummin on Mark2 -Spalte
print (pyspark_pandas.Mark2.Cummin ())

Ausgang

Wir können sehen, dass das kumulative Produkt in jeder Spalte zurückgegeben wird.

PYSPARK.Pandas.Datenrahmen.Cummin ()

Cummin () gibt den kumulativen Mindestwert in jeder Spalte zurück. Es kann auf den gesamten PySpark Pandas DataFrame oder in einer einzelnen Spalte angewendet werden.

Syntax

Auf dem gesamten Datenrahmen

pyspark_pandas.Cummin ()

Auf bestimmte Spalte

pyspark_pandas.Spalte.Cummin ()

Wobei pyspark_pandas der pyspark pandas, DataFrame und Spalte ist, siehe den Spaltennamen.

Beispiel 1
In diesem Beispiel werden wir Cummin () in der Mark2 -Spalte durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform
print (pyspark_pandas.Cummin ())

Ausgang

Kumulativer Mindestbetrieb in Mark2 -Spalte

100 = 100
min (100,67) = 67
min (100,67,96) = 67
min (100,67,96,89) = 67
min (100,67,96,89,77) = 67

Beispiel 2
In diesem Beispiel werden wir Cummin () im gesamten PYSPARK PANDAS -Datenfreame durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cummax auf der Mark2 -Spalte
print (pyspark_pandas.Mark2.Cummax ())

Ausgang

Wir können sehen, dass der kumulative Mindestwert in jeder Spalte zurückgegeben wird.

PYSPARK.Pandas.Datenrahmen.Cummax ()

Cummax () gibt den kumulativen Maximalwert in jeder Spalte zurück. Es kann auf den gesamten PySpark Pandas DataFrame oder in einer einzelnen Spalte angewendet werden.

Syntax

Auf dem gesamten Datenrahmen

pyspark_pandas.Cummax ()

Auf bestimmte Spalte

pyspark_pandas.Spalte.Cummax ()

Wobei pyspark_pandas der pyspark pandas, DataFrame und Spalte ist, siehe den Spaltennamen.

Beispiel 1
In diesem Beispiel werden wir Cummax () in der Spalte Mark2 durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform Cummax auf der Mark2 -Spalte
print (pyspark_pandas.Mark2.Cummax ())

Ausgang

Kumulativer maximaler Betrieb in Mark2 -Spalte funktioniert

100 = 100
max (100,67) = 100
max (100,67,96) = 100
max (100,67,96,89) = 100
max (100,67,96,89,77) = 100

Beispiel 2
In diesem Beispiel werden wir Cummax () im gesamten PYSPARK PANDAS -Datenfreame durchführen.

#import pandas aus dem pysparkmodul
aus pyspark import Pandas
#create DataFrame von Pandas PySpark
pyspark_pandas = pandas.DataFrame ('Mark1': [90,78,90,54,67], 'Mark2': [100,67,96,89,77], 'Mark3': [91,92,98,97,87] )
#Perform
print (pyspark_pandas.Cummax ())

Ausgang

Wir können sehen, dass der kumulative Maximalwert in jeder Spalte zurückgegeben wird.

Abschluss

In diesem PYSPARK PANDAS -Tutorial diskutierten wir kumulative Operationen, die auf dem PYSPARK PANDAS -Datenframe ausgeführt wurden. Cumsum () wird verwendet, um die kumulative Summe in jeder Säule zurückzugeben, Cumprod (), um das kumulative Produkt in jeder Spalte zurückzugeben, Cummin () wird verwendet, um den kumulativen Mindestwert in jeder Spalte zurückzugeben, und Cummax () wird verwendet, um zu verwendet zu werden Rückgabe des kumulativen Maximalwerts in jeder Spalte.