PYSPARK DESC_NULLS_FIRST UND DESC_NULLS_LAST -Funktionen

Wenn Sie die Werte in einer Spalte im PYSPARK -Datenframe mit Nulls in absteigender Reihenfolge sortieren möchten, können Sie mit den Funktionen des Desc_nulls_First () und der Desc_nulls_Last () entscheiden.

Bevor wir diese Funktionen diskutieren, erstellen wir einen Beispielpyspark -Datenframe.

Daten

pysspark importieren
aus pysspark.SQL Import SparkSession
Spark_app = SparkSession.Erbauer.App Name('_').Getorcreate ()
Schüler = [(4, 'Sravan', 23, keine, keine),
(4, "Chandana", 23, "CSS", "pyspark"),
(46, 'Mounika', 22, keine, ''.NETZ'),
(4, 'Deepika', 21, 'Html', keine),
]
DataFrame_OBJ = Spark_App.Createdataframe (Studenten, ['Subjekt_ID', 'Name', 'Alter', 'Technology1', 'Technology2'])
DataFrame_OBJ.zeigen()

Ausgang:

Jetzt gibt es 5 Spalten und 4 Zeilen.

DESC_NULLS_FIRST () -Funktion

Die Funktion des desc_nulls_first () sortiert die Werte in einer Spalte in absteigender Reihenfolge, platziert die vorhandenen Nullwerte jedoch in einer Spalte.

Es kann mit der Methode Select () verwendet werden, um die geordneten Spalten auszuwählen. Es ist sehr wichtig, die Funktion OrderBy () zu verwenden, da die Hauptsache hier die Sortierung ist.orderBy () nimmt die Funktion des Desc_nulls_first () als Parameter.

Syntax

DataFrame_OBJ.select (DataFrame_OBJ.Spalte).orderBy (DataFrame_OBJ.Spalte.Desc_nulls_
Erste())

Wenn DataFrame_OBJ der Datenrahmen und die Spalte ist, ist der Spaltenname, in dem die Werte sortiert sind.

Unser Datenrahmen ist also bereit. Lassen Sie uns die Funktion desc_nulls_first () demonstrieren.

Beispiel 1

Jetzt sortieren wir die Werte in der Spalte Technology1, die keine/null -Werte in absteigender Reihenfolge mit der Funktion des Desc_nulls_first () in absteigender Reihenfolge enthält.

#Sortieren Sie die Spalte für Technologie1 in absteigender Reihenfolge und erhalten Sie zuerst die Nullwerte.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie1).orderBy (DataFrame_OBJ.Technologie1.Desc_
nulls_first ()).zeigen()

Ausgang:

Eigentlich gibt es zwei Nullwerte. Erstens werden sie platziert, und später werden HTML und CSS in absteigender Reihenfolge sortiert.

Beispiel 2

Jetzt sortieren wir die Werte in der Spalte Technology2, die keine/null -Werte in absteigender Reihenfolge mithilfe der Funktion des Desc_nulls_first () in absteigender Reihenfolge haben.

#Sortieren Sie die Spalte für Technologie2 in absteigender Reihenfolge und erhalten Sie zuerst die Nullwerte.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie2).orderBy (DataFrame_OBJ.Technologie2.Desc_
nulls_first ()).zeigen()

Ausgang:

Eigentlich gibt es zwei Nullwerte. Erstens werden sie platziert und später pyspark und .Netz ist in absteigender Reihenfolge sortiert.

Desc_nulls_last () Funktion

Die Funktion des Desc_nulls_Last () sortiert die Werte in einer Spalte in absteigender Reihenfolge, platziert jedoch die vorhandenen Nullwerte in einer Spalte.

Es kann mit der Methode Select () verwendet werden, um die geordneten Spalten auszuwählen. Es ist sehr wichtig, OrderBy () zu verwenden, weil die Hauptsache hier die Art ist.orderBy () nimmt Desc_nulls_first () als Parameter.

Syntax

DataFrame_OBJ.select (DataFrame_OBJ.Spalte).orderBy (DataFrame_OBJ.Spalte.Desc_nulls_
zuletzt())

Dadurch ist DataFrame_OBJ der Datenrahmen und die Spalte der Spaltenname, in dem die Werte so sortiert werden, dass alle Nullwerte als zuletzt platziert werden.

Unser Datenrahmen ist also bereit. Lassen Sie uns die Funktion desc_nulls_last () demonstrieren.

Beispiel 1

Jetzt sortieren wir die Werte in der Spalte Technology2 mit keinen/Null -Werten in absteigender Reihenfolge unter Verwendung der Funktion des DEC_Nulls_Last ().

#Sortieren Sie die Technologie1 -Spalte in absteigender Reihenfolge und erhalten Sie die Nullwerte zuletzt.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie1).orderBy (DataFrame_OBJ.Technologie1.Desc_
nulls_last ()).zeigen()

Ausgang:

Eigentlich gibt es zwei Nullwerte. Erstens sind HTML und CSS in absteigender Reihenfolge sortiert, und zwei Nullwerte werden zuletzt platziert.

Beispiel 2

Jetzt sortieren wir die Werte in der Spalte Technology2, die keine/null -Werte in absteigender Reihenfolge mit der Funktion des Desc_Nulls_Last () enthält.

#Sortieren Sie die Spalte für Technologie2 in absteigender Reihenfolge und erhalten Sie die Nullwerte zuletzt.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie2).orderBy (DataFrame_OBJ.Technologie2.Desc_
nulls_last ()).zeigen()

Ausgang:

Eigentlich gibt es zwei Nullwerte. Erste, .Net und pyspark sind in absteigender Reihenfolge sortiert, und zwei Nullwerte werden zuletzt platziert.

Gesamtcode

pysspark importieren
aus pysspark.SQL Import SparkSession
Spark_app = SparkSession.Erbauer.App Name('_').Getorcreate ()
Schüler = [(4, 'Sravan', 23, keine, keine),
(4, "Chandana", 23, "CSS", "pyspark"),
(46, 'Mounika', 22, keine, ''.NETZ'),
(4, 'Deepika', 21, 'Html', keine),
]
DataFrame_OBJ = Spark_App.Createdataframe (Studenten, ['Subjekt_ID', 'Name', 'Alter', 'Technology1', 'Technology2'])
DataFrame_OBJ.zeigen()
#Sortieren Sie die Spalte für Technologie1 in absteigender Reihenfolge und erhalten Sie zuerst die Nullwerte.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie1).orderBy (DataFrame_OBJ.Technologie1.Desc_
nulls_first ()).zeigen()
#Sortieren Sie die Spalte für Technologie2 in absteigender Reihenfolge und erhalten Sie zuerst die Nullwerte.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie2).orderBy (DataFrame_OBJ.Technologie2.Desc_
nulls_first ()).zeigen()
#Sortieren Sie die Technologie1 -Spalte in absteigender Reihenfolge und erhalten Sie die Nullwerte zuletzt.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie1).orderBy (DataFrame_OBJ.Technologie1.Desc_
nulls_last ()).zeigen()
#Sortieren Sie die Technologie1 -Spalte in absteigender Reihenfolge und erhalten Sie die Nullwerte zuletzt.
DataFrame_OBJ.select (DataFrame_OBJ.Technologie1).orderBy (DataFrame_OBJ.Technologie1.Desc_
nulls_last ()).zeigen()

Abschluss

Am Ende dieses PYSPARK -Tutorials haben wir gelernt, dass es möglich ist, mit Null umzugehen, während die Werte in einem Datenrahmen mithilfe der Funktionen des Desc_Nulls_First () und des Desc_Nulls_Last () sortiert werden. Die Funktion des desc_nulls_first () sortiert die Werte in einer Spalte in absteigender Reihenfolge, arrangiert jedoch die vorhandenen Nullwerte in einer Spalte zuerst. Die Funktion des Desc_nulls_Last () sortiert die Werte in einer Spalte in absteigender Reihenfolge, arrangiert jedoch die vorhandenen Nullwerte in einer Spalte zuletzt in einer Spalte. Sie können den gesamten Code im letzten Teil des Tutorials ausführen.