Pyspark wie und ilike Funktionen

Wenn wir die Werte aus der Spalte DataFrame -Spalte basierend auf der String Match in pySpark zurückgeben möchten, werden die in PYSPark verfügbaren Like () und Ilike () verwendet, um die Zeilen basierend auf den darin angegebenen Werten zurückzugeben.

Sie können entweder mit der Filterklausel oder an der Klausel verwendet werden. Wir werden sie einzeln mit verschiedenen Beispielen sehen.

Like () Funktion

Die Funktion von Like () in pySpark wird verwendet, um zu überprüfen. Wenn es existiert, werden die übereinstimmenden Zeilen zurückgegeben. Andernfalls wird ein leerer Datenrahmen zurückgegeben. Es ist Fallempfindlichkeit.

Syntax

DataFrame_Object.filter (DataFrame_OBJ.Spalte.wie (Muster/String))
DataFrame_Object.Wo (DataFrame_OBJ.Spalte.wie (Muster/String))

Wo,
DataFrame_Object ist der PYSPARK -Datenrahmen.

Parameter:
Der wie() Funktion hat einen Parameter.

Es kann ein Muster oder eine Zeichenfolge sein, sodass die Funktion Like () überprüft, ob der angegebene Wert in der Spalte DataFrame vorhanden ist oder nicht.

Zurückkehren:
Basierend auf diesem Spaltenwert wird die gesamte Zeile zurückgegeben.

Zunächst erstellen wir den PYSPark -Datenframe mit 10 Zeilen und 5 Spalten.

pysspark importieren
aus pysspark.SQL Import *
Spark_app = SparkSession.Erbauer.App Name('_').Getorcreate ()
Schüler = [(4, 'Sravan', 23, 'Php', 'Testing'),
(2, 'Sravan', 23, "Oracle", "Testing"),
(46, 'Mounika', 22, ','.Net ',' html '),
(12, "Deepika", 21, "Oracle", "Html"),
(46, 'Mounika', 22, 'Oracle', 'Testing'),
(12, 'Chandrika', 23, 'Hadoop', 'C#'),
(12, "Chandrika", 22, "Oracle", "Testing"),
(45, 'Sravan', 23, "Oracle", "C#"),
(4, 'Deepika', 21, 'Php', 'C#'),
(46, 'Mounika', 22, ','.Net ',' testing ')
]
DataFrame_OBJ = Spark_App.Createdataframe (Studenten, ['Subjekt_ID', 'Name', 'Alter', 'Technology1', 'Technology2'])
DataFrame_OBJ.zeigen()

Ausgang:

Wenden wir nun die Funktion Like () auf den PYSPARK -Datendarbeam an, um die Ergebnisse zurückzugeben.

Beispiel 1
Wir geben die Zeichenfolge 'Sravan' in der Spalte Name innerhalb der Methode () () an und geben alle Zeilen zurück, die dieser Zeichenfolge entsprechen.

#Check für String -Sravan in der Spalte Name und geben Sie Zeilen mit dem Namen zurück - Sravan.
print ("-------- Verwenden Sie wo () Klausel --------")
DataFrame_OBJ.Wo (DataFrame_OBJ.Name.wie ('sravan')).zeigen()
#Check für String -Sravan in der Spalte Name und geben Sie Zeilen mit dem Namen zurück - Sravan.
print ("-------- Verwenden von Filter () Klausel --------")
DataFrame_OBJ.filter (DataFrame_OBJ.Name.wie ('sravan')).zeigen()

Ausgang:

Sie können sehen, dass Sravan dreimal gefunden wird und die Zeilen zurückgegeben wurden.

Beispiel 2
Wir werden die String 'Php' in der Spalte Technology1 in der Methode Like () bereitstellen und alle Zeilen zurückgeben, die dieser Zeichenfolge entsprechen.

#Check für String- PHP in der Spalte Technology1 und Return Zeilen mit Technology1 - PHP.
print ("-------- Verwenden Sie wo () Klausel --------")
DataFrame_OBJ.Wo (DataFrame_OBJ.Technologie1.wie ('php')).zeigen()
#Check für String- PHP in der Spalte Technology1 und Return Zeilen mit Technology1 - PHP.
print ("-------- Verwenden von Filter () Klausel --------")
DataFrame_OBJ.filter (DataFrame_OBJ.Technologie1.wie ('php')).zeigen()

Ausgang:

Sie können sehen, dass PHP in der Spalte Technology1 nicht zu finden ist. Daher wurden 0 Zeilen zurückgegeben.

ilike () Funktion

Die Funktion ilike () in PYSPark wird verwendet, um zu überprüfen. Wenn es existiert, werden die übereinstimmenden Zeilen zurückgegeben. Andernfalls wird der leere Datenrahmen zurückgegeben. Es ist unempfindlich.

Syntax

DataFrame_Object.filter (DataFrame_OBJ.Spalte.Ilike (Muster/String))
DataFrame_Object.Wo (DataFrame_OBJ.Spalte.Ilike (Muster/String))

Wo,
DataFrame_Object ist der PYSPARK -Datenrahmen.

Parameter:
Die Funktion ilike () hat einen Parameter.

Es kann ein Muster oder eine Zeichenfolge sein, so dass die Funktion ilike () prüft, ob der angegebene Wert in der Spalte DataFrame vorhanden ist oder nicht.

Zurückkehren:
Basierend auf diesem Spaltenwert wird die gesamte Zeile zurückgegeben.

Beispiel 1
Wir geben die Zeichenfolge 'Sravan' in der Spalte Name in der ilike () -Methode an und geben alle Zeilen zurück, die dieser Zeichenfolge entsprechen.

#Check für String -Sravan in der Spalte Name und geben Sie Zeilen mit dem Namen zurück - Sravan.
print ("-------- Verwenden Sie wo () Klausel --------")
DataFrame_OBJ.Wo (DataFrame_OBJ.Name.Ilike ('Sravan')).zeigen()
#Check für String -Sravan in der Spalte Name und geben Sie Zeilen mit dem Namen zurück - Sravan.
print ("-------- Verwenden von Filter () Klausel --------")
DataFrame_OBJ.filter (DataFrame_OBJ.Name.Ilike ('Sravan')).zeigen()

Ausgang:

Erläuterung
Sie können sehen, dass Sravan dreimal gefunden wird und die Reihen zurückgegeben wurden.

Beispiel 2
Wir werden die String 'Php' in der Spalte Technology1 in der Methode Like () bereitstellen und alle Zeilen zurückgeben, die dieser Zeichenfolge entsprechen.

#Check für String- PHP in der technologischen Spalte1 -Spalte und Return Zeilen mit Technology1 - PHP.
print ("-------- Verwenden Sie wo () Klausel --------")
DataFrame_OBJ.Wo (DataFrame_OBJ.Technologie1.Ilike ('Php')).zeigen()
#Check für String- PHP in der technologischen Spalte1 -Spalte und Return Zeilen mit Technology1 - PHP.
print ("-------- Verwenden von Filter () Klausel --------")
DataFrame_OBJ.filter (DataFrame_OBJ.Technologie1.Ilike ('Php')).zeigen()

Ausgang:

Erläuterung
Sie können sehen, dass PHP in der Spalte Technology1 nicht zu finden ist. Aber ilike () ist unempfindlich. Also braucht es PHP und PHP als gleich. Also wurden die Zeilen zurückgegeben.

Abschluss

In diesem PYSPARK. Die Funktionen von Like () und Ilike () werden verwendet, um zu überprüfen. Der Unterschied ist wie () ist Fallempfindlichkeit und Ilike () ist unempfindlich.