Installieren Sie Apache Spark unter Windows Top 10

Während der Arbeit mit Programmierdaten ist es für Webentwickler in der Regel ziemlich schwierig, eine so große Datenmenge zu verarbeiten. Zusammen mit dem arbeiten Sie manchmal dazu, gleichzeitig an verschiedenen Programmiersprachen zu arbeiten, um Ihr System zu entwerfen. In solchen Situationen müssen Sie möglicherweise eine immense Menge an Code durchlaufen und ihn verarbeiten. Daher benötigen wir ein System, um unsere Arbeitsbelastung zu verarbeiten, ohne den gesamten Prozess des gesamten Systems durchzuführen. Apache Spark bietet uns die Möglichkeit, mit vielen Sprachen gleichzeitig zu arbeiten, wie Java, R, Python und Scala. Außerdem verbirgt es die komplexe Verarbeitung und ermöglicht es uns, mit weniger Codes zu arbeiten. Diese Anleitung unterstützt Sie bei der Installation des Apache -Hai unter Windows 11.

Java installieren:

Download und installieren Sie die neueste Version von Java, beginnend mit dem Start Ihres am meisten verwendeten Browsers und installieren Sie sie. Suchen Sie hier. Laden Sie auf der folgenden Seite die neueste Java -Version gemäß Ihren Systemspezifikationen herunter.

Führen Sie die heruntergeladene "JRE" -Datei mit der Option "AS Administrator" aus. Nachdem Sie diese heruntergeladene "JRE" -Datei ausgeführt haben, werden Sie mit einem neuen Fenster angezeigt, das unten gezeigt wurde. Sie müssen dem Lizenzvertrag von Java zustimmen, um ihn zu installieren. Tippen Sie also auf die Schaltfläche „Installieren“, um fortzufahren.

Das Java -Installations -Setup beginnt mit der Installation auf unserem Windows 11 -Betriebssystem.

Drücken Sie nach Abschluss der Installation von Java die Schaltfläche „Schließen“, um das Fenster zu schließen.

Wenn Sie die Version von Java in der Eingabeaufforderung überprüfen.

Python installieren:

Es ist Zeit, die neueste Version von Python auf unserem Windows 11 -Betriebssystem zu installieren. Ohne Python funktioniert unser Apache -Funken möglicherweise nicht. Gehen Sie daher mit Ihrem Browser auf die offizielle Website von Python und navigieren Sie zu seiner Download -Seite. Sie werden die neueste Veröffentlichung von Python gezeigt. Tippen Sie auf den empfohlenen Link, um ihn auf Ihrem System herunterzuladen.E, Windows 11.

Führen Sie die heruntergeladene "Python" EXE -Datei aus und warten Sie, bis sie mit dem Installationsfortschritt beginnt.

Das Installationsfenster von Python wird angezeigt und zeigt uns die Informationen zu seiner Installation. Sie müssen die Option "Jetzt jetzt installieren" aus den verfügbaren Optionen verwenden. Markieren Sie nicht das „Python 3 hinzufügen 3.20 -to -Pfad -Kontrollkästchen. Die Installation würde danach gestartet werden.

Nach einer Weile wird der Python erfolgreich installiert und Sie können das unten gezeigte Installationsfenster mit der Taste „Schließen“ rechts unten schließen.

Verwenden des Versionsbefehls für Python auf der Eingabeaufforderung sehen Sie die installierte Version von Python, i.e., Python 3.10.6.

Download Spark:

Nach den erfolgreichen Installationen von Java und Python ist unser System jetzt bereit, Spark zu installieren. Laden Sie es zuerst von seiner offiziellen Website herunter. Wählen Sie sicher, dass Sie die neueste Version und die Option „Vorgefertigt für Apache Hadoop 3.3 und ändern Sie “aus der Dropdown-Liste und einzelner Klicken auf die Datei„ TGZ “vor der dritten Zeile, i.e., "Download Spark".

Sie werden zu einer anderen Seite umgeleitet, auf der Sie die Spiegeldatei für Spark gemäß Ihrer Wahl auswählen können. Wir empfehlen, den ersten Link im Bild unten zu verwenden.

Nachdem die Spark „TGZ“ -Datei heruntergeladen wurde, ist es Zeit, sie für die Installation zu verwenden.

Überprüfen Sie die Spark -Datei:

Um die Zuverlässigkeit Ihrer heruntergeladenen Software zu überprüfen. Es wird die Integrität der Datei sicherstellen, indem sie ihre Prüfsumme aus der Option „Prüfsums“ in Zeile 4 der Download -Seite verwendet. Sie müssen den Pfad Ihrer Datei in diesem Befehl mit der Option "-HashFile" angeben. Die Ausgabe zeigt seine Prüfsumme zusammen mit der erfolgreichen Abschlussnachricht für diesen Befehl an. Sie können es bestätigen, indem Sie die Download -Seite besuchen.

Apache Spark installieren:

Danach müssen Sie einen neuen Ordner für einen Funken in Ihrem Root -Ordner erstellen, in dem Sie dazu neigen, das Betriebssystem und andere auch zu installieren, ich.e., "C" -Antrieb. Verwenden Sie also den Befehl "mkdir", um einen "Funken" -Forder darin zu erstellen.

Öffnen Sie nun Ihr C -Laufwerk und navigieren Sie im Ordner "Spark". Sie müssen die heruntergeladene "Spark" -Itr -Datei darin extrahieren, wie im Bild gezeigt.

Fügen Sie Winutils hinzu.EXE -Datei:

Öffnen Sie die GitHub -Seite mit dem „Pfad“ aus dem Bild unten und tippen Sie auf „Winutils.exe ”. Ein weiterer Bildschirm wird angezeigt, und Sie müssen die Schaltfläche „Download“ schlagen, um ihn zu erhalten.

Sie müssen den Ordner "Hadoop" im "C" -Vertrieb erstellen und über die MKDIR -Abfrage einen "Bin" -Firde darin erstellen.

Platzieren Sie die heruntergeladenen „Winutils.EXE ”-Datei in dem neu erstellten Ordner„ Hadoop \ bin “.

Konfigurieren von Umgebungsvariablen für Spark:

Es ist Zeit, unseren Umgebungsvariablen Funken, Hadoop und Java hinzuzufügen. Suchen Sie also nach dem Schlüsselwort „Umgebung“ in der Suchleiste und tippen Sie auf das Tool "Die Systemumgebungsvariablen bearbeiten".

Das Fenster mit dem Namen "Systemeigenschaften" wird auf Ihrem Bildschirm geöffnet. Klicken Sie aus dem folgenden Abschnitt auf die Schaltfläche „Umgebungsvariablen…“, um fortzufahren.

Sie können alle dort aufgeführten Systemvariablen sehen. Tippen Sie auf die Schaltfläche „Neu“, um zuerst eine frische Umgebung zu erzeugen.

Ein Dialog mit "Benutzervariable bearbeiten" wird in einem Moment angezeigt, und Sie müssen eine Variable "spark_home" mit dem Pfad des Spark -Ordners als variabler Wert benennen, i.e., „C: \ Spark \ Spark-3.3.0-bin-hadoop3 ”. Wenn Sie auf die Schaltfläche „OK“ klicken, wird eine neue Umgebungsvariable in einem System festgelegt.

Sie sehen eine Variable mit dem Namen "Spark_Home" im Bereich Benutzervariablen. Tippen Sie auf die Variable mit dem Namen "Pfad" und zerschlagen Sie die Schaltfläche "Bearbeiten".

Ein Bildschirm „Umgebungsvariable bearbeiten“ wird geöffnet. Klicken Sie auf die Schaltfläche „Neu“, um den Pfad der Variablen hinzuzufügen. Erwägen Sie, den variablen Namen %spark_home %"mit dem Ordner" \ bin "zu verwenden.

Erstellen Sie in ähnlicher Weise eine neue Variable für „Hadoop“.

Erstellen Sie dann auch eine neue Variable für "Java" und tippen Sie auf "OK".

Tippen Sie auf die gleiche Weise auf die Variable „Pfad“ und fügen Sie einen Pfad für die Variablen "Java" und "Hadoop" hinzu, die wir gerade erstellt haben.e. Verwenden der Variablennamen „%Hadoop_home%“ und „%Java_Home%“ mit dem Ordner "\ bin", wie auf dem Bildschirm unten angezeigt.

Starten Sie nun Ihre "CMD" -Anwendung als "Administrator" mithilfe der Auswahl „Ausführen als Administrator aus. Fügen Sie den unter-fein-Befehlspfad in seinem Abfragebereich mit der "Sparkshell" hinzu, um festzustellen, ob der Spark erfolgreich konfiguriert ist oder nicht. Ein neues Informationsflussfenster wird geöffnet und Sie müssen die Schaltfläche „Ermöglichen“ verwenden, um Zugriff zu erhalten. Wenn Ihre Eingabeaufforderung zusammen mit der installierten Version das Design -Design -Logo „Spark“ zeigt, ist der Spark vollständig konfiguriert und bereit für die Verwendung.

C: \ Spark \ Spark-3.3.0-bin-hadoop3 \ bin \ Sparkshell

Öffnen Sie Ihren bevorzugten Browser und geben Sie den Weg „Localhost: 4040/Jobs/“ ein. Die Webbenutzeroberfläche des Apache Spark wird angezeigt, wobei die Zusammenfassung Ihrer Systemereignisse angezeigt wird.

Abschluss:

Nachdem Sie diesen Handbuch durchlaufen haben, können Sie Apache Spark auf Ihrem Windows 11 -Betriebssystem verwenden, da wir jedes Bit der erforderlichen Konfiguration zum Einrichten von Apache Spark implementiert haben. Um sicherzustellen, dass Ihr Apache -Spark am Ende gut funktioniert, sollten Sie keinen einzigen Schritt im Handbuch hinterlassen, beginnend mit der Installation von Java, Python, Spark und dem Hinzufügen der Winutils.EXE -Datei und der wichtigste Teil beim Festlegen der Umgebungsvariablen.