Erste Schritte mit AWS EMR
Beginnen wir mit dem Amazon EMR -Dienst.
Erste Schritte mit AWS EMR
Amazon EMR ist ein Datenverwaltungsdienst, der verschiedene Frameworks für die Big -Data -Analyse verwendet, indem Cluster mithilfe von Amazon EC2 -Instanzen erstellt werden. Der Workflow wurde nachstehend erläutert:
Plan & konfigurieren: Um einen EMR -Cluster zu erstellen, muss der Benutzer den Speicher planen, der zum Verwalten von Big Data erforderlich ist, und dann die Frameworks auszuwählen, um Big Data zu analysieren.
Verwalten: Verwalten des Clusters kann durchgeführt werden, indem eine Verbindung zu ihm hergestellt und dann die Daten auf dem Cluster übermittelt werden, um die Ergebnisse zu überprüfen, bevor der Cluster beendet wird:
Aufräumen: Dieser Schritt dient zur Beendigung des Clusters und seiner Ressourcen. Es ist wichtig, da Leerlaufcluster den Benutzer viel kosten können:
Knoten in EMR
Ein EMR -Cluster ist eine Kombination von EC2 -Instanzen und jede Instanz wird als Knoten bezeichnet und seine Typen werden nachstehend erläutert:
Meisterknoten: Es ist der Hauptknoten oder der Leader -Knoten, der für die Verwaltung aller Ressourcen des Clusters verantwortlich ist.
Kernknoten: Es hostet Hadoop Distributed File Systems (HDFS) -Daten (Hadoop Distributed File System System) und führt die Aufgaben des primären Knotens aus und der primäre Knoten verwaltet Aufgaben für den Kernknoten.
Aufgabenknoten: Diese Knoten hosten keine Daten, aber sie führen Aufgaben für frühere Knoten aus und es handelt sich um einen Helferknoten, was bedeutet, dass es beim Starten des EMR -Clusters nicht obligatorisch ist:
EMR -Cluster erstellen
Um einen Cluster auf dem EMR -Dienst des AWS zu erstellen, besuchen Sie das EMR -Dashboard, indem Sie den Dienst von der Amazon -Konsole durchsuchen:
Auf dieser Seite wählen Sie “Cluster”Aus dem linken Feld und klicken Sie auf die“Cluster erstellen" Taste:
Klicken Sie auf der Cluster -Erstellungsseite auf die “Gehen Sie zur Voraboptionen" Verknüpfung:
Softwarekonfiguration: Auf der Seite Vorabeinstellungen kann der Benutzer verschiedene Open-Source-Datenverarbeitungsframeworks auswählen, und der Dienst bietet auch die Erstellung mehrerer Knoten in der EC2-Instanz an:
Hardwarekonfiguration: Auf dieser Seite kann der Benutzer die für den EMR -Cluster erforderlichen Ressourcen konfigurieren, die in der Cloud verfügbar sind:
Clusterknoten und Instanzen: Dieser Abschnitt bietet dem Benutzer die Konfiguration von Knotentypen, mit denen die EC2 -Instanzen mit der Konfiguration von Ressourcen erstellt werden:
Sicherheit: Wählen Sie auf der letzten Seite die EC2 Private Key Pair -Datei aus, die auf der Seite der Schlüsselpaar über das EC2 -Dashboard erstellt werden kann, um eine Verbindung zu den Knoten herzustellen:
Der EMR -Cluster wird auf seiner Seite angezeigt:
Sie haben erfolgreich einen EMR -Cluster auf AWS erstellt.
Abschluss
Der AWS EMR -Service wird verwendet, um Cluster zu erstellen, um die Speicher für Big Data zu planen, die mit Hilfe des verteilten Dateisystems verwendet werden sollen. Jeder Cluster wird mit mehreren Knoten (EC2 -Instanzen) erstellt, die an ihm angeschlossen sind, um die leere virtuelle Maschine in der Cloud zu erstellen und eine Verbindung zu stellen. Diese Cluster können verwendet werden, um Big Data in der Cloud zu verwalten, ohne dass Ressourcen von Ihrem System verwendet werden.