So erstellen Sie einen Rotverschiebungscluster auf AWS

Wir können Datenbanken verwenden, um strukturierte Datensätze zu speichern und zu verwalten, aber das reicht nicht für die Analyse und Entscheidungsfindung aus. Zu diesem Zweck müssen wir die erforderlichen Ergebnisse dieser Daten mithilfe von Data Warehousing extrahieren. Ein Data Warehouse ähnelt einer regulären SQL -Datenbank. Anstatt Zwecke zu speichern, sind sie jedoch so konzipiert, dass sie Analysen und Abfragen an den Daten ausführen. Mit diesem Zeitpunkt können wir in kurzer Zeit eine sehr große Menge an Daten lesen und Trends und Beziehungen zwischen ihnen untersuchen. In diesem Artikel werden wir Redshift diskutieren und wie es auf AWS erstellt werden kann.

Was ist Amazon Rotverschiebung

AWS RedShift ist ein Data Warehouse, das speziell für die Datenanalyse zu kleineren oder größeren Datensätzen verwendet wird. Es handelt sich um einen verwalteten Dienst von AWS, sodass Sie dies einfach in kurzer Zeit mit nur wenigen Klicks einrichten können. Um Rotverschiebung einzurichten, müssen Sie die Knoten erstellen, die sich zusammenschließen, um einen Rotverschiebungscluster zu bilden. Ein Cluster kann maximal 128 Knoten haben. Von diesem ist ein Knoten als Master -Knoten konfiguriert, der alle anderen Knoten verwalten und die abgefragten Ergebnisse speichern kann. Jeder Knoten kann bis zu 128 TB Daten benötigen, um zu verarbeiten. Mit Redshift können Sie Daten etwa zehnmal schneller abfragen als reguläre Datenbanken.

Normalerweise werden die analysierten Daten im S3 -Bucket oder in anderen Datenbanken platziert. Sie können die Daten jedoch auch direkt mit dem Rotverschiebungsspektrum in S3 abfragen. Darüber hinaus können Sie Kinesis Data Firehose- oder EC2 -Instanzen verwenden, um Daten in Ihren Rotverschiebungscluster zu schreiben.

Dieser Service ist nur auf den Betrieb in einer einzelnen Verfügbarkeitszone beschränkt. Sie können jedoch die Schnappschüsse Ihres Rotverschiebungsclusters aufnehmen und in andere Zonen kopieren. Dieser Prozess kann auch automatisiert werden, um bei der Katastrophenwiederherstellung zu helfen.

Im nächsten Abschnitt werden wir mithilfe der AWS-Verwaltungskonsole und der Befehlszeilenschnittstelle erstellen und konfigurieren.

Erstellen von Rotverschiebungscluster mit einer Konsole

Melden Sie sich zunächst mithilfe der AWS -Anmeldeinformationen in Ihrem AWS -Konto an und suchen Sie mit der oberen Suchleiste nach RedShift. Dies führt Sie zur Rotverschiebungskonsole.

Klick auf das Cluster erstellen Um einen neuen Rotverschiebungscluster zu erstellen.

Im Abschnitt Konfiguration müssen Sie die Kennung oder den Namen für Ihren Rotverschiebungscluster bereitstellen. Der Name des Rotverschiebungsclusters muss innerhalb der Region eindeutig sein und kann von 1 bis 63 Zeichen enthalten sein.

Nach der Bereitstellung der eindeutigen Cluster -Kennung wird gefragt, ob Sie zwischen Produktion oder freier Ebene wählen müssen. Um zusätzliche Kosten zu vermeiden.

Mit dem kostenlosen Tierart erhalten Sie einen DC2.Großer Rotverschiebungsknoten mit SSD -Speichertypen und Berechnung der Leistung von 2 VCPUs.

Mit der kostenlosen Stufe -Option lädt AWS einige Beispieldaten automatisch in Ihren Redshift -Cluster hoch, damit Sie über AWS -Rotverschiebung erfahren können.

Die von AWS hochgeladenen Beispieldaten werden als Tickit bezeichnet und verwendet eine Beispieldatenbank namens Tickit. Tickit enthält einzelne Beispieldatendateien: zwei Faktentabellen und fünf Dimensionen.

Nach dem Laden von Beispieldaten wird der Administrator -Benutzername und das Passwort zur Authentifizierung mit AWS -Rotverschiebung gefragt. Sie können entweder das Administratorkennwort selbst festlegen oder es kann automatisch generiert werden, indem Sie auf die Klicken auf die Automatisch erzeugen Passwort -Schaltfläche.

Nach der Bereitstellung des Administrator -Benutzernamens und des Passworts können wir unseren Cluster erstellen, indem wir auf die Klicken auf die Cluster erstellen in der unteren rechten Ecke.

Dadurch wird unser neuer Rotverschiebungscluster erstellt und die darin enthaltenen Beispieldaten geladen. Sie können Ihre verfügbaren Cluster in der Rotverschiebungskonsole sehen.

RedShift ist eine Art SQL-Datenbank, in der Analysen auf Datensätzen ausgeführt werden und SQL-Abfragen unterstützt werden. Um die Analyse mithilfe der Rotverschiebung auszuführen, wählen Sie den gewünschten Cluster aus und klicken Sie auf Abfragedaten Um eine neue Frage zu erstellen.

Um die Abfrage auszuführen, müssen Sie sich mit einem Rotverschiebungscluster verbinden. Um dies zu erreichen, wählen Sie die Option oben oben in der Option aus Abfragedaten Abschnitt.

Zunächst müssen Sie die Verbindung auswählen, die eine neue Verbindung ist, wenn Sie zum ersten Mal den Rotverschiebungscluster verwenden möchten. Mit dem Secrets Manager haben wir keinen Parameter für die Authentifizierung erstellt, daher wählen wir vorübergehende Anmeldeinformationen.

Als nächstes müssen wir den Cluster -Kennung, den Datenbanknamen und den Datenbankbenutzer auswählen. Klicken Sie danach in der unteren rechten Ecke auf eine Verbindung herstellen.

Wenn die Verbindung erfolgreich hergestellt wird, können Sie den Status „verbunden“ oben im Abschnitt Abfragedaten ansehen.

Nach der erfolgreichen Verbindung können Sie einfach Ihre SQL -Abfrage mit dem bereitgestellten Editor schreiben. Wir werden eine neue Tabelle mit dem Titel erstellen Personen und fünf Attribute haben. Sobald Ihre Abfrage abgeschlossen ist, können Sie sie mit dem ausführen laufen Option unten.

Tischpersonen erstellen (
Personid int,
Lastname Varchar (255),
FirstName Varchar (255),
Adress varchar (255),
Stadtvarchar (255)
);

Wenn Sie auf die klicken Laufen Die Schaltfläche erstellt eine Tabelle mit dem Namen Personen mit den in der Abfrage angegebenen Attributen.

Das gesamte Datenbankschema ist auf der linken Seite im selben Abschnitt zu sehen. Sie können die neu erstellte Tabelle und ihre Attribute hier anzeigen:

Hier haben wir also gesehen, wie man einen Rotverschiebungscluster erstellt und Abfragen ausführt.

Erstellen von Rotverschiebungscluster mit AWS CLI

Jetzt werden wir sehen, wie die AWS-Befehlszeilenschnittstelle verwendet wird, um einen Rotverschiebungscluster zu konfigurieren. Sobald Sie sich an die Befehlszeile gewöhnt haben und Erfahrungen sammeln, finden Sie sie zufriedenstellender und bequemer als die AWS -Management -Konsole.

Zuerst müssen Sie AWS CLI in Ihrem System konfigurieren. Für die Anweisungen zum Einrichten von CLI -Anmeldeinformationen besuchen Sie den folgenden Artikel:

https: // linuxHint.com/configure-aws-cli-kredite/

Um einen neuen Rotverschiebungscluster zu erstellen, müssen Sie den folgenden Befehl mit der CLI ausführen:

$: AWS RedShift erstellen Cluster \
--Knoten-Typ \
--Cluster-Typ \
--Anzahl der Noten \
--Master-Unername \
--Master-User-Password < username password> \
--Cluster-Identifikator

Wenn der Cluster erfolgreich in Ihrem AWS -Konto erstellt wird, erhalten Sie eine detaillierte Ausgabe, wie im folgenden Screenshot gezeigt:

Ihr Cluster wird also erstellt und konfiguriert. Wenn Sie alle Rotverschiebungscluster in einem bestimmten Bereich anzeigen möchten, benötigen Sie den folgenden Befehl. Dadurch werden Sie die Details zu allen auf Ihrem AWS -Konto erstellten Cluster zur Verfügung gestellt.

$: AWS RedShift beschreiben Kluster

Schließlich haben wir gesehen, wie man mit der AWS CLI leicht einen Rotverschiebungscluster erstellt.

Abschluss

Amazon RedShift ist ein vollständig verwalteter Data Warehousing -Dienst. Es kann Backups im Falle eines Versagens für eine Katastrophenwiederherstellung bereitstellen und verfügt über eine hohe Sicherheit mit Verschlüsselung, IAM -Richtlinien und VPC. Es ist also ein sehr sicherer und zuverlässiger Service, der große Datensätze in schnellem Tempo analysieren kann.