So erstellen Sie S3 Batch -Betriebsjob

Ein Stapelbetrieb ist eine Aufgabe oder eine Aufgabe, die von einem System automatisch mit minimaler menschlicher Schnittstelle ausgeführt wird. Der Vorgang kann geplant werden, was bedeutet. Darüber hinaus ermöglicht es uns mit einer Stapeloperation, dieselbe Aufgabe auf einer großen Anzahl von Objekten auszuführen, anstatt sie nach einem einzelnen Objekt einzeln zu tun. Dies macht es für den Server sehr kostengünstig und zeitsparend.

Mit AWS können wir Stapelvorgänge für unsere S3 -Eimer erstellen, um Daten in großem Maßstab zu verarbeiten. Es verwaltet und verfolgt außerdem die Batch -Betriebsaufgaben und behält die Berichte über den Auftrag abgeschlossen. Die Dinge sind viel einfacher zu verwalten, da dies ein serverloser Dienst von AWS ist. Schauen wir uns an, wie Sie einen Batch -Operation -Job für unseren S3 -Eimer erstellen können.

Erstellen des S3 -Stapelbetriebs mit der Konsole

Jetzt werden wir sehen, wie man einen S3 -Stapel -Betriebsjob erstellt. Melden Sie sich also in Ihrem AWS -Konto an und erstellen Sie einen S3 -Bucket.

Um einen Batch -Betriebsauftrag zu erstellen, benötigen wir eine Manifestdatei der Daten, die wir mit diesem Job verwalten müssen. Um das Manifest zu generieren, gehen Sie mit der oberen Menüleiste in den Abschnitt "Management" in Ihrem S3 -Bucket.

Ziehen Sie im Abschnitt Verwaltungsabschnitt zu den Bestandskonfigurationen und klicken Sie auf Inventarkonfigurationen erstellen.

Im Abschnitt erstellen müssen Sie einen Namen für Ihre Bestandskonfiguration angeben.

Anschließend müssen Sie den Zielpfad auswählen, an dem Sie Ihre Inventarberichte speichern möchten. Sie müssen auch die Richtlinie beifügen, um die Erlaubnis zum Einfügen von Daten in den S3 -Eimer zu erteilen.

Sie können auch das Format der Manifestdatei ändern, wenn Sie möchten. Hier gehen wir mit CSV, da wir dies in einem Stapelvorgang nutzen möchten.

Der Benutzer kann angeben, welche Art von Informationen er in seinem Manifest -Bericht möchte und welche Objekte. AWS bietet mehrere Optionen wie Objekttyp, Speicherklasse, Datenintegrität und Objektsperrung.

Klicken Sie nun einfach in der Schaltfläche rechter Ecke auf die Schaltfläche Erstellen und erhalten Ihre Inventarkonfiguration für Ihren S3 -Bucket. Der Manifest -Bericht wird in 48 Stunden erstellt und im Zielbuckel gespeichert.

Als nächstes werden wir einen S3 -Batch -Job erstellen. Klicken Sie einfach im Abschnitt S3 auf die Stapeloperationen im rechten Menüfeld, um die Stapel -Betriebskonsole zu öffnen.

Hier müssen wir einen bestimmten Job für eine bestimmte Aufgabe erstellen, die wir mit unseren Objekten im S3 -Bucket ausführen möchten. Klicken Sie also auf den Job erstellen, um Ihren ersten S3 -Stapel -Betriebsjob zu erstellen.

Für die Schaffung von Arbeitsplätzen benötigen wir zunächst ein Manifest, das die Details zu den im Eimer gespeicherten Objekten enthält. Sie können ein Manifest in JSON oder CSV aus dem Abschnitt "Management" in Ihrem S3 -Eimer erstellen, aber das dauert einige Zeit, um den Bericht zu generieren. Daher klicken wir mit der S3 -Replikationskonfiguration auf das Manifest erstellen.

Wählen Sie den Quell -Eimer, für den Sie diesen Job erstellen werden. Der Eimer kann auch zu einem anderen AWS -Konto gehören.

Sie können das Manifest auch speichern, das schließlich für diesen Stapelvorgang erstellt wird. Sie müssen das Ziel angeben, an dem es gespeichert wird.

Jetzt können wir den Vorgang auswählen, den wir von unserem Stapelbetrieb ausführen sollen. AWS bietet mehrere Vorgänge wie Kopierobjekte, ruft Lambda -Funktionen auf, löschen Tags und viele andere. Ein Manifest, das mit der S3 -Replikationskonfiguration erstellt wurde, ermöglicht jedoch nur den Replikationsvorgang.

Als nächstes können Sie die Beschreibung des Stapelbetriebs bereitstellen und die Prioritätsstufe basierend auf Zahlen definieren. Hoher Wert bedeutet eine höhere Priorität.

Wenn Sie einen Job -Fertigstellungsbericht erhalten möchten, überprüfen Sie die Option zur Abschlussbericht für den Abschluss und geben Sie den Ort an, an dem er gespeichert wird.

Für Berechtigungen müssen Sie eine IAM -Rolle bei einer S3 -Batch -Operations -Richtlinie spielen, die Sie problemlos für Stapeloperationen im IAM -Abschnitt erstellen können.

Überprüfen Sie schließlich alle Einstellungen und klicken Sie auf den Job erstellen, um den Prozess abzuschließen.

Sobald es erstellt wurde, erscheint es im Jobabschnitt. Es kann einige Zeit dauern, bis die Operationen, die Sie für den Job ausgewählt haben. Danach können Sie es so ausführen, wie Sie möchten.

Wir haben also erfolgreich einen S3 -Stapel -Betriebsjob mit der AWS -Konsole erstellt.

Erstellen von S3 -Batch -Betrieb mit CLI

Lassen Sie uns nun sehen, wie Sie einen S3-Stapel-Betriebsauftrag über die AWS-Befehlszeilenschnittstelle konfigurieren. Konfigurieren Sie dafür die AWS -CLI -Anmeldeinformationen auf Ihrem Computer. Besuchen Sie den folgenden Blog, um die AWS -CLI -Anmeldeinformationen zu konfigurieren.

https: // linuxHint.com/configure-aws-cli-kredite/

Erstellen Sie nach dem Konfigurieren der AWS -CLI -Anmeldeinformationen einen S3 -Bucket mit dem folgenden Befehl im Terminal:

$: AWS S3API CREATE-BUCKET-BUCKET --Region

Dann müssen Sie den Stapelvorgang erstellen, den Sie auf Ihren Objekten ausführen möchten. Erstellen Sie also ein JSON -Dokument, definieren Sie die gewünschte Operation und geben Sie die erforderlichen Attribute des genannten Betriebs an. Im Folgenden finden Sie ein Beispiel für die S3 -Objekt -Tagging -Operation:

Wenn Sie als nächstes den Abschlussbericht Ihres Batch -Jobs erstellen möchten, müssen Sie das Ziel bereitstellen, diese Berichtsdatei zu speichern. Das Standard -JSON -Format dafür lautet wie folgt:

"Eimer": "",
"Format": "Report_csv_20180820",
"Aktiviert": True | FALSCH,
"Präfix": "",
"ReportScope": "Altasks | failedTaskssonly"

Anschließend müssen Sie die Manifestdatei mit der Metadaten aller in Ihrem S3 -Bucket gespeicherten Objekte bereitstellen, auf denen Sie den Stapelvorgang ausführen möchten. Sie müssen eine andere JSON -Datei mit den folgenden Attributen erstellen:

"Spec":
"Format": "s3batchoperations_csv_20180820"
"Fields": ["Bucket", "Key"]
,
"Standort":
"Objectarn": "",
"ObjektversionId": "",
"Etag": ""

Schließlich können wir unseren Stapelvorgang mit dem folgenden Befehl erstellen:

$: AWS S3CONTROL CREATE-JOB
--Account-ID
--Bestätigung erforderlich
--Operationsdatei:
--Datei melden://
--Manifestierte Datei: //--Rollen-Arn

Wir haben also erfolgreich einen Batch -Betriebsjob mit AWS CLI erstellt.

Abschluss:

Der S3 -Batch -Vorgang ist ein sehr hilfreiches Tool, wenn Sie eine große Anzahl von Objekten verwalten möchten. Batch -Jobs sind möglicherweise oft schwierig und komplex, um sich zum ersten Mal einzurichten. Sie können jedoch Ihre Anstrengungen, Kosten und Zeit problemlos reduzieren. Sie werden verwendet, um komplexe Algorithmen, sich wiederholende Aufgaben auszuführen, die Tabellenverbindungen in SQL -Datenbanken, auf eine Lambda -Funktion aufzurufen und eine REST -API aufzurufen. Sie müssen ledig. Häufige Beispiele für Stapeloperationen umfassen S3 -Objekt -Tagging, das Abrufen spezifischer Daten aus dem S3 -Glacier, das Übertragen von Daten von einem S3 -Bucket auf einen anderen, generierende Bankaussagen, Verarbeitungsanalyseberichte und Prognosen, Bestell -Fulfillment -Benachrichtigungen und E -Mail -Synchronisationssystem. Wir hoffen, Sie haben diesen Artikel hilfreich gefunden. Weitere Tipps und Tutorials finden Sie in den anderen Linux -Hinweisartikeln.