So erstellen Sie die Bestandskonfiguration im S3 -Bucket
Amazon S3 -Inventar kann konfiguriert werden, um Berichte für bestimmte S3 -Objekte zu generieren, indem das Präfix angegeben wird. Das Inventar kann dann in das gleiche Konto oder ein anderes Konto an den Zielbuckel gesendet werden. Mehrere S3 -Inventare können auch für denselben S3 -Bucket mit unterschiedlichen S3 -Objektpräfixen, Zielschalen und Ausgabedateitypen konfiguriert werden. Außerdem können Sie angeben, ob die Bestandsdatei verschlüsselt wird oder nicht.
In diesem Blog wird sehen, wie Inventar im S3 -Bucket mit der AWS -Verwaltungskonsole konfiguriert werden kann.
Erstellen der Bestandskonfiguration
Melden Sie sich zunächst in die AWS -Verwaltungskonsole an und gehen Sie zum S3 -Dienst.
Gehen Sie aus der S3 -Konsole zu dem Eimer, für den Sie das Inventar konfigurieren möchten.
Im Eimer gehen Management Tab.
Scrollen Sie nach unten und gehen Sie zur Bestandskonfiguration Abschnitt. Klick auf das Erstellen Sie die Bestandskonfiguration Schaltfläche zum Erstellen der Bestandskonfiguration.
Es wird eine Konfigurationsseite geöffnet, um das Inventar zu konfigurieren. Fügen Sie zunächst den Namen der Bestandskonfiguration hinzu, die innerhalb des S3 -Eimers eindeutig sein muss. Geben Sie dann das S3 -Objektpräfix an, wenn Sie das Inventar auf bestimmte S3 -Objekte beschränken möchten. Um alle Objekte im S3 -Eimer abzudecken, lassen Sie die Präfix Feld leer.
Für diese Demo werden wir den Inventarbereich mit dem Präfix auf das Objekt einschränken Server-Logs.
Außerdem kann die Bestandskonfiguration auf die aktuelle Version beschränkt werden, oder die vorherige kann auch unter das Inventar abgedeckt werden. Für diese Demo werden wir den Bestandsumfang nur auf die aktuelle Version beschränken.
Nach Angabe des Bestandsumfangs werden nun die Berichtsdetails gefragt. Der Bericht kann im oder über das Konto auf dem Bestimmungs -S3 -Eimer gespeichert werden. Wählen Sie zunächst aus, ob Sie die Bestandsberichte im S3 -Eimer im selben oder anderen Konto speichern möchten. Geben Sie dann den Namen des Zielbuckets ein oder stöbern Sie in S3 -Eimer aus der Konsole.
Eine Bucket -Richtlinie wird automatisch zum Zielbuckel hinzugefügt, wodurch der Quellbucket Daten in den Zielbuckel schreiben kann. Die folgende Bucket -Richtlinie wird für diese Demo zum Ziel S3 Eimer hinzugefügt.
Nach Angabe des Ziels S3 -Bucket für den Inventarbericht geben Sie nun den Zeitraum an, an dem der Inventarbericht erstellt wird. AWS S3 Bucket kann so konfiguriert werden, dass tägliche oder wöchentliche Inventarberichte erstellt werden. Für diese Demo werden wir die Option Daily Report Generation auswählen.
Die Option zur Ausgabebildung gibt an, in welchem Format die Bestandsdatei generiert wird. AWS S3 unterstützt die folgenden drei Ausgangsformate für Inventar.
- CSV
- Apache Orc
- Apache -Parkett
Für diese Demo werden wir das CSV -Ausgangsformat auswählen. Der Status Die Optionen legt den Status der Bestandskonfiguration fest. Wenn Sie die S3 -Inventarkonfiguration gleich nach dem Erstellen aktivieren möchten, setzen Sie diese Option auf Ermöglichen.
Die generierten Bestandsberichte können auf der serverseitigen Verschlüsselung verschlüsselt werden Serverseitige Verschlüsselung Möglichkeit. Sie müssen entweder den KMS-Schlüssel oder den kundenverwalteten Schlüssel auswählen, wenn dies aktiviert ist. Für diese Demo werden wir die serverseitige Verschlüsselung nicht aktivieren.
Sie können den generierten Inventarbericht auch anpassen, indem Sie dem Bericht zusätzliche Felder hinzufügen. AWS S3 Inventory bietet die Konfiguration, um den Inventarberichten zusätzliche Metadaten hinzuzufügen. Unter dem Weitere Felder Abschnitt wählen Sie die Felder aus, die Sie dem Inventarbericht hinzufügen möchten. Für diese Demo werden wir keine zusätzlichen Felder auswählen.
Klicken Sie nun auf die erstellen Schaltfläche unten auf der Konfigurationsseite, um die Bestandskonfiguration für den S3 -Bucket zu erstellen. Es erstellt die Bestandskonfiguration und fügt dem Zielbucket eine Bucket -Richtlinie hinzu. Gehen Sie zum Zielbucket, indem Sie auf die Ziel -Eimer -URL klicken.
Gehen Sie im Ziel des Ziels S3 zum Eimer Berechtigungen Tab.
Scrollen zum nach unten zum Eimerpolitik Abschnitt, und es gibt eine S3 -Bucket -Richtlinie, mit der der Quelle S3 Bucket Bestandsberichte an den Ziel S3 -Bucket übergeben kann.
Gehen Sie nun zum Quell S3 -Eimer und erstellen Sie a Server-Logs Verzeichnis. Laden Sie eine Datei mit der AWS S3 -Konsole in das Verzeichnis hoch, indem Sie die AWS S3 -Konsole verwenden.
Nach dem Hochladen der Datei auf den Quell S3 -Bucket kann es bis zu 48 Stunden dauern, bis der erste Inventarbericht erstellt wurde. Nach dem ersten Bericht wird der nächste Bericht durch den von Ihnen angegebenen Zeitraum in der Bestandskonfiguration generiert.
Inventar vom Ziel S3 Bucket lesen
Gehen Sie nach 48 Stunden der Konfiguration des Inventars für den S3 -Eimer zum Ziel S3 -Eimer, und der Inventarbericht wird für den S3 -Eimer generiert.
Die Berichte für das Inventar werden in einer bestimmten Verzeichnisstruktur im S3 -Ziel -Eimer generiert. Um die Verzeichnisstruktur anzuzeigen, laden Sie das Berichtsverzeichnis herunter und führen Sie das aus Baum Befehl im Berichtsverzeichnis.
Ubuntu@Ubuntu: ~ $ CD LinuxHint-Demo-Bucket
Ubuntu@Ubuntu: ~ $ Tree .
Der Demo-Inventory-Config Verzeichnis (benannt nach dem Bestandskonfigurationsnamen) innerhalb der LinuxHint-Demo-Bucket (benannt nach Quelle S3 Bucket Name) enthält alle Daten, die sich auf den Inventarbericht beziehen.
Der Daten Das Verzeichnis enthält die im Gzip -Format komprimierten CSV -Dateien. Entpacken Sie eine Datei und katieren Sie sie im Terminal.
Ubuntu@Ubuntu: ~ $ Gunzip
Ubuntu@Ubuntu: ~ $ cat
Die Verzeichnisse im Demo-Inventory-Config-Verzeichnis, das nach dem Datum, an dem sie erstellt werden, benannt sind, enthalten die Metadaten der Bestandsberichte. Benutze die Katze Befehl, das Manifest zu lesen.JSON -Datei.
ubuntu@ubuntu: ~ $ cat 2022-02-17t00-00z/manifest.JSON
Ebenso die Bienenstock Das Verzeichnis enthält Dateien, die auf den Bestandsbericht eines bestimmten Datums verweisen. Benutze die Katze Befehl zum Lesen eines der Symlink.TXT -Dateien.
Ubuntu@ubuntu: ~ $ cat hive/dt \ = 2022-02-17-00-00/symlink.txt
Abschluss
AWS S3 bietet eine Bestandskonfiguration zum Verwalten des Speichers und zum Generieren von Prüfungsberichten. S3 -Inventar kann für bestimmte S3 -Objekte konfiguriert werden, die vom S3 -Objektpräfix angegeben wurden. Außerdem können mehrere Bestandskonfigurationen für einen einzelnen S3 -Bucket erstellt werden. Dieser Blog beschreibt das detaillierte Verfahren zum Erstellen von S3 -Inventarkonfigurationen und das Lesen der Bestandsberichte aus dem S3 -Zielbuckel.