Brand
Symbolbild Cloud Mates-Blog: Mann macht mit seinem Smartphone ein Bild von einem Berg

Blog

aws-transfer-family_01.jpg
AWSStorage

AWS Transfer Family: SFTP, aber einfach

Dennis Kögel, Cloud Architect, 03.02.2021

Der Datenaustausch per SFTP ist in vielen Umgebungen eine ungeliebte Notwendigkeit. Die AWS Transfer Family bietet eine charmante Lösung, um dieses altbackene Verfahren nahtlos in die Cloud zu überführen.

Hintergrund: SFTP

Viele Organisationen müssen Daten mit Dritten wie Dienstleistern, Lieferanten oder Kunden austauschen. Meist geht es dabei um maschinenlesbare Daten – Produkt- und Teilekataloge, Preislisten, Analysedaten, wissenschaftliche Datensätze und andere Datenbankabzüge sind klassische Beispiele für externe Daten, die auf Empfängerseite weiterverarbeitet und zum Anreichern der eigenen Daten benutzt werden.

Das File Transfer Protocol (FTP) war lange Zeit der Standard, um solche Daten zwischen Organisationen über das Internet auszutauschen. Später wurden stattdessen oft SFTP (eine FTP-artige Erweiterung für SSH) oder seltener FTPS (FTP über SSL/TLS) eingesetzt, da FTP den aktuellen Sicherheitsanforderungen nicht mehr genügte.

Moderne Software setzt hier üblicherweise auf einen HTTP-basierten Austausch. Es gibt jedoch unzählige Anwendungen, die noch auf den klassischen Protokollen basieren.

Die Prozesse zum Erzeugen und Verarbeiten der Daten sind oft notdürftig programmiert und gepflegt, weil es meist keine Standardlösung für die Anforderungen gibt.

Alte und neue Welt

Die Transfer Family kombiniert einen SFTP-, FTP- oder FTPS-Dienst mit einer Datenspeicherung in Amazon S3. Damit baut Transfer Family eine elegante Brücke in die Cloud-Welt, da S3 der Dreh- und Angelpunkt für Daten in AWS ist. Dank S3 lassen sich ganz einfach Automatismen definieren, beispielsweise um hochgeladene Daten direkt per SQL abzufragen (Amazon Athena), mit dem Data Warehouse zu verbinden (Amazon Redshift bzw. Redshift Spectrum) oder zum Anlernen von Machine Learning-Modellen (Amazon SageMaker). Frei definierbare Aktionen sind ebenfalls möglich (S3 Event Notifications mit Lambda, SQS oder SNS). Und umgekehrt stehen durch diese Optionen exportierte Daten direkt auch per SFTP & Co. zur Verfügung.

Als weitere Speicheroption steht seit Januar 2021 auch EFS zur Verfügung, was nach meiner Meinung jedoch wenig Vorteile bietet.

Nahtloser Übergang

AWS Transfer Family ermöglicht einen nahtlosen Wechsel von einem bestehenden System in die AWS Cloud. So kann der bisherige DNS-Name des Dienstes weiterverwendet werden und sogar die kryptographische Identität des bestehenden Systems kann übernommen werden (SSH Host Private Key für SFTP / TLS-Zertifikat für FTPS).

Einfache Benutzerverwaltung

Die eingebaute Benutzerverwaltung separat von allen anderen AWS-Diensten – es findet also keine Vermischung mit IAM- oder Directory-Benutzern statt. Die Benutzer und Gruppen können bequem über die Web-Oberfläche in der AWS Console gepflegt werden.

Für komplexe Anforderungen können dank einer flexiblen Schnittstelle beliebige Anmeldemechanismen eingebunden werden; es gibt fertige Vorlagen für den AWS Secrets Manager und den Drittanbieter Okta.

Die eingebaute Benutzerverwaltung funktioniert jedoch nur für einen reinen SFTP-Dienst und nur mit SSH-Schlüsseln – Zugänge mit Passwörtern sind nicht möglich. Bei FTP- und FTPS-Diensten kann die eingebaute Benutzerverwaltung nicht verwendet werden.

Preisgestaltung

Die Abrechnung von AWS Transfer Family erfolgt pro Stunde und pro Endpunkt. Für einen rund um die Uhr betriebenen SFTP-Server kommen pro Monat etwa $225 zusammen. Betreibt man beispielsweise SFTP und FTPS für einen ganzen Monat, so sind etwa $450 fällig. Außerdem kommt noch ein Aufschlag pro GB Datenverkehr hinzu (zusätzlich zu den üblichen Kosten für Datenverkehr auf AWS).

Das klingt erst einmal teuer – im Vergleich zur manuellen Pflege eines hochverfügbaren Dienstes sowie der verschiedenen Datenanbindungen zu Quell- und Zielsystemen relativiert sich das aber etwas. Zudem ist S3 als Datenspeicher wesentlich günstiger als klassische VM-basierte Datenspeicherung mit EBS (insbesondere mit S3 Intelligent Tiering).

Vor- und Nachteile

 Elegante Brücke zwischen althergebrachten FTP/SFTP-Prozessen und Cloud-Speicher

 Weiterverarbeitung der Daten durch andere AWS-Dienste dank S3 sehr einfach

 Web-Oberfläche für die Benutzerverwaltung

 Flexible Anbindung weiterer Anmeldeoptionen

 Einfaches "drop-in replacement" für bestehende Dienste

 Hochverfügbar

 Skaliert automatisch

 Optionale Bereitstellung innerhalb eines VPC (für rein interne Dienste)

 Preisgestaltung schließt einige Anwendungsfälle aus

 Keine einfache Anbindung üblicher Anmeldungsdienste (Active Directory, Amazon Cognito etc.)

 Noch nicht in allen Regionen verfügbar

 
Mehr zum Thema? Kontaktieren Sie uns!     

  Zurück