AWS Transfer Family: Eleganter FTP/SFTP-Datenaustausch
AWS Transfer Family: Eleganter FTP/SFTP-Datenaustausch
Dennis Kögel, Cloud Architect, 03.02.2021
Der Datenaustausch per SFTP ist in vielen IT-Umgebungen eine ungeliebte Notwendigkeit. Amazon Web Services bietet eine charmante Lösung, um dieses altbackene Verfahren nahtlos in die Cloud zu überführen: Die AWS Transfer Family beinhaltet nun auch einen SFTP-Dienst.
Hintergrund: So funktioniert SFTP
Viele Unternehmen tauschen täglich Daten mit Dritten aus: Dienstleister, Lieferanten oder auch ihren Kunden. Meist handelt es sich dabei um maschinenlesbare Daten. Produkt- und Teilekataloge, Preislisten, Analysedaten, wissenschaftliche Datensätze und andere Datenbankabzüge sind klassische Beispiele für externe Daten, die von Firmen weiterverarbeitet und zum Anreichern der eigenen Daten benutzt werden.
Das File Transfer Protocol (FTP) galt lange Zeit als Standard, um solche Daten zwischen Organisationen über das Internet auszutauschen. Nachdem FTP den gestiegenen Anforderungen an IT-Security nicht mehr genügte, wurden stattdessen oft SFTP (eine FTP-artige Erweiterung für SSH) oder seltener FTPS (FTP über SSL/TLS) eingesetzt.
Moderne Software setzt in diesem Anwendungsfall üblicherweise auf einen HTTP-basierten Datenaustausch. Allerdings gibt es über alle Branchen hinweg unzählige Anwendungen, die noch mit klassischen, FTP-basierten Protokollen arbeiten.
Erschwerend kommt für IT-Abteilungen hinzu, dass die Prozesse zum Erzeugen und Verarbeiten der Daten oft nur notdürftig programmiert und gepflegt sind. Das liegt daran, dass es meist keine Standardlösung für die individuellen Anforderungen des jeweiligen Unternehmens gibt.
Mit der AWS Transfer Family von der alten in die neue IT-Welt
Die AWS Transfer Family kombiniert SFTP-, FTP- oder FTPS-Dienste mit einer Datenspeicherung in Amazon S3. Damit baut die Transfer Family eine elegante Brücke für die Datenübertragung in die Cloud-Welt: Amazon S3 ist der Dreh- und Angelpunkt für Daten in AWS.
Dank Amazon S3 können Unternehmen ganz einfach Automatismen definieren, beispielsweise um hochgeladene Daten direkt per SQL abzufragen (Amazon Athena), mit dem Data Warehouse zu verbinden (Amazon Redshift bzw. Redshift Spectrum) oder zum Anlernen von Machine Learning-Modellen (Amazon SageMaker). Frei definierbare Aktionen sind ebenfalls möglich (z. B. S3 Event Notifications mit Lambda, SQS oder SNS). Auch umgekehrt stehen durch diese Optionen exportierte Daten per AWS SFTP & Co. direkt zur Verfügung.
Als weitere Speicheroption steht seit Januar 2021 auch EFS zur Verfügung, was in unseren Augen jedoch wenig Vorteile bietet.
NAHTLOSER ÜBERGANG in die AWS-Cloud
Mit der AWS Transfer Family ermöglicht Amazon Web Servies Unternehmen nun auch für FTP- und SFTP-Systeme eine nahtlose Migration in die Public Cloud. Auf diese Weise können insbesondere wichtige Merkmale des bestehenden Systems übernommen werden. Dazu gehören beispielsweise der bisherige DNS-Name des Dienstes und sogar die kryptographische Identität (der SSH Host Private Key für SFTP bzw. das TLS-Zertifikat für FTPS).
EINFACHE BENUTZERVERWALTUNG
Die in der AWS Transfer Family eingebaute Benutzerverwaltung funktioniert separat von allen anderen AWS-Diensten. Entsprechend findet also keine Vermischung mit IAM- oder Directory-Benutzern statt. Stattdessen können Firmen die Nutzer und Gruppen in ihrer Cloud bequem über die Web-Oberfläche der AWS-Console pflegen. Für komplexe Anforderungen können dank einer flexiblen Schnittstelle beliebige Anmeldemechanismen eingebunden werden. Dazu gibt es fertige Vorlagen für den AWS Secrets Manager sowie den Drittanbieter Okta.
Allerdings funktioniert die Benutzerverwaltung der AWS Transfer Family nur für einen reinen SFTP-Dienst und ausschließlich mit SSH-Schlüsseln. Zugänge mit Passwörtern sind nicht möglich. Bei FTP- und FTPS-Diensten kann die native Benutzerverwaltung hingegen nicht verwendet werden.
VOR- UND NACHTEILE der Datenübertragung mit AWS Transfer Family
Vorteile
elegante Brücke zwischen althergebrachten FTP/SFTP-Prozessen und Cloud-Speicher
einfache Weiterverarbeitung der Daten durch andere AWS-Dienste dank S3
Web-Oberfläche für die Benutzerverwaltung
flexible Anbindung weiterer Anmeldeoptionen
einfaches „drop-in replacement“ für bestehende Dienste
hochverfügbar
optionale Bereitstellung innerhalb eines VPC (für rein interne Dienste)
Nachteile
Preisgestaltung schließt einige Anwendungsfälle aus
komplizierte Anbindung üblicher Anmeldungsdienste wie Active Directory, Amazon Cognito etc.
noch nicht in allen Regionen weltweit verfügbar
So ist die PREISGESTALTUNG
Die Abrechnung von AWS Transfer Family erfolgt pro Stunde und pro Endpunkt. Für einen rund um die Uhr auf AWS betriebenen SFTP-Server kommen pro Monat etwa $225 zusammen. Betreibt man beispielsweise AWS SFTP und FTPS für einen ganzen Monat, so sind etwa $450 fällig. Zudem kommt noch ein Aufschlag pro GB Datenverkehr hinzu – zusätzlich zu den üblichen Kosten für Datenverkehr auf AWS.
Auf den ersten Blick sieht das teuer aus. Doch im Vergleich zum Aufwand der manuellen Pflege eines hochverfügbaren Dienstes sowie der verschiedenen Datenanbindungen zu Quell- und Zielsystemen relativiert sich das schnell. Zudem ist Amazon S3 als Datenspeicher wesentlich preiswerter, als eine klassische VM-basierte Datenspeicherung mit EBS (insbesondere mit S3 Intelligent Tiering).
Das Cloud Mates-Fazit zum SFTP-Datenaustausch mit AWS Transfer Family
Aus unserer Erfahrung heraus können wir Cloud Mates die AWS Transfer Family als elegante Lösung für den Datenaustausch mit der Public Cloud empfehlen. Ob sich diese Anwendung – gerade im Preis-Leistungs-Verhältnis – auch für Ihr IT-Projekt eignet? Wir beraten Sie gerne gerne individuell.