Seite 3: Auswertung und Einblicke

Inhaltsverzeichnis

Die Abbildungen 2 und 4 illustrieren den Durchsatz mit dem jeweiligen Benchmark (höhere Werte sind besser). Die Skalen der beiden Grafen lassen sich wegen der Unterschiede der Methodiken von TPC-H und TAPT nicht unmittelbar vergleichen. Insbesondere misst TPC-H Transaktionen (TXN), die sich über mehrere, teils länger laufende Operationen erstrecken, während TAPT leichtgewichtigere Operationen ermittelt. Für beide Benchmarks liegen OTC und AWS auf vergleichbarem Niveau, wobei AWS 87,5 % bzw. 97,6 % des Durchsatzes von OTC erreicht. In beiden Fällen bildet OVH das Schlusslicht, wegen der geringeren Ressourcen. MS Azure hingegen ist im Falle von TPC-H 24,8 % leistungsfähiger als OTC, während es im TAPT nur 49,1 % der Leistung von OTC erreicht – und damit leicht besser als OVH abschneidet.

Eine detaillierte, vergleichende Leistungsanalyse erfolgt in der Regel auch in Hinblick auf andere Parameter wie Latenz und deren Perzentile oder Speicherbedarf. Die Preis-Leistungs-Verhältnisse der vier Angebote sind in den Abbildungen 3 und 5 dargestellt (niedrigere Werte sind besser). Auch hier sind die Einheiten unterschiedlich. Während beim TPC-H die Kosten pro 10.000 Transaktionen dargestellt sind, zeigt das TAPT-Diagramm die Kosten pro eine Milliarde Operationen. Bei den TAPT-Ergebnissen zum Preis-Leistungs-Verhältnis liegen drei Angebote nah beieinander, mit leichten Vorteilen für AWS im Vergleich zu OVH und OTC. MS Azure dagegen ist pro Milliarde Transaktionen fast doppelt so teuer. Im Falle des TPC-H ist OVH trotz des geringsten absoluten Durchsatzes klarer Preis-Leistungs-Sieger, gefolgt von MS Azure, dem Wettbewerber mit dem größten absoluten Durchsatz. OTC und AWS liegen bei Durchsatz und Preis-Leistung nah beieinander, sind jedoch deutlich teurer als OVH und MS Azure.

Tabelle 1: Ausgewählte DBaaS-Angebote für PostgreSQL
	Open Telekom Cloud PostgreSQL RDS	AWS RDS for PostgreSQL	Azure Database for PostreSQL	OVH Managed PostgreSQL
Deployment
Cluster-Typen	Single, HA mit 2 Knoten	Single, HA mit 2 Knoten, HA mit 3 Knoten und Load Balancing	Single, HA mit 2 Knoten	Single, HA mit Knoten, HA mit 3 Knoten
Größte Instanz	60 vCPUs / 512 GB RAM / 4 TB Disk	128 vCPU / 4096 GB RAM / 65 TB Disk	64 vCPUs / 432 GB RAM /16 TB Disk	32 vCPUs / 120 GB RAM /5 TB Disk
Speicher-Typen	2	3	1	1
Auto-Scaling (Compute)	nein	nein	nein	nein
Auto-Scaling (Storage)	nein	ja	nein	nein
Auto-Tuning	nein	nein	ja	nein
Auto-Upgrade	nein	ja	ja	nein
Management
Interfaces	Web UI, REST API, CLI, SDK, Terraform, Ansible	Web UI, REST API, CLI, SDK, Terraform, Ansible	Web UI, REST API, CLI, SDK, Terraform	Web UI, REST API, CLI, SKD, Terraform
Backup	Scheduled, Manual	Scheduled	Continuous	Scheduled
DSGVO	Unternehmenssitz in Deutschland/EU, DSGVO-Richtlinie vorhanden	Unternehmenssitz in den USA (Cloud Act), DSGVO-Richtlinie vorhanden	Unternehmenssitz in den USA (Cloud Act), DSGVO-Richtlinie vorhanden	Unternehmenssitz in der EU, DSGVO-Richtlinie vorhanden
Zertifikate	>20	> 30	> 30	> 10

Tabelle 2: Kostenvergleich DBaaS-Angebote für PostgreSQL
	Open Telekom Cloud PostgreSQL RDS	AWS RDS PostgreSQL	Azure Database for PostgreSQL	OVH Managed PostgreSQL
Virtuelle Maschine	db.s1.4xlarge.pg 16 Kerne, 64 GB RAM	db.m5.4xlarge 16 Kerne, 64 GB RAM	D16ds_v4 16 Kerne, 64 GB RAM	DB1-300 8 Kerne, 30 GB RAM
Speicher	500 GB Ultra High I/O SSD 20.000 IOPS, 320 MB/s	500 GB GP3 12.000 IOPS, 500 MB/s	500 GB 18.000 IOPS, 384 MiB/ss	640 GB SSD
Monatliche Kosten inklusive Backup	1.332,50 €	1.209,80 €	1.166,54 €	472,24 €

Fazit

Obwohl die Auswertung aufgrund des vereinfachten Benchmarkings nur oberflächliche Ergebnisse liefert, zeigt sie deutlich die große Variabilität der Preisgestaltung und der Leistungsfähigkeit der Angebote. Eine Benchmark-basierte Auswertung erweist sich als hilfreich und notwendig, um eine fundierte, faktenbasierte Entscheidung bei der Wahl eines DBaaS treffen zu können. Teile der für diese Evaluation verwendeten Informationen sind als Open Data im Rahmen des benchANT DBaaS Navigators einsehbar. Die rohen Messdaten finden sich im zugehörigen GitHub-Repository.

Alle erwähnten Daten zu den DBaaS-Angeboten haben die Autoren mit größter Sorgfalt erhoben. Allerdings spiegelt insbesondere die volatile Preisgestaltung der Anbieter lediglich den Stand zum Zeitpunkt des Verfassens dieses Artikels wider.

Jörg Domaschka
forschte als promovierter Informatiker über 15 Jahre zu Cloud-Computing und DevOps. Dies treibt ihn an, moderne, automatisierte Lösungen für Probleme in IT-Anwendungen zu entwickeln.

Jan Ocker
hat nach dem Physikstudium Erfahrung im IT-Projektmanagement und der Datenanalyse gesammelt. Bei benchANT widmet er sich der (Cloud-)Kosten-Kalkulation und dem Database-as-a-Service-Markt.

Daniel Seybold
promovierte im Bereich verteilter Systeme und Datenbanken. Die Forschungsergebnisse legen den Grundstein für benchANT zur objektiven Leistungsbeurteilung von Cloud und Datenbanken.

(map)