SQL-Engine: Apache Drill 1.20 abwärtskompatibel zu Hadoop 2

Die Apache Software Foundation (ASF) hat Apache Drill 1.20 veröffentlicht. Die SQL-Query-Engine lässt sich mit NoSQL-Datenbanken und -Dateisystemen wie HBase, MongoDB, Amazon S3, Azure Blob Storage, Google Cloud Storage, NAS und lokalen Dateien nutzen. Die neue Minor-Version bringt Bugfixes, Usability-Neuerungen und Anbindung an Apache Phoenix mithilfe eines neuen Connectors. Neben Apache Hadoop 3 lässt sie sich auch mit dem älteren Apache Hadoop 2 einsetzen.

Kompatibel mit Apache Hadoop 2

Das Big-Data-Framework Apache Hadoop 2 erschien im Jahr 2013, vier Jahre danach stand Version 3 bereit. Nach Version 1.16 wechselte Apache Drill zu Hadoop 3 und war fortan nicht mehr mit Hadoop 2 kompatibel. Das hielt scheinbar einige Unternehmen, die Hadoop 2 nach wie vor im Einsatz haben, von einem Upgrade ab. In Zusammenarbeit mit Deutsche Bahn Cargo hat das Apache-Drill-Team daher im aktuellen Release eine Rückportierung zu Hadoop 2 eingeführt, sodass Hadoop-2-Nutzer nicht länger auf die zwei Jahre alte Version 1.16 zurückgreifen müssen.

Apache Phoenix, JDBC und neue Dateiformate

Apache Drill 1.20 lässt sich durch einen neuen Connector mit Apache Phoenix nutzen – einer relationalen, massiv-parallelen Open-Source-Datenbank-Engine. Mithilfe des Connectors sind aus Drill heraus Query- und Join-Funktionen für Daten von Apache Phoenix verfügbar. Neu in Apache Drill ist auch die Möglichkeit, Daten in relationale Datenbank-Managementsysteme (RDBMS) zu schreiben, die mit Java Database Connectivity (JDBC) konform sind. Dazu zählen Oracle, MySQL und PostgreSQL.

Als neue Dateiformate lassen sich in Drill das High-Performance-Format für analytische Datensätze Apache Iceberg sowie das SAS-Dateiformat nutzen. Dieses hat das SAS Institute entwickelt, das hinter der statistischen Software-Suite SAS steht.

Alle weiteren Informationen zum neuen Release bietet der Blog der Apache Software Foundation.

(mai)