Microsoft hat aktuell eine allgemein verfügbare Version von Azure Synapse Analytics angekündigt. Diese neue Plattform verspricht echte Mehrwerte im Bereich Datenanalyse.
Immer wieder gibt es bahnbrechende technologische Entwicklungen, die neue Perspektiven schaffen und dank derer ganz neue Arbeitsweisen entstehen, die vorher nicht möglich waren. Für die Big-Data-Welt kann die Ankündigung von Microsoft tatsächlich Neuzeit verheißen, denn diese Erweiterung der Azure-Plattform ist eine aufregende Technologie, die eine moderne, ausgefeilte End-to-End-Technologieplattform für Analysen mit umfassenden Funktionen bereitstellt. Azure Synapse Analytics eint vorhandene Microsoft-Technologien in einem einzigen Service, mit dem Sie aus Daten noch schneller und effektiver Mehrwert für Ihr Unternehmen schaffen können.
Skalierbares Data Warehousing auf der Microsoft-Plattform hat sich seit der Übernahme von DATAllegro durch Microsoft 2008 stark weiterentwickelt. Ursprünglich handelte es sich um eine Data-Warehouse-Lösung, die wie viele technische Lösungen auf dem Markt zunächst auf handelsüblicher OEM-Hardware lief und das Konzept des Massively Parallel Processing (MPP) auf der Microsoft-Plattform einführte. Vor zwölf Jahren (eine gefühlte Ewigkeit in der heutigen schnelllebigen Technologielandschaft) wurde SQL Server Parallel Data Warehouse (PDW) in seiner heutigen Form als vorgefertigte Lösung – als Data Warehouse für Rechenzentren – eingeführt.
2020 ist das Jahr der Cloud: Das SQL Server Data Warehouse wird in Azure inzwischen als Platform as a Service (PaaS) zur Verfügung gestellt. Für Unternehmen sind damit die Kosten für die Beschaffung und die Pflege der Hardware weggefallen. Sie können flexibel und elastisch auf Data-Warehouse-Workloads reagieren. Außerdem müssen sie keine große Einzellösungen mehr beschaffen und möglichst so kalkulieren, dass der Bedarf gedeckt, aber auch die Kosten gedeckelt sind. Mit einigen wichtigen Performance-Upgrades in der zweiten Generation von SQL DW hatte Microsoft damit ein führendes Produkt in Sachen Preis und Leistung entwickelt, das riesige Datenmengen extrem schnell verarbeiten konnte.
In der dritten Generation bietet Microsoft mit Azure Synapse Analytics einen neuen Ansatz für Data Warehousing und für den Analyseprozess allgemein eine End-to-End-Analyseplattform als einheitlichen Cloud-basierten Service. Die dafür erforderlichen Komponenten stellte Microsoft zwar bereits mit Azure Data Lake Store Gen 2, Azure Data Factory und Synapse Analytics Data Warehouse zur Verfügung, doch der neue Release von Synapse Analytics eint alles und bietet noch viel mehr.
Ein Feature, das zuerst auffällt, ist Synapse Studio. Es bietet eine einheitliche Benutzeroberfläche für den zentralen Zugriff auf Datenquellen, Pipelines und Programmiercode für Analysen und Transformationen. Es wurden aber nicht nur kosmetische Verbesserungen vorgenommen. Wenn wir uns die neue Version etwas genauer ansehen, finden wir eine Reihe von Analyse-Laufzeiten, SQL und Apache Spark. Dadurch ist eine größere Freiheit bei der Architektur von Lösungen für betriebliche Herausforderungen möglich. Die SQL-Laufzeit wird dediziert oder serverlos bereitgestellt und steht immer für Ad-hoc-Abfragen und ungeplante Workloads zur Verfügung. Schließlich ist dank der Interoperabilität von SQL und Spark mit dem Data Lake alles da, was Sie brauchen, um eine moderne Datenplattform in eine einheitliche Umgebung zu integrieren. So sind Ad-hoc-Explorationen und -Analysen sowohl strukturierter als auch unstrukturierter Daten in den Dateiformaten Parquet, CSV und JSON möglich
Synapse Analytics zeichnet sich auch durch die Architektur aus. Rechen- und Speicherarbeitslasten sind effektiv und funktional getrennt. Das bedeutet, dass Sie nur dann auf die Rechenservices zugreifen (und dafür bezahlen), wenn Sie diese benötigen. Wenn sie nicht verwendet werden, können sie pausiert werden. Dies ist insbesondere für Analysen notwendig, da dort die Arbeitslasten schwanken und es oft Spitzen gibt. Darüber hinaus setzt Synapse Technologien wie PolyBase ein, um auf Daten in externen Tabellen zuzugreifen. Dadurch ist eine noch höhere Gesamtskalierbarkeit der Lösung möglich. Die Speicherkapazität bei der effektiven Nutzung von Azure Data Lake Storage ist praktisch unbegrenzt, wodurch keine Investitionen in Speicherkapazitäten für den künftigen Bedarf mehr notwendig sind. Mit diesem dynamischen Kostenmanagement werden Analysen in großem Stil für viele Unternehmen finanzierbar, was angesichts des globalen Datenbooms immens wichtig ist.
Die Idee hinter Synapse Analytics
Einfach ausgedrückt: Synapse Analytics ist schnell, insbesondere sehr schnell bei der Bearbeitung von Datenabfragen. Einer der Hauptgründe ist die Engine für parallele Datenverarbeitung (MPP), wobei Abfragen auf verschiedene, parallel arbeitende Computing Nodes verteilt werden und Ergebnisse gebündelt über eine zentrale Steuereinheit liefern. Die für diese Berechnungen benötigten Daten können auch verteilt werden, sodass Abfragen weiter optimiert werden und die Leistung für sehr große Data-Warehouse-Workloads verbessert wird. Darüber hinaus können die Nodes in Synapse Analytics automatisch skaliert werden, um dynamischen Anforderungen gerecht zu werden. Sollten Sie eine höhere Leistung zu Spitzenlastzeiten benötigen, können Sie per Knopfdruck die Leistung für die Abfragen erhöhen.
Datenexperten bauen normalerweise Data Warehouses, damit Unternehmen eine zentrale Stelle für ihre Daten haben. Damit entsteht eine einheitliche und allgemein verständliche Basis, um die Performance eines Unternehmens zu beschreiben und geschäftliche Herausforderungen mit Daten zu lösen. Ein Trend, der in den letzten Jahren zu beobachten war, war die Fortsetzung dieses Ziels, aber angesichts der Konvergenz von Data Warehouses, Data Lakes und Datenintegration geschieht dies alles nun in der Cloud. Der Zugriff auf alle Daten und Analysen von einer einzigen Plattform aus, mit der mehrere geschäftliche Anforderungen gleichzeitig erfüllt werden können, ist das ultimative Ziel. Insights aus den Data-Science-Initiativen sind dabei parallel verfügbar zu den Analysen zur Information von Unternehmen, wie wir sie bereits kennen.
Dies in einer einzigen Plattform zu tun, ist tatsächlich schwieriger, als es klingt, da in hohem Maße gepflegte relationale Daten mit einer breiteren Palette von variablen und semistrukturierten Daten zusammengeführt und sinnvoll miteinander verbunden werden müssen. Eine weitere Herausforderung besteht darin, dass die Datenplattform in der Regel auf die Bedürfnisse mehrerer Gruppen von Spezialisten rund um Daten in einem Unternehmen eingehen muss, die alle über ihre eigenen Fähigkeiten verfügen und besondere Anforderungen an die Plattform haben, zum Beispiel Dateningenieure, -analysten, -wissenschaftler oder -journalisten. Diese Anforderungen sind oft gegensätzlich. So kann es sehr schwierig sein, eine einzige Toolumgebung bereitzustellen, die alle Wünsche erfüllt. Und genau hierin liegt die Stärke der neuen Analytics-Plattform mit ihrer einheitlichen Benutzeroberfläche und den flexiblen Bereitstellungsoptionen.
Hitachi Solutions bietet Kunden seit vielen Jahren Lösungen für moderne Datenplattformen. Die Vorteile der Cloud bezüglich Skalierbarkeit und Leistungsoptimierung bei gleichzeitiger Kostenkontrolle sind für unsere „Modern Data Platform“-Anwendungen wesentlich. Seit der Ankündigung von Synapse Analytics Ende 2019 haben wir daran gearbeitet, unsere Services und Tools auf die Synapse-Analytics-Plattform zu übertragen. So können wir unseren Kunden weiterhin unterstützen, mehr aus ihren Daten zu holen – nur noch schneller. Für Sie bedeutet dies, dass Projekte oft nur noch ein paar Wochen und nicht Monate oder Jahre dauern. Sehr häufig arbeiten wir mit den internen BI-Teams unserer Kunden zusammen, damit sie sich an die neue Technologie anpassen oder neue Arbeitsweisen lernen können. Sie müssen keine Experten für Python-Datenanalysen sein, um Synapse zu nutzen. Wenn Sie sich für SQL entscheiden, ist das legitim. Wichtig ist aber, dass Sie die richtige Technologie innerhalb der Synapse-Plattform wählen, die Ihre Anforderungen erfüllt, und dann Best Practices bei der Entwicklung berücksichtigen, damit Sie eine robuste Lösung mit Mehrwert implementieren können.
Wir bieten Ihnen und Ihren Mitarbeitern einen eintägigen Kurs an, bei dem Sie die neue Technologie praktisch kennenlernen und Best Practices von unserem Expertenteam an die Hand bekommen. Wir gehören zu einer ausgewählten Gruppe von Partnern, die diese Schulung im Namen von Microsoft durchführen. Wenn dies für Sie interessant klingt, nehmen Sie bitte gern Kontakt mit uns auf.
Weitere Fragen? Sprechen Sie mit unseren Experten!
Seit Anfang Juni 2020 ist Axel Kühn neuer Technology Director bei Hitachi Solutions Germany. In dieser Rolle fungiert er als Top-Technologieberater für unsere Kunden. Er ist bei technischen Fragen zu Microsoft-Produkten Ansprechpartner für CIOs, CTOs und IT-Verantwortliche auf Kundenseite im DACH-Markt. Der Spezialist für Microsoft-Technologien arbeitet bereits seit 2011 im Unternehmen. In seiner bisherigen Funktion war er für das Know-how von technischen Consultants im Bereich Dynamics 365 Finance & Operations verantwortlich. Mit der Umstrukturierung weitet er nun seinen Verantwortungsbereich auf alle Microsoft-Technologien aus.
