Databricks kündigt OpenSharing an

Agentic AICloudData GovernanceData ManagementGenAI

Databricks führt OpenSharing ein und positioniert das Projekt als offene Grundlage für Datenaustausch und KI-Kollaboration im Agenten-Zeitalter. Die Weiterentwicklung von Delta Sharing ist nun ein Projekt der Linux Foundation und soll neben Daten erstmals auch Agenten-Skills, KI-Modelle und unstrukturierte Daten abdecken. Unternehmen können Assets über Standard-APIs veröffentlichen, autorisieren und nutzen, unabhängig von Plattform oder Cloud. Unterstützung für Apache Iceberg-APIs erweitert die Reichweite für Anbieter und Empfänger. On-Premises-Integrationen sollen zudem moderne Cloud-KI für lokale Datenbestände ermöglichen, ohne diese zu kopieren oder zu verschieben.

Databricks, das Daten- und KI-Unternehmen, stellt OpenSharing vor. Dabei handelt es sich um die nächste Evolutionsstufe des Open-Source-Protokolls Delta Sharing für das Zeitalter der Agenten. Im Jahr 2021 leistete Databricks mit Delta Sharing, einem Teilprojekt des Open-Source-Projekts Delta Lake, Pionierarbeit bei offenen Protokollen für den Datenaustausch.

Heute ist Delta Sharing das am weitesten verbreitete offene Protokoll für den Datenaustausch, das von Tausenden von Kunden und Partnern für die sichere Zusammenarbeit, den Austausch und die Monetarisierung von Daten genutzt wird. OpenSharing ist das nächste Kapitel: Es ist nun ein Projekt der Linux Foundation und das erste offene Protokoll, das Agenten-Skills, KI-Modelle und unstrukturierte Daten abdeckt. OpenSharing erweitert das plattformübergreifende Kollaborations-Ökosystem weiter, indem es Unterstützung für Iceberg-IRC-Clients hinzufügt und es Asset-Anbietern ermöglicht, eine neue Gruppe von Empfängern zu erreichen. Da neue On-Premises-Storage-Partner OpenSharing einführen, können Kunden ihre On-Premises-Assets nun direkt mit Cloud-Plattformen verbinden, ohne dass Daten verschoben werden müssen. Das OpenSharing-Projekt ist ab sofort auf GitHub verfügbar.

«Delta Sharing hat bewiesen, dass die Branche Offenheit gegenüber geschlossenen Systemen bevorzugt», sagt Matei Zaharia, Mitbegründer und CTO von Databricks. «OpenSharing erweitert dieses Prinzip auf den gesamten KI-Stack und dehnt das plattformübergreifende Ökosystem gleichzeitig auf Iceberg-Empfänger und lokale Anbieter aus. Das Zeitalter der Agenten verdient eine offene Grundlage, und OpenSharing liefert sie.»

Was OpenSharing ermöglicht:

  • Erstes offenes Protokoll für den Austausch von KI-Assets: Vor OpenSharing gab es keine Standardmethode, um Agent-Skills oder KI-Modelle organisationsübergreifend zu teilen, was Unternehmen dazu zwang, auf teure kundenspezifische Integrationen oder Marktplätze einzelner Anbieter zurückzugreifen. Jetzt können Unternehmen Agent-Skills und KI-Modelle über ein einziges offenes Protokoll veröffentlichen, das jeder Partner nutzen kann, mit Standard-APIs für Erkennung, Autorisierung und Zugriff, unabhängig von der Plattform. Ein Datenanbieter möchte beispielsweise einen proprietären Agent-Skill mit seinen Kunden teilen, um deren Daten für Agenten sofort nutzbar zu machen. Anstatt Dateien manuell bereitzustellen, die an jeden Kunden kopiert und ständig aktualisiert werden müssen, ermöglicht OpenSharing einen nahtlosen und sicheren Zero Copy-Zugriff auf Agent-Skills direkt an der Quelle.
  • Einmal veröffentlichen, jeden Kunden erreichen: Strukturierte Daten waren lange Zeit in proprietären Datenformaten eingeschlossen, was zu einem «Vendor Lock-In» führte. Delta Sharing ermöglichte es Unternehmen und Datenanbietern, Plattformsilos aufzubrechen und über Clouds, Regionen und Plattformen hinweg zusammenzuarbeiten. Unternehmen erhielten Freigaben in Databricks, Apache Spark™, Oracle, Power BI, Tableau, Snowflake und vielen weiteren. Nun erweitert OpenSharing dieses plattformübergreifende Ökosystem durch die Unterstützung von Apache Iceberg™-APIs. Anbieter, die OpenSharing nutzen, können nun dasselbe Freigabeprotokoll verwenden, um ein größeres Publikum von Nutzern zu erreichen, einschließlich derer, die Iceberg-native Tools verwenden.
  • Moderne KI für On-Premises-Daten: Unternehmen, die Daten vor Ort oder in privaten Clouds aufbewahren müssen, sollten nicht länger auf moderne Cloud-KI- und Analysefunktionen verzichten. Durch native Integrationen mit On-Premises-Speicherpartnern können Cloud-Plattformen nun ohne Datenverschiebung direkt auf On-Premises-Daten zugreifen. Zu den Storage-Partnern, die derzeit einen verwalteten OpenSharing-Dienst anbieten, gehören Everpure, MinIO und Qumulo; weitere Partner wie Cohesity, Commvault, HPE, NetApp, Nutanix, Rubrik und VAST Data werden in Kürze hinzukommen.

Branchenweite Unterstützung für OpenSharing

«Wir glauben an offene KI-Ökosysteme und freuen uns auf die Zusammenarbeit mit Databricks, um einen standardisierten, sicheren Weg zur Erkennung und Autorisierung des Zugriffs auf KI-Ressourcen bereitzustellen», sagt Alexander Embiricos, Head of Enterprise Product bei OpenAI.

«KI hat das Potenzial, die Arbeitsweise der Reisebranche und den Service für Reisende zu verändern, aber nur, wenn sie vertrauenswürdig ist und sinnvoll eingesetzt wird»

erklärt Vvivi (Rongrong) Hu, Chief Strategy Officer bei Amadeus. «Bei Amadeus fungieren wir als System of Record und eingebettete Ausführungsschicht für die Branche und helfen dabei, KI auf integrierte und skalierbare Weise im gesamten Reise-Ökosystem zu orchestrieren. Wir freuen uns sehr über die Zusammenarbeit mit Databricks, um den offenen und sicheren Austausch von Daten und KI-Ressourcen zu ermöglichen, die erforderlich sind, um diesen Mehrwert zu schaffen.»

«Atlassian Analytics hat Data Shares eingeführt und nutzt dabei OpenSharing von Databricks, um unseren Kunden in großem Maßstab den Zugriff auf wichtige Cloud-Daten zu ermöglichen», führt Ben Jackson, Senior Group Product Manager, Data & Analytics, bei Atlassian aus. «Das bietet Flexibilität und beschleunigt die Zeit bis zur Erkenntnisgewinnung für unsere Kunden. Das Ökosystem von OpenSharing mit seinen Konnektoren ermöglicht es Kunden, ihre Umgebungen ganz einfach mit Daten direkt aus dem Atlassian Data Lake zu versorgen.»

«Unsere Kunden verlassen sich auf unsere KI-fähigen Daten und Erkenntnisse, um ihren Kunden entscheidenden Mehrwert zu bieten», sagt Ron Lefferts, Divisional CEO von Data & Analytics bei LSEG. «Wir haben uns für OpenSharing entschieden, weil es mit unserer LSEG Everywhere-Strategie im Einklang steht. Es ermöglicht jedem Kunden, unsere Daten in jedem Tool oder jeder Cloud mit jedem Modell zu nutzen.»

«Unternehmen sollten sich nicht entscheiden müssen, ob sie sensible Daten vor Ort aufbewahren oder moderne KI- und Analyse-Plattformen nutzen, um daraus Wert zu schöpfen»

sagt AB Periasamy, Mitbegründer und Co-CEO von MinIO. «Das native Open Source-OpenSharing in AIStor eröffnet den Zugriff auf Daten, die nicht verschoben werden können. Dies schafft eine Grundlage, um den enormen ungenutzten KI-Wert freizusetzen, der in den Datenumgebungen von Unternehmen verborgen ist.»

«Wir haben uns für OpenSharing für die SAP Business Data Cloud entschieden, weil es das offene Protokoll für den Austausch von Daten und KI-Assets ist und es uns ermöglicht, Kunden zu erreichen, wo immer sie sich befinden», fügt Senthil Krishnapillai, VP & Head of Cloud Services bei SAP an. «Wir freuen uns darauf, die Partnerschaft mit Databricks fortzusetzen, um die offene Grundlage für eine KI-orientierte Zusammenarbeit zu schaffen.»

«Finanzdaten sind das Lebenselixier der Geschäftsabläufe unserer Kunden, und sie benötigen die Flexibilität, diese in ihren bevorzugten Umgebungen zu analysieren», erläutert Emily Sands, Head of Data & AI bei Stripe. «Unsere Partnerschaft mit Databricks basiert auf einer gemeinsamen Vision von Openness. Die native Nutzung von OpenSharing innerhalb der Stripe Data Pipeline stellt sicher, dass unsere Nutzer sicher und mühelos fortschrittliche Analyse- und KI-Funktionen für ihre Kunden-, Abrechnungs- und Transaktionsdaten nutzen können.»

«Acxioms Real ID ist nativ über das OpenSharing-Protokoll verfügbar, deshalb können Marketingfachleute in Unternehmen Daten direkt dort verknüpfen, wo sie bereits gespeichert sind», sagt Greg Morton, Head of Ecosystem Growth & Industry Partner bei Acxiom. «Sie können ihre Daten über Identifikatoren, Plattformen, Partner und Clouds hinweg interoperabel machen und so Erkenntnisse aus sonst unzugänglichen Datenquellen von Partnern für eine kollaborative und wirklich vernetzte Zielgruppenansprache, Analyse und Messung erschließen.»

Databricks

Databricks ist eine führende Unternehmensplattform für Daten und Künstliche Intelligenz, die eine unifizierte Lakehouse-Architektur bietet. Sie integriert Datenmanagement, Echtzeit-Analysen, ETL, BI und KI optimiert für Skalierbarkeit und Kosten. Databricks ermöglicht es Unternehmen, CPD/Pipelines und Datensilos zu beseitigen, indem es eine zentrale Plattform mit Funktionen wie Serverless SQL, KI-Agenten-Infrastruktur (Agent Bricks) und Governance bietet. Mit der Übernahme von Mooncake stärkt Databricks seine Position bei Echtzeit-Datenanalysen und OLTP-Workloads für KI-getriebene Anwendungen.

Editor's Pick