Databricks als onderdeel van transitie naar datagedreven werken
Steeds meer organisaties gebruiken Databricks om hun ambities voor datagedreven werken kracht bij te zetten. Maar wat is Databricks en hoe kun je het toepassen? We gingen hierover in gesprek met Valcon-partner Vincent Wormer.
Wat is Databricks?
“Databricks is tooling waarmee gemakkelijk een dataplatform gerealiseerd kan worden waarmee analyses uitgevoerd kunnen worden op grote hoeveelheden data.”
“De tool kan ingezet worden voor diverse vraagstukken. Denk aan complexe opgaven met betrekking tot machine learning, maar ook bijvoorbeeld het tracken van key performance-indicatoren.”
“Het mooie aan het Databricks-platform is dat het geschikt is voor alle typen dataprofessionals binnen een organisatie: data engineers, data scientists en data-analisten. Zij kunnen ieder vanuit hun eigen invalshoek via het platform Databricks samenwerken om data te bewerken en te analyseren. Er hoeft dus geen aparte tooling te worden aangeschaft.”
Kun je een voorbeeld geven van een casus waarin Valcon het Databricks-platform heeft toegepast?
“Onlangs hebben we Databricks toegepast bij een online retailer met betrekking tot haar e-commerce platform. Deze klant had een andere organisatie aangekocht. Deze aangekochte organisatie had een gigantisch groot data warehouse dat lokaal beheerd werd. Dit data warehouse moest worden gemigreerd naar de public cloud.”
“Aangezien het cloudstrategie-team binnen de organisatie had bepaald dat Amazon Web Services (AWS) het target platform voor dataopslag zou worden, was de keuze voor AWS een gegeven. Vervolgens is een selectie gemaakt voor analytische tooling, waarbij meerdere alternatieven zijn vergeleken. Hier kwam Databricks als meest sterke oplossing naar voren.”
“De data-analisten van de klant waren gewend om te werken met ‘Spark SQL’ (Databricks is ook op Spark gebaseerd). Onze verwachting was dat Databricks daarmee makkelijk in gebruik kon worden genomen door de klant. Daarnaast was de performance van Databricks uitstekend en waren de analisten enthousiast over de user interface. Dit waren belangrijke argumenten om Databricks te kiezen als analytische laag boven op het data warehouse.”
Je noemt een voorbeeld van een klant in de retailsector. Wordt Databricks bij Valcon ook binnen andere industrieën toegepast?
“We gebruiken Databricks voor klanten binnen verschillende sectoren. Het gebruik van Databricks is onafhankelijk van de industrie. Wat onze klanten gemeen hebben, is dat ze werken met grote hoeveelheden data en willen dat al hun werknemers vanuit dezelfde tooling met deze data kunnen werken.”
Waar zitten nog ontwikkelmogelijkheden voor Databricks?
“De balans tussen kosten en performance is een cruciaal onderdeel van een analytics platform. Het doen van analyses vergt veel rekenkracht en dit kan hoge kosten met zich meebrengen. Om te zorgen dat het platform kostenefficiënt blijft en tegelijkertijd schaalbaar is in het gebruik, biedt Databricks sinds kort een serverless optie aan. Daarmee neemt Databricks het beheer van de infrastructuur van haar klanten over waarmee de flexibiliteit sterk wordt vergroot.”
“Valcon heeft de eerste klanten begeleid bij het overgaan naar deze technologie. Wij kijken ernaar uit om samen met Databricks deze optie verder te ontwikkelen voor onze klanten.”
Je leidt binnen Valcon de Databricks community. Wat houdt deze community in?
“De community binnen Valcon bestaat uit een kernteam van een aantal enthousiaste data engineers en data scientists die uitstekend met Databricks kunnen werken. Vanuit dit kernteam trainen wij andere collega’s in het gebruik van Databricks.”
“Zo geven we bijvoorbeeld training tijdens de Data Academy, een programma van twee maanden dat starters volgen. Ook bieden wij meer gevorderde workshops aan voor collega’s die al langer werkzaam zijn bij Valcon en ervaring hebben met Databricks. Zo zijn er verschillende manieren waarop we kennisdeling met betrekking tot Databricks stimuleren.”
“We zien dat Databricks door steeds meer klanten gebruikt wordt, en dus is het belangrijk om onszelf hier steeds verder in te ontwikkelen.”
