Image
Article-Fivetran-HUBDAY-Data-Victor-Lepoutre

Fivetran: 7 conseils pratiques pour concevoir des Modern Data Stacks

Par : Victor Lepoutre
11 mai 2022
Temps de lecture : 7 min
Chapo

Une Data Stack moderne transforme les données brutes en insights précieux. Leur conception peut cependant se révéler fastidieuse sans l’utilisation d’une bonne méthode et des bons outils. Veronica Zhai, directrice de l’Analytics chez Fivetran, est une ex-trader d’option pour la banque J.P Morgan. Elle a conçu leur première Data Stack Moderne. Dans L'étude publiée par Fivetran, elle partage sept meilleures pratiques pour arriver à un résultat qualitatif et durable.

En partenariat avec
Body

Inscrivez-vous au HUBDAY Data & AI For Business les 17 et 18 mai prochain

Nouveau call-to-action


Une Data Stack est une suite d’outils qui permet d’intégrer des données. Dans sa version moderne, ces outils sont très souvent intégrés au Cloud (ou Cloud native), ce qui permet l’automatisation, la réduction des coûts et la facilité d’utilisation pour les utilisateurs finaux tout au long du cycle de vie de la donnée. 

1er conseil: concevoir méthodiquement sa data stack

Pour concevoir sa data stack de manière efficace, il convient de suivre un cadre précis, que l’étude de Fivetran résume en 4 étapes: 

  1. Configurer le data warehouse basé sur le Cloud :
    Il faut bien étudier les différentes offres de data warehouse, leur évolutivité, et les modèles de tarification. Les caractéristiques techniques, comme les langages de programmation et d’autres caractéristiques sont également à prendre en compte. 

  2. Connecter ensuite un outil de Business Intelligence (BI) Cloud native à votre data warehouse. Ils permettent une meilleure visualisation des données, une interface conviviale et facilitent la collaboration des différents métiers. 

  3. Choisir sa data pipeline pour extraire les données de vos applications et systèmes opérationnels et les charger dans le data warehouse. Là encore, les fournisseurs de pipelines ont des approches différentes qu’ils faut comparer en fonction de ses besoins. 

  4. Enfin, choisir des outils qui permettront de transformer les données pour ensuite produire des insights et de prédire les données futures sur la base de données passées. 

2e conseil: éviter les pièges lors de la création d’une moderne Data Stack 

Veronica Zhai, relève plusieurs erreurs qui peuvent entraver la capacité des entreprises à utiliser efficacement les données. 

Selon elle, les entreprises ont souvent tendance à conserver une infrastructure de stockage sur site, coûteuse et qui nécessite une maintenance importante. Les infrastructures sur site ne s'adaptent pas non plus en période de fort trafic, alors que sur le cloud des ressources de stockage ou de calcul supplémentaires peuvent être activées facilement. 

Il est également conseillé d’éviter de personnaliser vous-même votre Data Pipeline. Cela implique de sérieux défis d’ingénierie et des erreurs peuvent être commises. La création d’un Data Pipeline “fait maison” est  aussi très chronophage et laborieux. Essayez donc d’externaliser cette tâche et automatisez la dès que possible. 

Privilégiez l’ELT plutôt que l’ETL lors de votre intégration de données. L’Extract Load Transform, permet de charger automatiquement les données dans un état quasi brut pour qu’elles soient modélisées par les analystes. C’est donc beaucoup plus pratique et cela préserve l’intégrité des données. 

Enfin faites preuve de discipline dans votre gestion des données. En intégrant toujours plus de données et en utilisant de nouveaux outils. Il est utile, par exemple, d’utiliser des garde-fous qui contrôlent et éliminent les actifs de données qui ne sont plus utiles. Cela permet une recherche plus efficace dans le data warehouse et minimise les erreurs. 

3e Conseil Utilisez un cadre pour réussir vos recrutements dans le domaine des données 

Réussir ses recrutements pour étoffer son équipe donnée, consiste à embaucher rapidement des talents ayant les compétences techniques requises. Pour cela, Veronica Zhai vous propose une sélection en plusieurs étapes pour arriver à vos fins. 

  1. D’abord, pensez à tester les compétences techniques de vos candidats, et en particulier les compétences SQL avancées. 
  2. Lors de la deuxième sélection, testez les compétences d’exécution de vos candidats. Demandez-leur par exemple de rédiger un plan sur 30-60 et 90 jours et évaluez leur stratégie commerciale. 
  3. Vous pourrez ensuite vérifier leur capacité d’analyse en demandant à vos candidats de présenter des insights et des visualisations à partir d’échantillon complexe de données. 
  4. Recherchez l’adéquation culturelle et l’alignement sur les valeurs de votre entreprise. Donnez la priorité aux nouvelles recrues dont les traits et les capacités complètent votre équipe. En cas de doute, pensez à passer des appels de référence. 

Enfin, grâce à l’utilisation de SQL pour la modélisation et la transformation, vous pourrez vous passer de data engineers pendant un certain temps. Continuez cependant de constituer votre équipe d’analystes et envisagez d’engager un architecte de données pour optimiser le système global. 

4e conseil: la période test des 180 jours essentielle pour construire une base solide 

Les six premiers mois sont cruciaux pour préparer le terrain et les efforts d’Analytics de votre entreprise. Il convient premièrement de créer une équipe donnée centralisée, rattachée au dirigeant ou à un cadre technique d’un côté, elle fait le lien avec les équipes spécialisées comme les analystes produits, ventes ou marketing.

En créant des alliances entre les équipes qui utilisent déjà l’Analytics, vous pourrez les aider à automatiser leur Data Intégration et éviter la duplication des tâches. Enfin, il est important d’utiliser les mêmes indicateurs de performance que la direction et s’assurer qu’on les retrouve dans la business intelligence et la stratégie commerciale. Cela peut être les indicateurs du chiffre d’affaires, la croissance de la clientèle et du taux d’attrition, ou encore le nombre d’utilisateurs actifs quotidiens de votre produit. 

5e conseil: gérer son équipe data comme une équipe R&D

Ne considérez pas votre équipe chargée des données comme une simple équipe support, une équipe ingénierie ou encore une équipe produit mais comme une combinaison des trois. En effet, l’équipe doit être composée avec un objectif produit avec comme indicateurs principaux l’utilisation et la satisfaction client.

De même l’équipe devra opérer avec des principes d’ingénierie: pour être performante, elle devra investir au moins 25% de ses ressources dans la mise en place d’une infrastructure de données facilement navigable et évolutive.

Enfin, l’équipe Analytics doit opérer un service centré sur le client. Ce service pourra assurer un accueil et une assistance continue, et travailler avec les équipes partenaires pour résoudre les problèmes de production et développer des supports de formation à destination des utilisateurs finaux. 

6e conseil: utiliser la pensée systémique, une solution à la complexité des données 

La complexité des données d’entreprise s’amplifie tout au long du cycle de vie et de gestion de ces données. Un fait particulièrement avéré dans les grandes entreprises comme J.P Morgan qui ont connu de nombreuses fusions et acquisitions et a dû intégrer de nombreux systèmes différents produisant des données.

La pensée systémique permet de simplifier sensiblement l’organisation des données, en décomposant les silos et en centralisant les données. Cela permet d’abord aux différentes équipes de minimiser le nombre de requêtes car elles se basent toutes sur les mêmes données. C’est aussi l’occasion de mettre en place des algorithmes de Machine Learning pour automatiser la mise à jour de cet indicateur et fournir aux équipes une visibilité en temps réel

7e conseil: Identifier les cercles vertueux et vicieux de l’information  

Grâce à des données de qualité, vous pouvez également mieux illustrer les opérations de votre entreprise notamment grâce à des “volants d’inertie”. Ce sont des cercles vertueux (ou vicieux) qui schématisent l’information circulant dans votre entreprise. Par exemple, une bonne compréhension de vos clients vous permettra d’obtenir un produit de qualité supérieure, ce qui favorisera la satisfaction client et augmentera votre clientèle. 

Il est possible d’assembler ces volants d’inertie dans des diagrammes de boucles causales.  Cela permet d’illustrer encore plus précisément les liens de cause à effet entre les opérations de votre entreprise. 

Les diagrammes de boucles causales vous permettent de présenter en un seul endroit les différents paramètres qui agissent sur votre entreprise et ses activités. Vous pourrez donc plus facilement identifier, un par un, les domaines dans lesquels vous pourrez gagner en compétitivité. Les données vous permettront de quantifier les différents éléments de vos opérations. Vous aurez donc une vision plus précise de vos ressources et pourrez mettre en avant vos résultats. 

Cette réflexion sur l’utilisation de la donnée peut réellement révolutionner la manière dont nous fonctionnons, affirme Veronica Zhai. Elle peut avoir un impact profondément positif sur le monde des entreprises et aider les professionnels à atteindre un niveau de conscience supérieur. 


Retrouvez Fivetran au HUBDAY Data & AI For Business, les 17 et 18 mai prochain 

Nouveau call-to-action

Envie de nous partager vos insights ?
Profile picture for user VLpoutre
Victor
Lepoutre
Content Manager