Les Analytics Engineer fournissent des ensembles de données propres aux utilisateurs finaux, en modélisant les données de manière à permettre aux utilisateurs finaux de répondre à leurs propres questions. Alors qu’un analyste de données passe son temps à analyser les données, un ingénieur en analyse passe son temps à transformer, tester, déployer et documenter les données. Les ingénieurs analytiques appliquent les meilleures pratiques de génie logiciel, comme le contrôle de version et l’intégration continue, à la base de code analytique.
Quand l’ingénierie analytique est-elle devenue une réalité ?
LA TRADITIONNELLE EQUIPE DATA
Si vous faisiez partie d’une Team Data avant 2012, votre première embauche de données était probablement un Data Engineer. Vous aviez besoin de ce profil pour construire votre infrastructure :
Extraire les données de la base de données Postgres et des outils SaaS qui faisaient fonctionner votre entreprise,
Transformer ces données,
puis les charger dans votre entrepôt de données.
Vous engagez ensuite un Data Analyst pour créer des tableaux de bord et des rapports à partir de ces données. Les analystes tiennent à jour une multitude de fichiers SQL portant des noms tels que monthly_revenue_final.sql, ou se contentent de mettre leur requête en favoris dans leurs outils .
Les utilisateurs des données – PDG, vice-présidents du marketing, directeurs financiers – recevaient des rapports mensuels, demandaient des analyses spéciales en fonction des besoins et envoyaient aux analystes un flux incessant de demandes de « segmentation par ceci » ou « découpage par cela » ..
L’EQUIPE DATA MODERNE
Depuis 2012, d’énormes changements sont intervenus dans le paysage des outils de données : Les entrepôts de données basés sur le cloud (Redshift, suivi de BigQuery et Snowflake) ont rendu le stockage et le traitement des données abordables et rapides.
- Les services de pipeline de données (ex : Stitch, Fivetran) ont transformé l’extraction de données en un travail de quelques clics.
- Les outils de Business Intelligence (BI) (ex : Looker, Mode, Chartio) ont augmenté la capacité des parties prenantes à être en libre-service.
Depuis 2016, il n’avait jamais été aussi facile d’introduire des données dans un entrepôt sous une forme brute et pour les parties prenantes de créer des rapports à partir de ces données.
Les outils ont évolué, tout comme les profils qui les utilisaient. Les profils qui ne faisaient pas partie des équipes chargées des données ont commencé à acquérir des connaissances en la matière. C’était une bonne chose : les utilisateurs professionnels voulaient se servir eux-mêmes et être guidés par les données. L’inconvénient est que ces personnes connaissaient souvent juste assez de SQL.
Si vous avez déjà assisté à une réunion où deux dirigeants avaient des chiffres différents pour le même indicateur, vous en avez fait l’expérience.
Si vous avez déjà assisté à une réunion où deux dirigeants avaient des chiffres différents pour le même indicateur, vous en avez fait l’expérience.
La solution : Transformer les données brutes en une forme prête pour l’analyse. À l’époque, il n’existait que deux options largement utilisées :
- Les tables dérivées persistantes de Looker
- Faites appel à un ingénieur en données
La première était assez facile à gérer pour toute personne ayant des compétences en SQL et une licence Looker, mais créait une foule de problèmes de maintenance. La seconde implique d’attendre dans une file d’attente d’ingénierie des données qui pouvait prendre beaucoup de temps.
C’est alors que dbt est entré sur le marché.
DBT & Ingénierie de données
dbt est la couche de transformation conçue pour les outils modernes d’entreposage et d’ingestion de données. Construit autour de SQL, dbt place la couche de transformation fermement dans le domaine des analystes de données.
Aujourd’hui, si vous êtes une « Modern Data Team », votre premier recrutement sera celui d’un profil qui finira par être responsable de l’ensemble de votre Stack Data. Ce profil peut configurer Stitch ou Fivetran pour commencer à ingérer des données, maintenir un entrepôt de données, construire des pipeline de transformations de données complexes en SQL à l’aide de dbt et créer des rapports à partir d’une couche de données propre dans Looker, Google Data Studio, ou encore dans Tableau.
Ce travail n’est ni de l’ingénierie de données, ni de l’analyse. C’est quelque part au milieu, et il avait besoin d’un nouveau titre : Analytics Engineer / Ingénierie Analytique
Les ingénieurs analytiques fournissent des ensembles de données bien définis, transformés, testés, documentés et révisés par le code. Grâce à la haute qualité de ces données et de la documentation associée, les utilisateurs professionnels sont en mesure d’utiliser des outils de BI pour effectuer leurs propres analyses et obtenir des réponses fiables et cohérentes.
Il s’avère que votre entreprise peut aller assez loin avec un seul ingénieur en analyse travaillant au sein d’une équipe de données qui soutient toute une entreprise. Mais pour les entreprises qui ont besoin d’une équipe de données plus importante, comment cette structure d’équipe peut-elle évoluer ? Faut-il simplement embaucher d’autres ingénieurs analystes ? Ou bien diversifiez-vous ?
Chez Hanalytics, notre équipe d’Expert Analytics Engineer met en place des Stacks Data Modern efficace, rapide et agile au sein des grands groupes ( Bouygues Telecom, TUI France, Sephora) aussi bien qu’au sein des PME / Start Ups ( Mes Demoiselles Paris, Morning, Sherpas) .
Nous intervenons sur toute la chaîne de valeur de la donnée de la collecte à l’activation.
