échange de données

Echange de données informatiques

Qu’est-ce que l’échange de données informatisé ?

l’échange de données informatisés consiste à mettre en oeuvre des traitements permettant de partager des informations entre deux ou plusieurs systèmes informatiques différents.

Par exemple, vous souhaitez publier des informations à vos clients à partir des informations connues dans votre logiciel métier. Ces traitements sont généralement réalisés par un informaticien, le plus souvent à l’aide du langage qu’il connait le mieux (PHP, JAVA…).

Des éditeurs de logiciels proposent des outils permettant de simplifier et industrialiser les processus d’échange de données. Par exemple, Talend est une entreprise d’origine française qui propose un outil appelé Talend Data Integration et par abus de langage, réduit au terme de Talend (ce qui est une erreur car Talend est le nom de l’entreprise qui propose Talend Data Integration mais également Talend ESB, Talend MDM…). Citons également Microsoft SQL Server Integration Services (SSIS) que l’on trouve en standard sur toutes les versions commerciales de Microsoft SQL Server depuis 2005. D’autres produits exitent comme Datastage ou Infomatica mais leur tarification et leur technicité s’adresse plus à des très grandes entreprises qu’aux belles PME.

ETL

Talend Data Integration, Microsoft SQL Server Integration Services (SSIS), … tous ces logiciels sont appelés des ETL. ETL signifie Extract Transform Load. En gros, ce sont des logiciels qui simplifient la conception de traitements (ou processus) automatisés qui vont charger des données d’une source A pour les manipuler, les transformer, les corriger et les envoyer vers  une destination B.

Exemple de traitement dans SSIS :

         

Exemple de traitement dans Talend Data Integration :

Alimentation d’un Data Warehouse et/ou de Datamarts

Les logiciels ETL comme Talend Data Integration ou SSIS sont très souvent utilisés pour alimenter un Data Warehouse. Un Data Warehouse, en français Entrepôt de données, est un espace de stockage centralisé regroupant le plus souvent les données des différents logiciels de votre organisation afin de produire des rapports ou encore proposer un centre de mise à disposition de la données.
Un Datamart, en français magasin de données, est un espace de stockage plus simple que le Data Warehouse et plus généralement destiné à un but précis : Données d’analyse du service Marketing, données d’analyse du service financier, …

Mettre à disposition des données

Talend Data Integration, Talend ESB, ou SSIS peuvent servir à fabriquer des processus de mise à disposition d’informations pour un service interne, pour un client, un fournisseur…

ETL ou ELT ?

La manipulation des données peut se faire soit intégralement à l’aide d’un logiciel ETL (Talend Data Integration, SSIS) soit côté moteur de base de données. On parle alors de ELT. Le mode ELT consiste le plus souvent à exploiter toute la puissance du langage SQL de votre moteur de base de données. Le mode ETL permet de tout faire avec le même outil. Le mode ELT est généralement utilisé lorsque que l’on recherche la performance de chargement au sein d’une base de données, lorsque le volume de données à traiter à chaque exécution est très important (plusieurs millions de lignes). Pour So’Data il n’y a pas de bons ou mauvais choix sur un projet d’échange de données. Il y a par contre des erreurs liées à l’absence de formation, d’information et surtout, de démonstration sur un cas d’usage interne à votre organisation. 

ETL, ELT ou programmation pure ?

Nombreux sont les clients de So’Data à se poser la question : Dois-je tout faire en ETL, faire du ELT ou tout faire en programmation pure avec par exemple le langage SQL ou le langage JAVA, Python, .NET ou PHP ?

Affirmer qu’une solution est meilleure qu’une autre est une grossière erreur, une croyance souvent portée par des « pros » ETL qui n’ont pas de connaissance avancée dans les langages de programmation ou au contraire par les « pros » programmeurs qui ne jurent que par leur éditeur de code préféré. 

So’Data étudie chaque situation au cas par cas et vous proposera toujours plusieurs solutions argumentées. Le choix vous appartient, faut-il encore vous en donner les moyens. Si vous hésitez, So’Data vous propose de réaliser un ou plusieurs démonstrateurs (POC).  

So’Data propose une expertise reconnue sur les processus d’échanges de données ou de migration de logiciel sur Bordeaux, Nantes, Paris, Rennes, Toulouse, Montpellier :

  • Echange bi-directionnel entre votre ERP et Salesforce
  • Alimentation de votre Data Warehouse (Entrepôts de données) ou de vos Datamarts (magasins de données)
  • Historisation de données dans un ODS (Operational Data Store)
  • Traitement des interfaces comptables, exportation de factures vers SAGE, CEGID
  • Synchronisation des données entre les logiciels comme par exemple la ventilation des tiers entre les différentes bases de données et Salesforce
  • Traitement automatique de rejets des prélèvements SEPA
  • Mise en oeuvre d’une architecture ESB

Les logiciels ou langages les plus utilisés pour ce genre de traitements sont :

  • Microsoft SQL Server Integration Services
  • Talend Data Integration
  • Talend ESB
  • Langage de programmation comme Python, java ou .NET