Mise en place d'un pipeline de données via CommCare
Chaque projet CommCare est unique. Par conséquent, les utilisateurs peuvent avoir des besoins variés en matière de traitement et de visualisation des données, susceptibles d'évoluer au fil du temps. Cette page présente différentes options de traitement et d'analyse des données CommCare afin d'aider les utilisateurs à configurer des pipelines de données robustes via CommCare.
Chaque projet CommCare devra à terme interpréter les données de dossiers et de formulaires collectées par les travailleurs mobiles. La conception d'un pipeline de données implique deux questions fondamentales : la méthode d'exportation (par exemple, une interface d'exportation de base) et l'automatisation de l'analyse (par exemple, des requêtes VBA). Ces deux aspects doivent être régulièrement réévalués dans les projets prévoyant des analyses de données à grande échelle (exportation de plus de 50 000 lignes à la fois).
Méthode d'exportation | Échelle (lignes) | Exigences | Documentation |
|---|---|---|---|
Rapports envoyés par courrier électronique vers Excel | Limité par Exceller | Exceller | https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2198241457 |
Exportations de données | 0 - 50 000 | Exceller | https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2143954661 |
Exportations enregistrées quotidiennement | 0 - 100 000 | Exceller | https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2143951612 |
Flux OData | 0 - 500 000 | PowerBI/Tableau Desktop | https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2198503499 |
Outil d'exportation de données CommCare | 0 - 1 000 000+ | Excel, Python, connaissances en programmation, connaissances en bases de données, configuration de serveur | https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2143955952 |
Rapports envoyés par courrier électronique vers Excel
La plupart des rapports intégrés au produit permettent aux utilisateurs d'envoyer des rapports par courrier électronique à l'adresse e-mail de leur compte (et à d'autres) sous forme de fichier Excel.
Voir https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2198241457 pour en savoir plus.
Exportations de données
L'interface d'exportation de données de base de CommCare permet d'exporter jusqu'à 50 000 lignes de données de dossiers et de formulaires soumis par les travailleurs mobiles. CommCare offre des fonctionnalités d'exportation de données robustes, personnalisables selon les besoins.
Voir https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2143954661 pour en savoir plus.
Exportations de données enregistrées
CommCare permet également de configurer des exportations quotidiennes enregistrées. Ces exportations précompilées permettent aux utilisateurs de télécharger immédiatement de nouvelles données depuis CommCare HQ sans attendre la génération d'une nouvelle exportation. Cette méthode peut gérer jusqu'à 500 000 lignes.
Voir https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2143951612 pour en savoir plus.
Flux OData
Les flux OData offrent une autre façon d'exporter les données CommCare, prenant en charge des volumes compris entre 10 000 et 500 000 lignes. Cependant, cela nécessite l'utilisation de PowerBI ou Tableau Desktop. Les flux OData peuvent également être configurés pour une actualisation incrémentielle sur Power BI, ainsi que pour des ensembles de données plus volumineux.
Voir https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2282717354 pour en savoir plus.
Outil d'exportation de données CommCare
L'outil d'exportation de données CommCare peut exporter les données directement dans un fichier Excel, gérant entre 10 000 et 500 000 lignes. Cela nécessite une licence Excel et la configuration de l'outil. Pour les volumes de données très importants, de 50 000 à plus d'un million de lignes, l'outil d'exportation de données CommCare peut exporter les données vers une base de données configurée plutôt que vers Excel. Des exigences supplémentaires sont requises, comme la configuration de l'outil d'exportation de données, une base de données installée et, idéalement, un serveur dédié pour l'exécuter.
Voir https://dimagi.atlassian.net/wiki/spaces/commcarepublic/pages/2143955952 pour en savoir plus.