Archive
Odesi Blog - posts for September 2025
Sep 16 2025
Data Explorer Updates: September 2025
Article de blogue en français.
An updated version of the Data Explorer for Odesi and Borealis is now available!
Following the release of the new and improved Data Explorer earlier this year, we have continued to make improvements to the tool’s features and interface over the past few months. This updated version of the Data Explorer includes bug fixes and improvements for variable selection and groups, cross tabulations, bulk editing, applying weights, importing DDI XML files for reuse, and generally increased speed and performance.
An overview of the updated features and fixes for the Data Explorer is provided below. For more resources on getting started with the Data Explorer, please refer to the Odesi User Guide.
- Variable selection & groups
- Cross tabulations
- XML import and file uploads
- Bulk editing
- Speed, performance, and UI
- Contact us
- About Data Explorer
Variable selection & groups
Previously, some curators had issues creating and adding to variable groups, noting that once a variable group had been created and they attempted to assign a variable to that group through the ‘edit variable’ option, they would receive an error message and were unable to save their changes back to Dataverse. Some users also noted occasional duplication when selecting variables to add to groups, as well as lag times for variable selection in some browsers, specifically Chrome. These issues have now been addressed and users are able to add and remove variables from groups with no error message, with increased speed for selecting variables, and without duplication.
Additional updates to variable features include automatic sorting of variables alphabetically, as well as a new option for users with admin permissions to remove weights from multiple variables at once using the “select” menu when curating datasets.
Cross tabulations
Following reports from some users of issues with weight applications in the cross tabulation feature, cross tabulations and charts will now automatically update when weights are applied to the selected variables.
Please note that the team is currently fixing the "Show Value" options to display percentages in addition to counts in the table view.
Additionally, the “Categories (Filter)” option in the Cross Tabulation builder now shows all categories applicable to the selected variable(s) as automatically checked to be included in the table. Previously, the default was to include all applicable categories and users would need to select a given category from the drop-down list in order to exclude (show as a checked box). In order to make this feature more intuitive, the applicable categories will still be included by default, however this will be shown as all categories selected in the drop-down menu and users may deselect a category to exclude it from the table.
By default, all categories are checked. When users deselect a category in the Filter drop-down, it is automatically removed from the cross tabulation table.
XML import and file uploads
The Data Explorer allows users with curator and admin permissions to reupload DDI XML for metadata reuse when curating datasets within a continuous series (for example, the monthly releases of the Labour Force Survey). Previously, the Data Explorer only allowed an XML file to be uploaded once for any given dataset. Some curators noted use cases where it would be helpful to be able to upload DDI XML metadata for reuse multiple times, and this option is now enabled in the Data Explorer.
Bulk editing
Users previously reported errors with the bulk editing features for variables in the Data Explorer. The bulk editing feature has now been improved to allow for bulk weighting or removal of weights for variables, as well as bulk editing variable information once a weight has already been applied.
In previous versions of the Data Explorer, users making bulk edits to datasets would occasionally encounter issues when attempting to save edits back to Dataverse. When making bulk edits to a dataset, it takes time for the system to process these changes and apply them to the dataset. If a user attempted to save bulk updates to a dataset immediately after applying them - while these updates are still being processed - an error would occur resulting in a corrupted file being uploaded to Dataverse.
In order to make users aware of the processing time needed for bulk edits, the updated version of the Data Explorer now includes notifications to inform the user when the bulk edits to a dataset are being processed, and subsequently when these updates have been applied and can now be saved back to Dataverse. These notifications appear in the top right-hand corner of the screen as “Saving Variable Info” and then “Variable Saved” as confirmation that the user can now proceed.
Speed, performance, and UI
This updated version of the Data Explorer provides generally enhanced performance and speed across all features. However, larger datasets (over 500 MB), such as census files, may take several minutes to load in the Data Explorer due to file size. We are working on adding a notice to the loading page in these cases to warn users of longer than usual loading times.
Recommended Browsers
We have also been made aware of dataset loading problems in chromium-based browsers, specifically Google Chrome and Microsoft Edge. While datasets under 500 MB will load in the Data Explorer using these browsers, datasets over 500 MB will not. This is unfortunately an issue with the browser and not with the Data Explorer itself or Dataverse. While we investigate possible solutions for this issue, we recommend using Firefox or Safari when using the Data Explorer for larger datasets. We have updated the Odesi User Guide and Borealis User Guide to reflect this browser issue and recommendation, and the message added to the “Loading dataset” page in the Data Explorer will include a note to users that Firefox and alternate browsers are recommended for datasets over 500 MB.
Contact us
If you continue to experience issues with the Data Explorer, please contact odesi@scholarsportal.info with information about the dataset in question and specific features in need of troubleshooting, and a member of our team will be in touch as soon as possible.
About Data Explorer
Data Explorer is an open-source web application built and developed by Scholars Portal. The application is fully integrated with the open-source Dataverse repository project developed by IQSS, Harvard University, together with global collaborators. Data Explorer supports users in Odesi and Borealis with viewing and analyzing tabular data files and variables by groups or category, as well as variable metadata, summary frequencies and statistics, building cross-tabulations and charts, subsetting and downloading data.
Sep 16 2025
Mise à jour de l’Explorateur de données: septembre 2025
Une nouvelle mise à jour pour l’Explorateur de données est maintenant disponible pour Odesi et Borealis!
Après avoir déployé la nouvelle version de l’Explorateur de données plus tôt cette année, nous avons continué le processus de développement de l’outil afin de raffiner et optimiser certains de ses atouts, ainsi que l’interface utilisateur. Cette nouvelle version de l’Explorateur de données adresse aussi certains bugs informatiques reliés à sa performance lors de la sélection de groupes et variables, lors de la création de tableaux croisés et de la modification en masse, et lors de l’ajout de pondérations de variables et le téléversement de fichier XML conforme au standard DDI.
Un survol des mises à jour de l’Explorateur de données est disponible ci-dessous. Pour plus d’information par rapport à l'utilisation de l’Explorateur de données, veuillez consulter le guide utilisateur de Odesi.
- Sélection de variables et création de groupes
- Tableaux croisés
- Importation & téléversement de fichier XML
- Modification en masse
- Vitesse, performance et interface utilisateur
- Contactez-nous
- A propos de l’Explorateur de données
Sélection de variables et création de groupes
Auparavant, certains des conservatrices et conservateurs des ensembles de données avaient de la difficulté à ajouter des variables aux groupes qu’ils avaient créé dû à un bug où, lorsqu’ils essayaient d’assigner une variable à ces groupes à l'aide de l’option située sous “Modifier une variable”, ils recevaient un message d’erreur et n'étaient point capable de sauvegarder leurs modifications au Dataverse. Certains usagers ont aussi mentionné que certaines variables étaient occasionnellement dupliquées lorsqu’elles étaient ajoutées à un groupe, ainsi que des délais lors de la sélection de case à cocher de variable quand ils utilisaient certains navigateurs internet (tel que Google Chrome). Ces problèmes sont désormais résolus, les usagers de l’Explorateur de données pourront désormais ajouter et retirer des variables dans leurs groupes sans message d’erreur tout en bénéficiant d’une meilleure performance utilisateur lors de la sélection de variable, sans devoir se soucier de duplications de variables accidentelles.
Nous avons aussi fourni une mise à jour additionnelle dans laquelle nous avons inclus un tri alphabétique des variables, ainsi qu’une nouvelle option pour retirer plusieurs poids de variables d’un coup à l'aide du menu de sélection.
Tableaux croisés
Suites à certains rapports de nos usagers par rapport au fait que les poids attribués aux variables n'étaient pas automatiquement pris en considération lors de la création de tableaux croisés, les tableaux croisés et graphiques sommaires seront dorénavant automatiquement mis à jour quand un poids est attribué à une de ses variables.
Veuillez noter que l'équipe est actuellement en train de corriger les options d’afficher la valeur afin d'afficher les pourcentages en plus des comptes dans la vue tableau.
En plus, nous avons mis à jour l’outil de sélection “Catégories (Filtrer)” des tableaux croisés. Auparavant, toutes variables étaient automatiquement incluse lors de la création du tableau croisé et leur boîtes à cocher devaient être sélectionnés (crochet bleu) pour les retirer du tableau croisé. Pour faciliter l’utilisation de l’outil, celui-ci coche désormais automatiquement toutes les boîtes à cocher des catégories de variables sélectionnées lors de la création de tableau croisé; elles doivent maintenant être décocher pour être retiré du tableau croisé.
Par défaut, toutes les catégories sont cochées. Quand une catégorie est décochée, elle sera automatiquement retirée du tableau croisé.
Importation & téléversement de fichier XML
L’Explorateur de données permets à ses conservateurs et conservatrices, pourvu qu’ils aient l’autorisation requise, de réutiliser et téléverser les fichiers XML conforme au standard DDI lors du processus de conservation pour les ensembles de données d’une même séries (comme la publication mensuelle de l'enquête sur la population active). Auparavant, l’Explorateur de données permettait qu’un seul téléversement de fichier XML par ensemble de données. Certains usagers ont mentionné qu’il serait utile d'être capable de mettre à jour les métadonnées pour le même ensemble de données plusieurs fois au fil du temps. Cette option est dorénavant disponible dans l’Explorateur de données.
Modification en masse
Certains usagers ont aussi rapporté l'occurrence d'erreurs lors de modification en masse dans l’Explorateur de données. Nous avons amélioré et mis à jour l’outil de modification en masse - celui-ci permet maintenant d'attribuer et de retirer le poids de variable, ainsi que de modifier en masse l’information des variables une fois qu’un poids est appliqué. Les modifications ont maintenant une notification de chargement.
Dans l'ancienne version de l’Explorateur de données, la modification en masse de variable pouvait occasionnellement mener à des problèmes de téléversement lors du processus de sauvegarde dans Dataverse. La modification en masse de variable peut prendre quelque instant puisque l'Explorateur de données doit appliquer ces changements aux variables sélectionnées. Si un utilisateur tante de téléverser l’emsemble de donnees immédiatement après avoir soumis leur modification en masse (et si les modifications sont encore en train d’être appliquées), le fichier devient corrompu et mène ultimement à une erreur.
Pour aider à éviter ce type d’erreur, nous avons intégré un système de notification qui contribue à informer les utilisateurs de l’Explorateur de données des temps de chargement des modifications en masses. L’Explorateur de données notifie désormais ses utilisateurs lorsque les modifications en masse ont été appliquées à l'ensemble de données. Ces notifications apparaissent dans le coin droit au haut de la page.
Vitesse, performance et interface utilisateur
La mise à jour de l’Explorateur de données offre aussi une meilleure performance d’utilisation pour plusieurs de ses outils. Il faut tout de même noter que les plus grands ensembles de données, comme les fichiers du recensement du Canada, peuvent prendre quelques minutes à charger dans l’Explorateur de données dû au volume du fichier. Nous sommes en train de développer un système d’avertissement pour aviser les usagers des plus longs temps de chargement pour ces fichiers-ci.
Navigateurs recommandés
Nous avons également été mis au courant de problèmes de chargement des ensembles de données dans les navigateurs basés sur Chromium, en particulier Google Chrome et Microsoft Edge. Alors que les ensembles de données inférieurs à 500 Mo se chargent dans l’Explorateur de données en utilisant ces navigateurs, les ensembles de données de plus de 500 Mo ne le font pas. C’est malheureusement un problème avec le navigateur et non pas avec l’Explorateur de données lui-même ou Dataverse. Bien que nous étudions des solutions possibles à ce problème, nous recommandons d’utiliser Firefox ou Safari lorsque vous utilisez l’Explorateur de données pour des ensembles de données plus grands. Nous avons mis à jour le Guide de l’utilisateur d’Odesi et le Guide de l’utilisateur de Borealis pour refléter ce problème de navigateur et cette recommandation, et le message ajouté à la page « Chargement du jeu de données » dans l’Explorateur de données inclura une note aux utilisateurs indiquant que Firefox est recommandés pour les ensembles de données de plus de 500 Mo.
Contactez-nous
Si vous continuez à faire face à des problèmes dans l’Explorateur de données, n'hésitez pas à nous contacter a odesi@scholarsportal.info pour nous en faire part - un membre de notre équipe vous répondra aussitôt que possible.
A propos de l’Explorateur de données
L’Explorateur de données est une application open source basée sur le web conçue et développée par Scholars Portal. L’application en soi est entièrement intégrée avec le Dataverse repository project développée par l’IQSS, située à l'université Harvard, a l’aide de collaborateurs internationaux. L’Explorateur de données permet aux utilisateurs et utilisatrices de Odesi et Borealis de visualiser et d’analyser des ensembles de données tabulaires par variables, groupes ou catégories. L’Explorateur de données permet aussi aux usagers de visualiser les métadonnées des variables et les statistiques sommaires, créer des tableaux croisés et de télécharger des sous-ensembles de données.