Blog
Nov 20 2023
New Integrations and Tools - Fall 2023
Article de blogue en français ici
Borealis upgraded to Dataverse version 5.13 earlier this year (see previous blog post). The Borealis team has been configuring additional new features that bring support for:
To test these features, feel free to use our demo sandbox environment. Please reach out if you have any questions or feedback.
Github integration: Upload to Borealis using a GitHub Action
What is it?
GitHub repository content can be uploaded to an existing Borealis dataset using a “GitHub Action” called the Dataverse Uploader Action.
What is the use-case?
This integration provides a simplified way to backup your GitHub repository to a Borealis dataset. This customizable action can allow you to:
- Upload the entire GitHub repository or specific subdirectories
- Automatically synchronize at trigger events (e.g., push, release) or manually using the workflow dispatch event
- Turn on/off deleting dataset content before uploading from GitHub
- Turn on/off automatically publishing a new version of the dataset
How do I access this feature?
- Within your GitHub repository, create a YML file (i.e., workflow.yml) file within the directory called .github.workflows/ (see screenshot below)
- Enter your configurations, such as the trigger events (shown below in top box, lines 1 to 3), and whether you would like to upload the entire repository (default) or specific subdirectories.
- Add your API token as a secret variable (shown below in bottom box, line 12)
- Input the server URL (e.g., https://borealisdata.ca, https://demo.borealisdata.ca) and dataset DOI (e.g., doi:xx.xxxx/xxx/xxxxxx) (shown below in bottom box, lines 13 and 14)
After the GitHub action uploads the files to Borealis, you will see the files show up in the file list with file-level metadata “Uploaded with GitHub Action from” with the name of your repository appended (see screenshot below).
ZIP previewer and option to download a single file within a zip
What is it?
ZIP archives can now be previewed within the browser and individual files can be selected for download.
What is the use-case?
Originally users needed to download an entire ZIP archive in order to view the files inside, even if they only needed a subset of the files. This new previewer allows users to review the files prior to download and only download a subset as needed.
How do I access this feature?
- Navigate to a ZIP archive and click on the preview icon (see screenshot).
2. After accepting any access terms of use, you will be able to view the structure of the ZIP archive, navigate the file hierarchy, and download individual files (see screenshot below).
NcML and ELN (NcML) previewer
What is it?
With the latest upgrade, the Dataverse software now detects NetCDF and HDF5 files based on their content and attempts to extract metadata in NcML (XML) format and save as an auxiliary files. Additionally, ELN files are also detected.
We’ve now configured previewers to allow users to preview NcML files and ELN files. For more information, see our previous blog post and the Advanced Guide.
What is the use-case?
NetCDF (Network Common Data Form) is a machine independent data format, an international standard of the Open Geospatial Consortium, and commonly used in environmental and climate sciences.
HDF5 (Hierarchical Data Format) is an open source file format that supports large and complex data.
The ELN file format was developed to improve interoperability among different ELN software. This archive format allows for the import/export of research data, such as experimental results, protocols, descriptions, templates, etc.
These previewers allow users to explore these files before downloading.
How do I access this feature?
Navigate to the file list for files that have been detected as NetCDF, HDF5, or ELN. Click on the eye icon to access the previewer.
Once the previewer opens, users will be able to view the contents of the file with the NetCDF previewer.
Computational Workflow Metadata Block
What is it?
A computational workflow describes a process to coordinate multiple computational tasks and their data dependencies that lead to the resulting finalized dataset, for example: running code, using command-line tools, accessing a database, submitting a job to a compute cloud resource, and execution of data processing scripts. In the diagram below, an example workflow is shown where the original data follows a series of tasks and conditions that are mapped out as steps, ultimately resulting in the final data product.
(Source: Institute for Quantitative Social Science. (accessed 2023-06-01). Dataverse User Guide https://guides.dataverse.org/en/5.13/user/dataset-management.html#computational-workflow)
Computational workflow information can be included within Borealis in two ways. First, users can apply a “workflow” tag to computational workflow files that are uploaded to Borealis. Second, Borealis now has a computational metadata workflow metadata block that can link to an external code repository where the related code and workflow steps are stored. These two options are described further below.
What is the use-case?
Including computational workflows as part of dataset documentation is increasingly becoming part of best practices to support transparent data management and reproducibility. Computational workflow information helps future dataset users better understand how the original data are transformed into the finished product.
How do I access this feature?
There are two options for including computational workflow information within Borealis:
- Create a computational workflow file using a framework or tool (e.g., Common Workflow Language (CWL), R Notebook, workflow registries). Then, upload your file to your dataset and add a custom tag called “workflow” (see screenshot below).
(Source: Institute for Quantitative Social Science. (accessed 2023-06-01). Dataverse User Guide https://guides.dataverse.org/en/5.13/user/dataset-management.html#computational-workflow)
(Source: Institute for Quantitative Social Science. (accessed 2023-06-01). Dataverse User Guide https://guides.dataverse.org/en/5.13/user/dataset-management.html#computational-workflow)
2. Once the dataset is saved, go to the “Metadata” tab and select “Add + Edit Metadata.” Navigate to the computational workflow metadata block and add details to link to external code repositories that contain the code and related details about computational workflow steps. The fields can contain details about the type of computational workflow framework, the external code repository URL where the related code is located, and the URL to documentation or text describing the Computational Workflow and its use.
For more information:
Goble et al., (2020) FAIR Computational Workflows. https://direct.mit.edu/dint/article/2/1-2/108/10003/FAIR-Computational-Workflows
Dataverse Guides. “Dataset + File Management.” https://guides.dataverse.org/en/5.13/user/dataset-management.html#computational-workflow
Nov 20 2023
Nouvelles intégrations et outils - Automne 2023
Borealis est passé à la version 5.13 du logiciel Dataverse plus tôt cette année (voir l’article de blogue précédent). L’équipe de Borealis a configuré les nouvelles fonctionnalités qui prennent en charge :
Pour tester ces fonctionnalités, n’hésitez pas à utiliser la plateforme de démonstration. Contactez-nous pour toute question ou tout commentaire.
L’intégration GitHub - téléversement vers Borealis à l’aide d’une action GitHub
Qu’est-ce que c’est?
Le contenu du dépôt GitHub peut être téléversé dans un ensemble de données Borealis existant à l’aide d’une « action GitHub » appelée Action de téléchargement de Dataverse.
Quel est le cas d’utilisation?
Cette intégration offre un moyen simplifié de sauvegarder votre dépôt GitHub dans un ensemble de données Borealis. Cette action personnalisable permet :
- le téléversement de l’intégralité du dépôt GitHub ou des sous-répertoires spécifiques
- la synchronisation automatique lors d’évènements déclencheurs (p. ex., pousser, libérer) ou manuelle à l’aide de l’évènement de répartition du flux de travail
- l’activation/désactivation de la suppression du contenu de l’ensemble de données avant de le téléverser depuis GitHub
- l’activation/désactivation de la publication automatique d’une nouvelle version de l’ensemble de données
Comment accéder à cette fonctionnalité?
- Dans le dépôt GitHub, créez un fichier YML (c’est-à-dire workflow.yml) fichier dans le répertoire appelé .github.workflows/ (voir capture d’écran ci-dessous)
- Saisissez vos configurations, telles que les évènements déclencheurs (voir l’encadré du haut, lignes 1 à 3), et si vous souhaitez téléverser l’intégralité du dépôt (par défaut) ou des sous-répertoires spécifiques
- Ajoutez votre jeton API comme variable secrète (voir l’encadré du bas, ligne 12)
- Entrez l’URL du serveur (p. ex., https://borealisdata.ca/fr, https://demo.borealisdata.ca/fr) et l’ensemble de données DOI (p. ex., doi:xx.xxxx/xxx/xxxxxx) (voir l’encadré du bas, lignes 13 et 14)
Capture d’écran du fichier YML d’un dépôt GitHub avec l’action définie pour être libérée et manuellement et le jeton API inclus comme variable secrète.
Une fois que l’action GitHub a téléversé les fichiers dans Borealis, vous verrez les fichiers apparaître dans la liste des fichiers avec les métadonnées de fichier « Téléchargé avec l’action GitHub depuis » avec le nom de votre dépôt (voir capture d’écran ci-dessous).
Aperçu ZIP et la possibilité de télécharger un seul fichier dans une archive ZIP
Qu’est-ce que c’est?
Il est maintenant possible d’obtenir un aperçu des archives ZIP dans le navigateur et les fichiers individuels peuvent être sélectionnés pour le téléchargement.
Quel est le cas d’utilisation?
À l’origine, les gens devaient télécharger une archive ZIP entière afin de visualiser les fichiers qu’elle contenait, même si seul un sous-ensemble de fichiers était requis. L’outil d’aperçu permet de consulter les fichiers avant de les télécharger et de télécharger uniquement un sous-ensemble au besoin.
Comment accéder à cette fonctionnalité?
- Accédez à une archive ZIP et cliquez sur l’icône Aperçu (voir capture d’écran).
2. Après avoir accepté les conditions d’utilisation d’accès, vous pourrez visualiser la structure de l’archive ZIP, naviguer dans la hiérarchie des fichiers et télécharger des fichiers individuels (voir capture d’écran ci-dessous).
Aperçu NcML et ELN (NcML)
Qu’est-ce que c’est?
Depuis la dernière mise à niveau, le logiciel Dataverse détecte désormais les fichiers NetCDF et HDF5 en fonction de leur contenu et tente d’extraire les métadonnées au format NcML (XML) et de les enregistrer comme fichiers auxiliaires. De plus, les fichiers ELN sont également détectés.
Nous avons maintenant configuré l’aperçu pour vous permettre d’obtenir un aperçu des fichiers NcML et ELN.
Pour plus d’information, consultez notre article de blogue précédent (https://spotdocs.scholarsportal.info/pages/viewpage.action?pageId=305397835#Mise%C3%A0niveaudeBorealisverslaversion5.13-Soutienpourlad%C3%A9tectiondefichiersNetCDFetHDF5) et le Guide avancé (https://guides.dataverse.org/en/latest/user/dataset-management.html#netcdf-and-hdf5) (en anglais).
Quel est le cas d’utilisation?
NetCDF (Network Common Data Form) est un format de données indépendant de la machine, une norme internationale de l’Open Geospatial Consortium et couramment utilisé dans les sciences de l’environnement et du climat.
HDF5 (Hierarchical Data Format) est un format de fichier libre qui prend en charge des données volumineuses et complexes.
Le format de fichier ELN a été développé pour améliorer l’interopérabilité entre les différents logiciels ELN. Ce format d’archive permet l’importation/exportation de données de recherche, telles que des résultats expérimentaux, des protocoles, des descriptions, des modèles, etc.
L’aperçu vous permet d’explorer ces fichiers avant de les télécharger.
Comment accéder à cette fonctionnalité?
Accédez à la liste des fichiers pour les fichiers détectés comme NetCDF, HDF5 ou ELN. Cliquez sur l’icône en forme d’œil pour accéder à l’aperçu.
Lorsque l’outil d’aperçu s’ouvre, vous pourrez visualiser le contenu du fichier grâce à l’aperçu NetCDF.
Métadonnées du flux de travail informatique
Qu’est-ce que c’est?
Un flux de travail informatique décrit un processus permettant de coordonner plusieurs tâches de calcul et leurs dépendances de données qui conduisent à l’ensemble de données finalisé résultant, p. ex., l’exécution de code, l’utilisation d’outils de ligne de commande, l’accès à une base de données, la soumission d’une tâche à une ressource de calcul en infonuagique et l’exécution de scripts de traitement de données. Dans le diagramme ci-dessous, un exemple de flux de travail est présenté dans lequel les données d’origine suivent une série de tâches et de conditions qui sont organisées en étapes, aboutissant finalement au produit de données final.
(Source : Institute for Qualitative Science (consulté le 01/06/2023). Guide d’utilisation de Dataverse https://guides.dataverse.org/en/5.13/user/dataset-management.html#computational-workflow)
L’information sur le flux de travail informatique peut être incluse dans Borealis de deux manières. Premièrement, les utilisateurs peuvent appliquer une balise « flux de travail » aux fichiers de flux de travail informatique téléversés dans Borealis. Deuxièmement, Borealis dispose désormais d’un bloc de métadonnées de flux de travail informatique qui peut être lié à un dépôt de code externe où sont stockés le code et les étapes associées. Ces deux options sont décrites plus en détail ci-dessous.
Quel est le cas d’utilisation?
L’inclusion de flux de travail informatiques dans la documentation des ensembles de données fait de plus en plus partie des meilleures pratiques pour soutenir la gestion transparente et la reproductibilité des données. L’information permet une meilleure compréhension de la transformation des données d’origine en produit fini lors d’utilisations futures de l’ensemble de données.
Comment accéder à cette fonctionnalité?
Il existe deux options pour inclure l’information sur le flux de travail informatique dans Borealis :
- Créer un fichier de flux de travail informatique en utilisant un cadre ou un outil (p. ex., Common Workflow Language (CWL), Carnet R, registres de flux de travail). Ensuite, téléversez le fichier dans l’ensemble de données et ajoutez une balise personnalisée appelée « flux de travail » (voir capture d’écran ci-dessous).
2. Une fois l’ensemble de données enregistré, accédez à l’onglet « Métadonnées » et sélectionnez « Ajouter + Modifier les métadonnées ». Accédez au bloc de métadonnées du flux de travail informatique et ajoutez des détails en pour lier les dépôts de code externes contenant le code et les détails associés sur les étapes du flux de travail informatique. Les champs peuvent contenir des détails sur le type de structure de flux de travail informatique, l’URL du dépôt de code externe où se trouve le code associé et l’URL de la documentation ou du texte décrivant le flux de travail informatique et son utilisation.
Pour plus d’information :
Goble et al., (2020) Flux de travail informatiques FAIR. https://direct.mit.edu/dint/article/2/1-2/108/10003/FAIR-Computational-Workflows
Guides de Dataverse. « Ensemble de données + gestion de fichiers. » https://guides.dataverse.org/en/5.13/user/dataset-management.html#computational-workflow
Oct 06 2023
Bienvenue au nouveau Odesi!
<<Link to the English version / Lien vers la version en anglais>>
Le nouveau site Odesi est officiellement en ligne!
Odesi est entièrement intégré avec Borealis, connecté à la nouvelle interface de recherche Odesi, et son interface utilisateur est très conviviale comparé à celle de l’ancien dépôt Nesstar. Nous vous encourageons à utiliser le nouveau site, ainsi que d’explorer toutes ses fonctionnalités, à partir de maintenant. Un Guide d'Utilisateur mis à jour pour le nouveau site d'Odesi est maintenant disponible.
Au cours de la dernière année, le groupe de de travail du Projet de Migration a consacré beaucoup d'efforts à garantir que toutes les données et métadonnées d'Odesi soient entièrement transférées vers la nouvelle plateforme du référentiel: Borealis, le dépôt Dataverse canadien.
Nous remercions tous ceux qui ont participé au projet, y compris l’équipe du projet, la communauté des données d’OCUL, et Compute Ontario pour son soutien financier.
Prenez quelques minutes pour lire les questions et réponses ci-dessous, pour obtenir plus d’informations sur les changements et fonctionnalités du nouveau site web d’Odesi. Si vous avez des questions, commentaires, ou préoccupations, envoyez-nous un courriel à odesi@scholarsportal.info.
Qu’est-ce qu’Odesi?
Odesi est un dépôt et outil d’analyse pour les données des sciences sociales canadien. Les collections d’Odesi contiennent plus que 5700 ensembles de données gouvernementaux et des sondages des opinions publiques, organisées et décrites par les emplois aux bibliothèques universitaires canadien en utilisant le standard de métadonnées de la Data Documentation Initiative (DDI).
Odesi offre un accès ouvert et rehaussé à une variété de collections de données comme celles de l’Initiative de démocratisation des données (IDD) de Statistique Canada sur l’utilisation des microdonnées par le grand public, des ensembles de données historiques et des sondages d’opinion publique canadienne (SOP), y compris ceux de Gallup Canada, IPSOS Canada et de CORA (Les archives canadiennes de recherche sur l’opinion publique).
La nouvelle plateforme d’Odesi est entièrement intégrée avec Borealis, le dépôt Dataverse canadien et l’interface est différente de celle de l’ancien dépôt Nesstar, mais conserve la fonctionnalité du moteur de recherche d’Odesi. Les utilisateurs peuvent effectuer des recherches dans les collections de données, filtrer, tabuler, télécharger et créer des sous-ensembles de données et de variables.
A l’avenir, une grande partie des données dans Odesi sera ouverte et accessible à tous les chercheurs, dans l’esprit des principes FAIR, qui visent à garantir la découvrabilité, l’accessibilité, l’interopérabilité, et la réutilisation des métadonnées de recherche. Cela reflète la vision du CBUO et d’Odesi vers une infrastructure des données accessible, inclusive, et nationale, et aussi un modèle de service plus étendu avec la priorité à la durabilité et la collaboration communautaire.
Odesi est une base de données mise à jour par le Scholars Portal du CBUO dans le cadre du programme Odesi Markit! qui est une collectivité de personnes provenant du Conseil des bibliothèques universitaires de l’Ontario (CBUO). L’équipe du programme Markit! qui comprend des étudiants recrutés dans les institutions du CBUO, est responsable du marquage et de l’ajout de métadonnées DDI aux ensembles de données de Odesi. Le programme Markit! est financé par le CBUO. Ce projet contribue à faciliter le partage des connaissances, l’accessibilité aux données, les meilleures pratiques par rapport à la Data Documentation Initiative ou DDI (l’Initiative de démocratisation des données (IDD) de Statistique Canada) et les pratiques de gestion en collaboration des données.
Qu’il y a t’il de différent sur le nouveau site et pourquoi ces changements ont-ils été effectués?
Le nouveau site web sera visuellement différent avec une nouvelle interface d’utilisateur.
Le nouveau site de recherche d'Odesi.
Avant la migration, Odesi a été soutenu par le dépôt Nesstar, les concepteurs de ce dernier n'offrent plus de mis à jour et à décider de mettre fin à son développement.
Ensemble de données dans Nesstar.
A l’avenir, les collections d’Odesi seront soutenues par Borealis, le dépôt Dataverse canadien.
Ensemble de données dans l’outil d’Exploration de Données de Dataverse.
Borealis a été choisi pour remplacer Nesstar parce qu'il contient des fonctionnalités essentielles comme une interface bilingue, les flux de travail collaboratif pour le dépôt des données, les métadonnées au standard de la Data Documentation Initiative (DDI), les identificateurs d’objets numériques (DOI) pour les citations, et les fonctions d’exploration and analyse des données en ligne.
La migration vers Borealis permet à Scholars Portal (le fournisseur de service d’Odesi) à continuer d’offrir l'accès à Odesi et d’intégrer les nouvelles fonctionnalités qui soutiendront la préservation des données d’Odesi, contribuant ainsi à la durabilité et l'avenir de la plateforme.
Le domaine du site web odesi.ca ne changera pas. Même si le nouveau Odesi est intégré avec Borealis, Odesi reste un service unique avec sa propre interface de recherche et des collections de données spécialisées. Les utilisateurs d’Odesi et les chercheurs qui travaillent avec les données des sciences sociales devraient encore utiliser odesi.ca pour leur recherche, au lieu d’utiliser l’interface de recherche du Borealis.
De plus amples informations sur les origines du projet de migration sont disponibles sur le site web du CBUO.
Puis-je toujours avoir l'accès au l'ancien moteur de recherche d'Odesi?
Non, l'ancien moteur de recherche n'est plus disponible. Le nouveau Guide d'Utilisateur vise à faciliter la transition de l'ancien moteur de recherche au nouveau site.
Quelles sont les nouvelles fonctionnalités du nouveau Odesi?
Les nouvelles fonctionnalités incluent:
- L’ajout d’Identifiants d'objets numériques DataCite (DOI) pour les ensembles de données Odesi afin d'améliorer la découverte et la création de citation de données normalisée.
- Des fonctionnalités de recherche et de navigation améliorées, y compris de nouveaux filtres de recherche.
- L’option d’explorer les questions d’enquête et les variables d’enquête à l'aide de l'outil d’Exploration de Données de Borealis.
- Les options pour prévisualiser les données, créer des sous-ensembles, générer des diagrammes, et l’analyse à l'aide de l'outils d’Exploration de Données de Borealis.
- L’option de télécharger des jeux de données directement depuis la page de résultats de recherche.
Les Citations Bibliographiques:
Le style de citation bibliographique des ensembles de données adopté sur Odesi suivent le format de citation bibliographique de Statistiques Canada et cette fonctionnalité est affichée sur les pages de résultats de recherche et aussi sous la section « Ma Liste ».
Citation sur la page d’ensemble de données.
En allant sur la page web « Ma Liste », les utilisateurs peuvent exporter les références en format TXT, HTML, ou RIS, ou peuvent choisir de s’envoyer par courriel une liste des références enregistrées.
L’option pour exporter les citations vers l'onglet « Ma liste ».
Les Variables Pondérées et les Tableaux Croisés:
Nous avons reçu quelques questions au sujet des variables pondérées pour les résultats dans les tableaux croisés avec l'outil d’Exploration de Données de Borealis. La variable pondérée doit être déclarée afin d’afficher les valeurs de poids lors de la création des tableaux croisés.
Il y a quelques ensembles de données qui n'ont pas de variables pondérées à déclarer. L’équipe MarkIt! travaillera pour s’assurer que la variable pondérée est déclarée pour tous les ensembles de données afin que les utilisateurs puissent ajouter les variables pondérées en utilisant la fonction tableau croisé. Ce travail est en cours et nous vous demandons votre patience pendant ce processus.
Quels documents de formations seront disponibles pour faciliter l’apprentissage du nouveau site web d’Odesi?
Un nouveau Guide d’Utilisateur est maintenant disponible en Anglais et Français. Le Guide d’Utilisateur contient les instructions pour explorer et utiliser le nouveau site web d’Odesi et ses nouvelles fonctionnalités. Le Guide inclut aussi des images du nouveau site web qui serviront de point de repère pour le lecteur. De plus, les images peuvent être récupérées afin d’être utilisées dans les documents de formation de votre institution.
Le nouveau guide pour les Meilleurs Pratiques d’Odesi et celui de Dépôt de Données dans Odesi seront bientôt disponibles. Des tutoriels sont en cours de création et seront bientôt disponibles sur la chaîne YouTube de Scholars Portal et le Guide d’Utilisateur. En attendant, Scholars Portal a organisé un webinaire le 21 septembre 2023 incluant des démonstrations du nouveau site web d’Odesi et les nouvelles fonctionnalités. et aussi l'enregistrement sur la chaîne YouTube de Scholars Portal.
Qu’arrivera-t-il aux liens de l’ancien site web d’Odesi que j’ai enregistrés?
Scholars Portal mettra en place un processus de redirection pour les URLs de l’ancienne version du site web d’Odesi vers le nouveau site web. Les liens qui incluent des identifiants d’enquêtes d’Odesi seront redirigés vers les ensembles de données du nouveau site web.
Exemple d’un URL avec un identifiant d’enquête de l’ancienne version d’Odesi
Le processus de redirection sera en place pour six mois à partir du 4 octobre, 2023. Après la période de six mois, ces redirections automatiques cesseront et vous devrez enregistrer de nouveaux liens à partir du nouveau site web d’Odesi.
Le dépôt Nesstar d’Odesi
Le dépôt web Nesstar d’Odesi restera disponible tel quel pour la référence jusqu'au début de 2024, mais nous vous encourageons à utiliser le nouveau site pour la recherche, référence, et l’enseignement le plus tôt possible.
Comment les métriques seront-elles affectées?
Avant la migration, les utilisateurs d’Odesi pouvaient recevoir un rapport des métriques de leur institution. Avec le nouveau Odesi – qui contient plusieurs ensembles de données ouvertes – les métriques ne sont plus détaillées par institution. Les nouveaux rapports statistiques seront disponibles sur Borealis.
Contactez-nous si vous avez des questions.
Mon institution veut s’abonner à Odesi. Quel est le modèle d’abonnement pour les institutions qui ne font pas partie du CBUO.
CBUO s’engage au soutien continu pour la curation des données dans Odesi, et cela inclut la révision des modèles de service et abonnement. CBUO travaille maintenant sur un nouveau modèle de service pour Odesi. De plus amples informations seront bientôt disponibles.
A qui dois-je m’adresser pour obtenir de l’aide?
Pour obtenir de l’aide ou si vous avez des questions sur les documents de formation, ou sur le nouveau site web, envoyez-nous un courriel à odesi@scholarsportal.info.
Pour les questions de recherche, contactez le représentant des services des données de votre institution locale à partir du tableau ci-dessous:
Institution: | Contact |
Oct 06 2023
Welcome to the New Odesi!
<<lien vers la version française / Link to the French version>>
The new Odesi search is officially live!
Odesi is now fully integrated with Borealis, moving away from the previous Nesstar repository, and is connected to the new Odesi search interface. We encourage everyone to use the new site, and all of its features, moving forward. An updated user guide for the new Odesi is now available.
Over the past year, the project team has worked hard to ensure that all the data and metadata have been migrated to the new repository in Borealis, the Canadian Dataverse Repository.
We thank everyone involved in the Odesi migration including the project team, the OCUL data community, and Compute Ontario for funding support.
Take a few moments to review the following FAQs that provide more detailed information about the changes and features of the new Odesi site. If you have any additional questions, comments, or concerns, send us an email at odesi@scholarsportal.info.
What is Odesi?
Odesi is a Canadian social science data repository and online data analysis tool. Odesi collections include over 5,700 datasets from government and public opinion polls, curated and described by staff at university libraries using the Data Documentation Initiative (DDI) metadata standard.
Odesi provides open and enhanced access to a variety of data collections such as Statistics Canada’s Data Liberation Initiative (DLI) public use microdata, historical datasets, and Canadian public opinion polls, including the Gallup Canada, IPSOS Canada, and the Canadian Opinion Research Archive (CORA).
The new Odesi is fully integrated with Borealis, the Canadian Dataverse Repository while retaining a unique search interface. Users can search across data collections, as well as filter, explore, tabulate, download, and subset datasets and variables of interest.
Going forward, much of the data in Odesi will be open and accessible to all researchers, aligning with the FAIR Principles (Findable, Accessible, Interoperable, and Reusable). This reflects OCUL and Odesi’s movement towards more open, inclusive, national data infrastructure, as well as an expanding service model that prioritizes sustainability and community collaboration.
Odesi is maintained by OCUL Scholars Portal the Odesi Markit! Program, a collective of individuals from OCUL libraries. The Markit! Program team — which includes hired students from OCUL institutions — is responsible for marking up and adding DDI metadata to Odesi datasets. Markit! is funded by OCUL, and the project helps to facilitate knowledge sharing, accessible data, DDI best practices, and collaborative data management practices.
How is the new site different and why were these changes made?
The new Odesi site is visually different with a refreshed user interface.
New Odesi search site.
Previously, Odesi was supported by a back-end repository platform called Nesstar, which has reached end-of-life status.
Odesi dataset in former Nesstar repository.
Moving forward, Odesi’s collections are supported by Borealis, the Canadian Dataverse Repository.
Odesi dataset in new, Dataverse Data Explorer tool.
Borealis was selected as Nesstar’s replacement due to its support for critical functions such as a bilingual interface, collaborative workflows for data deposit, the Data Documentation Initiative (DDI) standard metadata, DOIs for persistent data citation, and online data exploration and analysis.
The migration of Odesi data and metadata to Borealis allows Scholars Portal (Odesi’s service provider) to continue providing Odesi as a service, and to integrates new features which will support ongoing discovery, access, and preservation of data, contributing to Odesi’s overall sustainability moving forward.
The odesi.ca domain URL has not changed. While the new Odesi is integrated with Borealis, Odesi remains a unique service with its own search interface and distinct data collections. Odesi users and researchers working with social science data should still use odesi.ca for their research, rather than using the Borealis search interface.
More information about the history of the migration project is available on the OCUL website.
Can I still access the old Odesi search site?
No, the old search site is no longer available. The new User Guide is intended to help ease the transition from the old search engine to the new site.
What features does the new Odesi offer?
New features include:
- DataCite Digital Object Identifiers (DOIs) for Odesi datasets to improve discovery and standard citation.
- Enhanced searching and browsing features, including new search filters
- Options to explore survey questions and variables using Borealis Data Explorer and the Odesi search site.
- Options for data preview, subsetting, visualisation, and analysis using Borealis Data Explorer.
- Ability to download files directly from the Odesi search site dataset landing pages.
Citations
Dataset citations follow the Statistic Canada citation format and are available on dataset landing pages and in the “My List” tab for any saved datasets.
Dataset citation on Odesi search site, dataset landing page
From the “My List” page, users can export citations in TXT, HTML, or RIS format, or can choose to email themselves a list of saved citations.
Dataset citation export options on Odesi search site, "My List” tab.
Weight Variable and Cross Tabulations
We have received some questions regarding weighting of cross tabulation results when using the Data Explorer tool. The weight variable needs to be declared in order to show the weighted values when conducting cross tabulations.
There are currently a number of datasets where the weight variable has not been declared. The MarkIt! group will be working to ensure that the weight variable is declared in these instances so that users would be able to turn on weight variables when using the cross tabulation feature. This work is underway, and we kindly ask for your patience throughout the process.
What documentation will be available to support learning and teaching in the transition to the new Odesi?
An updated Odesi User Guide is available in both English and French. The User Guide contains written guidance on navigating the new Odesi and its many functionalities, as well as screenshots from the new site for visual reference and reuse in institution-specific teaching materials.
Other materials include a new Odesi Best Practices Guide and a Data Deposit Guide, which will be available soon. A series of video tutorials are being prepared and will be posted to the Scholars Portal Youtube Channel and the web version of the new User Guide once completed. In the meantime, Scholars Portal hosted a webinar on September 21 featuring walkthroughs and visual demonstrations of the new Odesi site and features. from that presentation are available, as is a recording of the webinar through the Scholars Portal YouTube channel.
What will happen to the links that I have saved from the previous version of Odesi?
Scholars Portal will be setting up a website URL redirect process for links from the previous Odesi site to the new site. Old links with an embedded Odesi survey ID will be redirected to the new site’s dataset landing pages.
Previous Odesi Dataset URL Example
This redirect process will be active for a period of six months, beginning October 4, 2023. After six months, these automatic redirects will cease, and you will need to update links for the new Odesi site.
A static copy of Nesstar will remain available ‘as is’ for reference purposes until early 2024, but we do encourage everyone to use the new site for research, reference, and instruction from this point on.
Odesi’s Nesstar Repository
How will Odesi institutional metrics be affected?
Previously, Odesi subscribers had access to metrics that were relevant to their own institutions. With the new Odesi – and with more open data collections in Odesi – metrics are no longer available by institution. New open metrics reports for Odesi’s collections will be available on Borealis.
Please contact us if you have any questions or concerns.
My institution would like to subscribe to Odesi. What is the subscription model for institutions outside of OCUL?
OCUL is committed to ongoing support for data curation in Odesi, and this includes review of service and subscription models. OCUL is currently working on a revised Odesi service model. More information will be available soon.
Who do I contact for help?
For general help with Odesi or for questions about the Odesi re-launch, training materials, and the new site please send us an email at odesi@scholarsportal.info.
For research support, please contact the data services representative at your local institution from the table below:
School | Contact |
Sep 25 2023
Voici le nouveau Odesi!
<<Link to the English version / Lien vers la version en anglais>>
Nous sommes heureux d’annoncer que le nouveau site web d’Odesi sera déployé en ligne le 4 octobre, 2023.
Au cours de la dernière année, le groupe de travail du projet de migration a travaillé fort pour s’assurer que toutes les données et les métadonnées d’Odesi soient entièrement migrées vers la nouvelle plateforme du référentiel: Borealis, le dépôt Dataverse canadien.
Nous remercions tous ceux qui ont participé au projet, y compris l’équipe du projet, la communauté des données, et Compute Ontario pour son soutien financier.
Scholars Portal a organisé un webinaire sur le nouveau Odesi le 21 septembre, 2023. L'enregistrement est maintenant disponible sur YouTube, et les pour référence et réutilisation dans l'enseignement.
La Version Beta d’Odesi
Le nouveau Odesi a aussi une nouvelle interface utilisateur, et nous vous encourageons d’explorer la version beta avant le lancement officiel!
Guide d’Utilisateur Mis à Jour
La version brouillon du nouveau guide d’utilisateur (Anglais seulement) a été préparé pour soutenir les bibliothèques et utilisateurs avec la transition vers le nouveau Odesi.Le brouillon du guide d'utilisateur est disponible en format MS Word. Ce format permet d'extraire dur contenu et de l'ajouter à vos document pédagogiques, spécifique à votre institution. Veuillez noter que ce brouillon est pour les usages internes seulement; le contenu n’est pas final et il devrait qu’il n’est pas distribué au public. La version finale du guide peut avoir des nouveaux contenus et changements
Autres documents de formation, y inclus le guide des Meilleurs Pratiques d’Odesi et le Dépôt des Données, seront disponibles pour la relance officielle d’Odesi le 4 octobre. Tous les guides seront disponibles en format PDF, et le nouveau guide d’utilisateur sera aussi disponible en ligne en version page web.
Failed to execute the [office] macro. Cause: [The wiki needs to be connected to an office server in order to view office files. Ask your administrator to configure such a server.]. Click on this message for details.
Envoyez-Nous vos Feedback
S’il vous plait contactez-nous dès que possible si vous avez des commentaires ou si vous remarquez quelque chose qui a besoin d’amélioration pour la version finale du guide d’utilisateur. Cela inclut les coordonnées institutionnelles qui sont inclus dans la section de Coordonnées (Contact) du brouillon.
Prenez quelques minutes pour lire les questions et réponses ci-dessous, pour obtenir plus d’informations sur les changements et fonctionnalités du nouveau site web d’Odesi. Si vous avez des questions, commentaires, ou préoccupations, envoyez-nous un courriel à odesi@scholarsportal.info.
Qu’est-ce que Odesi?
Odesi est un dépôt Web et outil d’exploration et d’analyse pour les données des sciences sociales. Odesi contient des milliers des ensembles de données, y compris des sondages des microdonnées, les sondages des opinions publique, les données administratives, les donnes récapitulatives, et la documentation pertinente. Les utilisateurs peuvent effectuer une recherche dans plusieurs collections des données, et peuvent filtrer, explorer, tabuler, télécharger, et créer des sous- ensembles de données et variables. Les ensembles de données sont organisées et décrites par les employés aux bibliothèques universitaires canadien en utilisent le standard de métadonnées de la Data Documentation Initiative (DDI).
Un partenariat unique entre les bibliothèques universitaires, les entreprises, et le gouvernement, Odesi améliore considérablement l’accès aux données d’enquêtes sociales et aux données des sondages pour les chercheurs, les enseignants, et les étudiants.
Pourquoi ces changements ont-ils été effectués?
Avant la migration, Odesi a été soutenu par le dépôt Nesstar, qui est en fin-de-vie. Cette migration vers Borealis permet à Scholars Portal (le fournisseur de service d’Odesi) à continuer d’offrir l'accès à Odesi et d’intégrer les nouvelles fonctionnalités qui soutiendront la préservation des données d’Odesi, contribuant ainsi à la durabilité et l'avenir de la plateforme.
Borealis a été choisi pour remplacer Nesstar parce qu'il contient des fonctionnalités essentielles comme une interface bilingue, les flux de travail collaboratif pour le dépôt des données, les métadonnées au standard de la Data Documentation Initiative (DDI), les identificateurs d’objets numériques (DOI) pour les citations, et les fonctions d’exploration and analyse des données en ligne.
Plus d’information sur les origines du projet de migration sont disponibles sur le site web du CBUO.
Qu’est-ce qui sera différent sur le nouveau site?
Le nouveau site web sera visuellement différent avec une nouvelle interface d’utilisateur. Les images sont incluses dans le pour vous aider à utiliser les changements de l’interface.
Le domaine du site web odesi.ca ne changera pas. En ce moment, le nouveau Odesi peut être consulter sur ce site web: beta.odesi.ca. Après la mise en ligne du nouveau site web le 4 octobre, 2023, odesi.ca sera mis à jour pour refléter les nouvelles fonctionnalités et l’interface d’Odesi.
A l’avenir, une grande partie des données dans Odesi sera ouverte et accessible à tous les chercheurs, dans l’esprit des principes FAIR, qui visent à garantir la découvrabilité, l’accessibilité, l’interopérabilité, et la réutilisation des métadonnées de recherche. Cela reflète la vision du CBUO et d’Odesi vers une infrastructure des données accessible, inclusive, et nationale, et aussi un modèle de service plus étendu avec la priorité à la durabilité et la collaboration communautaire.
Quelles sont les nouvelles fonctionnalités du nouveau Odesi?
Les nouvelles fonctionnalités s’incluent:
- L’ajout d’Identifiants d'objets numériques DataCite (DOI) pour les ensembles de données Odesi afin d'améliorer la découverte et la création de citation de données normalisée.
- Fonctionnalités de recherche et de navigation améliorées, y compris de nouveaux filtres de recherche.
- L’option d’explorer les questions d’enquête et les variables d’enquête à l'aide de l'outils Borealis Data Explorer.
- Les options pour prévisualiser les données, créer des sous-ensembles, générer des diagrammes, et l’analyse à l'aide de l'outils d’Exploration de Données de Borealis.
- L’option de télécharger des jeux de données directement depuis la page de résultats de recherche.
Qu’arrivera-t-il aux liens que j’ai enregistrés depuis le version précédente d’Odesi?
Scholars Portal mettra en place un processus de redirection pour les URLs de l’ancienne version du site web d’Odesi vers le nouveau site web. Les liens qui incluent des identifiants d’enquêtes d’Odesi seront redirigés vers les ensembles de données pertinents du nouveau site web.
Exemple d’un URL avec un identifiant d’enquête de l’ancienne version d’Odesi
Le processus de redirection sera en place pour six mois à partir du 4 octobre, 2023. Après la période de six mois, ces redirections automatiques cesseront et vous devrez enregistrer de nouveaux liens à partir du nouveau site web d’Odesi.
Le dépôt Nesstar d’Odesi
Une version statique de Nesstar restera disponible tel quel pour la référence pour une période de six mois après la relance.
Comment les métriques seront-elles affectées?
Avant la migration, les utilisateurs d’Odesi peuvent voir les métriques de leur institution. Avec le nouveau Odesi – qui contient plusieurs ensembles de données ouvertes – les métriques ne sont plus disponible par institution. Les nouveaux rapports statistiques seront disponibles sur Borealis.
Contactez-nous si vous avez des questions.
Mon institution veut s’abonner à Odesi. Quel est le model d’abonnement pour les institutions qui ne font pas partie du CBUO.
CBUO s’engage au soutien continu pour la curation des données dans Odesi, et cela inclut la révision des modèles de service et abonnement. CBUO travaille maintenant sur un modèle de service mis à jour pour Odesi. Plus d’information sera bientôt disponibles.
A qui dois-je m’adresser pour obtenir de l’aide?
Pour obtenir de l’aide avec Odesi ou des questions sur la relance, les documents de formation, ou sur le nouveau site web envoyez-nous un courriel à odesi@scholarsportal.info.
Sep 25 2023
Introducing the new Odesi!
<<lien vers la version française / Link to the French version>>
We are happy to announce that the new Odesi site will officially go live on October 4, 2023.
Over the past year, the project migration team has worked hard to ensure that all the data and metadata has been migrated to the new repository in Borealis, the Canadian Dataverse Repository.
We thank everyone involved in the Odesi migration including the project team, the data community, and Compute Ontario for funding support.
Scholars Portal hosted a webinar about the new Odesi on September 21, 2023. A recording of the webinar is now available on the Scholars Portal YouTube Channel, and presentation for reference and reuse in instruction.
Odesi Beta Site
The Odesi re-launch will also feature a new user interface and we encourage you to explore the beta site prior to the official release!
Updated Odesi User Guide
A draft version of the updated Odesi User Guide (English-only) has been prepared to support libraries and end-users with the transition to the new Odesi. This draft guideis available as a Word document so that content may be extracted and added to institution-specific teaching materials. Please note that this draft is for internal purposes only; the content is not final and is not meant to be distributed widely. The final version of the guide may include additional content and updates.
Additional training materials, including Odesi Best Practices and Deposit Guide will be available for the official Odesi re-launch on October 4. All guides will be released as PDFs, and the content from the updated User Guide will also be available in web format through the current Odesi User Guide on the learn site.
Failed to execute the [office] macro. Cause: [The wiki needs to be connected to an office server in order to view office files. Ask your administrator to configure such a server.]. Click on this message for details.
Send Us Your Feedback
Please let us know as soon as possible if you have any feedback or notice anything that needs updating for the final version of the User Guide, including updated institutional contact information - listed in the ‘Contact’ section of the guide.
Take a few moments to review the following FAQs that provide more detailed information about the changes coming and features of the new Odesi site. If you have any additional questions, comments, or concerns, send us an email at odesi@scholarsportal.info.
What is Odesi?
Odesi is a Canadian social science data repository and online data exploration and analysis tool. Odesi contains thousands of datasets, including survey microdata, public opinion polls, administrative data, summary data, and relevant documentation. Users can search across data collections, as well as filter, explore, tabulate, download, and subset datasets and variables. Datasets are curated and described by staff at Canadian academic libraries using the Data Documentation Initiative (DDI) metadata standard.
A unique partnership between university libraries, business, and government, Odesi greatly improves discovery and access to statistical surveys and public opinion data for use by researchers, teachers, and students.
Why were these changes made?
Previously, Odesi was supported by a back-end repository platform called Nesstar, which has reached end-of-life status. This migration to Borealis allows Scholars Portal (Odesi’s service provider) to continue providing Odesi as a service, and integrates new features which will support ongoing discovery, access, and preservation of data, contributing to Odesi’s overall sustainability moving forward.
Borealis was selected as Nesstar’s replacement due to its support for critical functions such as a bilingual interface, collaborative workflows for data deposit, the Data Documentation Initiative (DDI) standard metadata, DOIs for persistent data citation, and online data exploration and analysis.
More information about the history of the migration project is available on the OCUL website.
What will be different on the new site?
The new Odesi site will appear visually different with a refreshed user interface. Screenshots are included in the updated and training materials to assist with navigating the interface changes.
The Odesi.ca domain URL will not change. Currently, the new beta Odesi site can be previewed at beta.odesi.ca. However, when the site goes live on October 4, 2023, odesi.ca will be updated and refreshed to reflect Odesi’s new look and feel.
Going forward, much of the data in Odesi will be open and accessible to all researchers, aligning with the FAIR Principles (Findable, Accessible, Interoperable, and Reusable). This reflects OCUL and Odesi’s movement towards more open, inclusive, national data infrastructure, as well as an expanding service model that prioritizes sustainability and community collaboration.
What features does the new Odesi offer?
New features include:
- DataCite Digital Object Identifiers (DOIs) for Odesi datasets to improve discovery and standard citation.
- Enhanced searching and browsing features, including new search filters
- Options to explore survey questions and variables using Borealis Data Explorer and the Odesi search site.
- Options for data preview, subsetting, visualization, and analysis using Borealis Data Explorer.
- Ability to download files directly from the Odesi search site dataset landing pages.
What will happen to the links that I have saved from the previous version of Odesi?
Scholars Portal will be setting up a website URL redirect process for links from the previous Odesi site to the new site. Links that had an Odesi survey ID embedded will be redirected to the new site’s dataset landing pages.
Previous Odesi Dataset URL Example
This redirect process will be active for a period of six months, beginning October 4, 2023. After six months, these automatic redirects will cease, and you will need to update links for the new Odesi site.
Odesi’s Nesstar Repository
A static copy of Nesstar will remain available ‘as is’ for reference purposes for a period of six months post re-launch.
How will Odesi institutional metrics be affected?
Previously, Odesi subscribers had access to metrics that were relevant to their own institutions. With the new Odesi – and with more open data collections in Odesi – metrics are no longer available by institution. New open metrics reports for Odesi’s collections will be available on Borealis.
Please contact us if you have any questions or concerns.
My institution would like to subscribe to Odesi. What is the subscription model for institutions outside of OCUL?
OCUL is committed to ongoing support for data curation in Odesi, and this includes review of service and subscription models. OCUL is currently working on a revised Odesi service model. More information will be available soon.
Who do I contact for help?
For general help with Odesi or for questions about the Odesi re-launch, training materials, and the new site please send us an email at odesi@scholarsportal.info.
Sep 06 2023
Voici le nouveau Odesi!
Nous sommes heureux d’annoncer que le nouveau site web d’Odesi, intégré avec Borealis, sera déployé en ligne le 4 octobre, 2023.
Au cours de la dernière année, le groupe de travail du projet de migration a travaillé fort pour s’assurer que toutes les données et les métadonnées d’Odesi soient entièrement migrées vers la nouvelle plateforme du référentiel: Borealis, le dépôt Dataverse canadien.
En savoir plus sur le nouveau Odesi et consultez un brouillon du Guide d'Utilisateur mis à jour dans sur le blog Odesi.