OpenRefine/Réconciliation et enrichissement

Un livre de Wikilivres.
Sauter à la navigation Sauter à la recherche


Avec Wikidata[modifier | modifier le wikicode]

Reconciliation / Enrichissement[modifier | modifier le wikicode]

Voir la procédure proposée par Mathieu Saby [1].

Voir la procédure proposée par Maiwenn Bourdic [2].

Voir aussi[modifier | modifier le wikicode]

Avec un CSV[modifier | modifier le wikicode]

Dans ce cas nous allons réconcilier en vue d'une normalisation nos données dans le projet Openrefine ouvert et des données externes dont nous disposons sous forme de fichier .csv.

Nous allons effectuer pour cela un fuzzy maching. La manoeuvre va nous permettre de réconcilier des données dont l'orthographe est plus ou moins proche et de récupérer le cas échéant leurs identifiants externes. Pour tout autre enrichissement, il faudra se tourner dans un second temps vers d'autres procédures.

La plupart des informations pour réaliser cela ont été tirées du tutoriel video sur ce sujet réalisé par Ettore Rizza sur le sujet [3].

Reconciliation[modifier | modifier le wikicode]

  1. Lancer Openrefine;
  2. Créer un projet OpenRefine à partir de nos données A de base;
  3. Créer un dossier de travail sur notre ordinateur;
  4. Créer un fichier .csv avec nos données B avec lesquelles on veut réconcilier les données A. Le fichier doit dispose de deux colonnes, l'une avec un identifiant unique (ex.1, 2, 3 etc.) et une seconde avec les valeurs que l'on souhaite réconcilier. Enregistrer ce fichier dans le dossier de travail;
  5. Télécharger le plugin d'OpenRefine permettant le fuzzy matching [4] qui est sous la forme d'une archive JAVA;
  6. Enregistrer ce plugin dans le dossier;
  7. Activer le plugin au travers d'une invite de commande, à partir du dossier dans lequel l'archive JAVA a été déposée, au moyen de la commande suivante (sans les crochets) :
    java -jar [nom de l'archive] [le nom de fichier de référence] [Nom de la colonne qui servira au matching] [Nom de la colonne où se trouve l'identifiant unique]
  8. Retourner au projet OpenRefine avec nos données A. Choisir la colonne que nous voulons réconcilier, dans l'en-tête de colonne choisir au moyen du petit triangle : Reconcilier->Démarrer la réconciliation->Ajouter un service standard puis indiquer l'adresse URL préciser sur la page du plugin (http://localhost:8000/reconcile)->Add Service->Start Reconciling;
  9. Le matching s'est effectué;
  10. Dans le cas de doute, le service propose des différents choix, nous devons alors effectuer un choix à la main de façon sérielle ou unique.

Enrichissement[modifier | modifier le wikicode]

Via l'application java permettant le fuzzy matching, on ne peut récupérer que l'identifiant de la valeur réconciliée. Voici comment procéder :

  1. Dans le projet OpenRefine avec nos données A à présent réconciliées avec les données B du fichier .csv, il faut choisir la colonne réconciliée, dans l'en-tête de colonne choisir au moyen du petit triangle : "Éditer la colonne"->"Ajouter une colonne en fonction de cette colonne" puis:
    • Donner un "Nouveau nom de colonne";
    • Introduire une expression GREL
      cell.recon.match.id
      .

Avec une API[modifier | modifier le wikicode]

Reconcilliation[modifier | modifier le wikicode]

Enrichissement[modifier | modifier le wikicode]

Voir la procédure proposée par Mathieu Saby [5].

Enrichissement par jointure[modifier | modifier le wikicode]

Lorsque l'on dispose de données avec une clé de concordance absolument identique, il est alors possible de faire une jointure entre deux projets OpenRefine afin d'enrichir un projet par les données de l'autre.

La plupart des informations pour réaliser cela ont été tirées du tutoriel video sur ce sujet réalisé par Ettore Rizza sur le sujet [6].

Selon Ettore Rizza, il existerait au moins deux manière de faire une jointure dans OpenRefine, soit par un plugin soit par une commande GREL.

GREL[modifier | modifier le wikicode]

  1. Il faut ouvrir le projet A et le projet B dans OpenRefine;
  2. Dans le projet OpenRefine avec nos données A, il faut choisir la colonne qui servira de pivot entre les deux projets, dans l'en-tête de cette colonne choisir au moyen du petit triangle : "Éditer la colonne"->"Ajouter une colonne en fonction de cette colonne" puis dans l'interface qui s'ouvre alors:
    • Donner un "Nouveau nom de colonne";
    • Introduire cette expression GREL :
      cell.cross("titre du projet B", "titre de la colonne pivot dans le projet B").cells["titre dans le projet B de la colonne contenant les données à rapatrier dans le projet A"].value[0]
      .
    • Appuyer sur ok.

Plugin[modifier | modifier le wikicode]

Voir aussi[modifier | modifier le wikicode]

(fr) Maïwenn Bourdic, « Enrichir à partir d'un autre projet openrefine » sur https://www.patrimoine-et-numerique.fr, 12 avril 2017. Consulté le 7 décembre 2019.

Références[modifier | modifier le wikicode]

  1. (fr) Mathieu Saby, « Réconcilier des données avec Wikidata » sur Nettoyer et préparer des données avec OpenRefine : atelier pour les journées du consortium MASA, 14 novembre 2018 (mise à jour le 19 novembre 2019). Consulté le 4 décembre 2019.
  2. (fr) Maïwenn Bourdic, « Enrichir depuis Wikidata » sur https://www.patrimoine-et-numerique.fr, 12 avril 2017. Consulté le 7 décembre 2019.
  3. (fr) Ettore Rizza, « Tuto Open refine : le fuzzy matching » sur https://www.youtube.com, 28 mars 2016. Consulté le 2 décembre 2019.
  4. Reconcile-csv : http://okfnlabs.org/reconcile-csv/#download
  5. (fr) Mathieu Saby, « Enrichissement de données à partir d’API » sur Nettoyer et préparer des données avec OpenRefine : atelier pour les journées du consortium MASA, 14 novembre 2018 (mise à jour le 19 novembre 2019). Consulté le 4 décembre 2019.
  6. (fr) Ettore Rizza, « Tuto Open Refine : jointure entre deux projets (VLOOKUP) » sur https://www.youtube.com, 27 janvier 2016. Consulté le 2 décembre 2019.