Auteur : Alexander Delaporte

Produire un corpus web format XML en 15 lignes de code

Pour effectuer certaines tâches, disposer d’un corpus textuel est très utile, voire indispensable : faire des essais pour un projet dont le corpus de travail est en cours de constitution, tester des scripts et traitements, prendre en main un nouvel outil et/ou le comparer à d’autres outils similaires… Ce sont des usages qui relèvent principalement des phases préparatoires d’un projet, et pour lesquels il est surtout important de pouvoir construire un corpus rapidement et sans trop d’effort. Ce n’est pas grave si sa constitution n’est … Continuer la lecture de « Produire un corpus web format XML en 15 lignes de code »

Navigation web automatique avec Python

Dans cet article de la série d’articles consacrés à la cartographie de données linguistiques avec Python, la librairie selenium était exploitée pour réaliser des captures d’écran. Ce n’est pas sa seule utilité : le webdriver de selenium permet de naviguer sur une page web de façon automatisée, et donc de mettre en place divers degrés d’interaction. Ceci peut être par exemple utile si, lors de la constitution d’un corpus web, vous voulez récupérer des contenus qui n’apparaissent qu’après un clic sur un élément de la … Continuer la lecture de « Navigation web automatique avec Python »

Cartographier des données linguistiques avec Python – 5

Un précédent article a montré comment créer une carte à partir de données issues d’un fichier CSV, un format couramment utilisé pour les données de recherche, en linguistique ou dans d’autres domaines. Toutefois, s’agissant de données géographiques, rencontrer des données au format GeoJSON qui est spécifiquement conçu pour cet usage, n’aurait rien d’étonnant. Voici comment produire une carte HTML en Python, avec cette fois un ou plusieurs fichier(s) d’entrée au format GeoJSON. Prérequis Cet article présentera les étapes de création d’une carte HTML, en … Continuer la lecture de « Cartographier des données linguistiques avec Python – 5 »

Cartographier des données linguistiques avec Python – 4

Les cartes produites avec folium sont des cartes interactives au format HTML. Changer l’extension au moment de l’enregistrement du fichier ne permet pas d’obtenir un fichier image, par exemple : un fichier sera bien créé, mais il ne pourra pas être lu. Pour avoir un aperçu de la carte dans un format image de type PNG, il existe toujours la solution de réaliser manuellement une capture d’écran. Cette manipulation peut représenter une perte de temps (et d’énergie) certaine, en particulier si on veut générer … Continuer la lecture de « Cartographier des données linguistiques avec Python – 4 »

Cartographier des données linguistiques avec Python – 3

Les précédents articles consacrés à la cartographie de données linguistiques avec Python permettaient de créer une carte sur laquelle les informations d’un fichier CSV étaient représentées par une ou plusieurs séries de points. Dans certains cas, il est plus pertinent de ne pas représenter des points indépendants, mais plutôt une aire, une surface. Voici comment faire, toujours en partant d’un fichier CSV (ou TSV) contenant une série de coordonnées géographiques. Prérequis Je vous conseille la lecture préalable des précédents articles « Cartographie de données linguistiques … Continuer la lecture de « Cartographier des données linguistiques avec Python – 3 »

Cartographier des données linguistiques avec Python – 2

Lorsqu’on sait produire une carte avec des données représentées par des points, il est très simple d’ajouter plusieurs séries de données correspondant à autant de séries de points. Pour améliorer la lisibilité de l’ensemble, il peut devenir intéressant (voire indispensable) de ne pas afficher la totalité des données simultanément. Pour les cartes créées avec folium, c’est ce que permet de faire la classe LayerControl(). Prérequis Cet article constitue un complément à l’article Cartographier des données linguistiques avec Python – 1, consacré à la création … Continuer la lecture de « Cartographier des données linguistiques avec Python – 2 »

Cartographier des données linguistiques avec Python – 1

Certaines recherches en linguistique peuvent donner lieu à une collecte de données géographiques, et bénéficieraient alors grandement d’une représentation visuelle sous forme de carte. Même sans grandes connaissances de la géomatique, il est possible de produire des représentations cartographiques, certes basiques mais informatives. Pour commencer, je vous présente dans cet article comment produire, à partir d’un fichier CSV, une carte en HTML avec des données représentées par des points, en Python 3. Prérequis Je mets habituellement mon code à disposition sous forme de scripts. … Continuer la lecture de « Cartographier des données linguistiques avec Python – 1 »

Didόmena dans votre carnet Hypothèses

Didόmena est un entrepôt de données collaboratif qui permet aux membres des unités de recherches sous tutelle de l’EHESS de stocker durablement leurs données, mais aussi de les partager. Comme l’indiquent le site ainsi que la plaquette de présentation de la plateforme, « les données y sont décrites selon les standards de l’information scientifique et technique », qui respectent les principes FAIR : Findable, Accessible, Interoperable, Reusable. Il est notamment très simple d’afficher un jeu de données de Didόmena sur un carnet Hypothèses. Voici comment faire. … Continuer la lecture de « Didόmena dans votre carnet Hypothèses »

Sélecteur 1000 langues en HTML

Pour créer des questionnaires ou formulaires relatifs à des projets de recherche en linguistique, il est parfois nécessaire de proposer à l’utilisateur/utilisatrice de renseigner une ou plusieurs langue(s) : par exemple pour indiquer quelle(s) langue(s) lui sont connues, lister les langues présentes dans son environnement à une période donnée, spécifier quelles langue elle ou il utilise selon les contextes, renseigner dans quelle(s) langue(s) est rédigé un document donné, etc. Il est beaucoup plus simple, notamment pour analyser ensuite les réponses fournies, de disposer d’une … Continuer la lecture de « Sélecteur 1000 langues en HTML »

Dico pour qui ?

Attention, ceci est un article de vulgarisation ! Si vous avez déjà des connaissances en lexicographie bilingue, vous n’apprendrez peut-être rien de nouveau. Dans le cas contraire, cet article vous permettra de mieux comprendre comment sont conçus les dictionnaires bilingues. La lecture de l’article Les types de dictionnaires est conseillée avant d’aborder celui-ci. Les dictionnaires bilingues sont des outils d’apprentissage des langues, et on sait que dans un dictionnaire bilingue, il y a une langue source et une langue cible (éventuellement dite langue de … Continuer la lecture de « Dico pour qui ? »

SudachiPy VS spaCy

L’article consacré aux nouveaux modèles spaCy pour le chinois et le japonais montrait un exemple d’utilisation pour le chinois. Ceci avait permis de comparer la sortie produite par spaCy à celle de Jieba, étiqueteur morphosyntaxique qui avait également fait l’objet d’un article sur ce carnet. Tout comme la segmentation du chinois avec spaCy est (par défaut) issue de Jieba, la segmentation du japonais s’appuie sur SudachiPy. Puisque j’ai depuis présenté l’installation et le fonctionnement de SudachiPy, voici maintenant un aperçu de l’étiquetage du japonais … Continuer la lecture de « SudachiPy VS spaCy »

Uniformisation d’encodage en deux étapes

La lecture préalable de l’article Fiabilité de chardet est fortement conseillée. Lorsqu’on travaille avec un corpus textuel composé de nombreux fichiers dont l’encodage n’est pas uniforme, l’une des premières étapes de traitement est de convertir l’ensemble du corpus vers un encodage unique et reconnu par les outils qui seront utilisés ensuite. Il existe plusieurs façons d’y parvenir, telle que celle présentée dans cet article, qui fait appel à chardet. Toutefois, en fonction de la composition du corpus et des objectifs poursuivis, détecter et convertir … Continuer la lecture de « Uniformisation d’encodage en deux étapes »

Parser un flux de syndication avec Python

En faisant des recherches pour l’écriture d’un programme, je suis tombé par hasard sur la documentation de feedparser, qui permet de lire les informations d’un flux RSS (ou Atom) avec Python. Ce n’était pas ce que je cherchais, mais j’ai quand même voulu tester, à titre informatif : il s’avère que c’est extrêmement simple. Pour récupérer les informations d’un flux, il suffit d’utiliser la fonction parse() de feedparser, comme ceci : Cette fonction renvoie un objet de la classe FeedParserDict. Comme son nom le … Continuer la lecture de « Parser un flux de syndication avec Python »

Étiquetage morphosyntaxique avec SudachiPy

J’ai présenté dans de précédents articles deux librairies Python permettant de réaliser un étiquetage morphosyntaxique (ou POS-tagging) sur des textes écrits en chinois : PyNLPIR et Jieba. Voici maintenant quelques mots sur un étiqueteur permettant de traiter des textes en japonais : SudachiPy, la version librairie Python de l’étiqueteur et analyseur morphologique Sudachi. Installation Pour utiliser SudachiPy, installer la librairie seule ne suffira pas : comme expliqué dans la documentation, un dictionnaire est aussi nécessaire. Le dictionnaire par défaut, SudachiDict, est disponible en trois … Continuer la lecture de « Étiquetage morphosyntaxique avec SudachiPy »

Les types de dictionnaires

Attention, ceci est un article de vulgarisation ! Si vous avez déjà une certaine connaissance de la lexicographie, il ne sera certainement pas instructif pour vous. Si ce n’est pas le cas, vous trouverez ici quelques explications qui vous permettront d’aborder sereinement de prochains articles de ce carnet portant sur les dictionnaires, bilingues notamment. Les dictionnaires sont des outils couramment utilisés, dans le cadre de la scolarité ou de la vie quotidienne. On peut d’ailleurs s’en servir sans avoir une connaissance particulière des principes … Continuer la lecture de « Les types de dictionnaires »

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search