Yohann Dedy
20f0f0d3be
Spider fonctionnelle pour émissions
...
Script spécifique au site de France Musique
2020-01-28 00:51:39 +01:00
Yohann Dedy
ad75bd9d8d
Modification xpath pour le chapo de l'article
2020-01-27 23:36:32 +01:00
Yohann Dedy
f47fe47eec
Vérification si éléments existants avant INSERT
...
Le pipeline contient de nouvelles fonctions permettant de vérifier si
les émissions/épisodes/médias sont déjà dans la base de données pour
éviter les doublons.
Le champ date_modif de la table media a été amélioré pour garder une
trace d'éventuelles mise à jour/modifications de médias.
2019-12-26 01:10:13 +01:00
Yohann Dedy
ca2470bb32
Transfert sommaire vers base de données fonctionnel
2019-12-02 02:53:11 +01:00
Yohann Dedy
ebae9e4b12
Récupération simplifiée de la taille du fichier
...
URL de l'émission transmise avec l'item Episode si une association
Emission <-> Episode s'avère nécessaire lors de son enregistrement
dans la base de données
2019-12-02 02:36:32 +01:00
Yohann Dedy
52a53285d8
Meilleur nettoyage des données récupérées
2019-12-02 01:56:17 +01:00
Yohann Dedy
951e4da065
README.md : Ajout modèle BDD
2019-12-02 00:35:35 +01:00
Yohann Dedy
e6bd517660
Nettoyage url fichier
2019-12-01 22:01:20 +01:00
Yohann Dedy
1b9ac23e85
Récupération infos émission avant épisode
2019-12-01 21:59:56 +01:00
Yohann Dedy
11fd8d61c3
README.md
2019-11-29 22:15:22 +01:00
Yohann Dedy
ae81fac37e
Préparatifs scraping des infos de l'émission
2019-11-29 01:13:26 +01:00
Yohann Dedy
21aa23b892
Encore des préprocesseurs pour le titre des épisodes
2019-11-29 01:12:33 +01:00
Yohann Dedy
280ad9842b
Ajout de préprocesseurs pour les items
2019-11-28 23:59:01 +01:00
Yohann Dedy
ec40af2cce
Iteration des pages suivantes fonctionnelle
2019-11-27 00:05:34 +01:00
Yohann Dedy
557c76c2ca
Base fonctionnelle
2019-11-26 23:33:46 +01:00
f33eda3ff1
first commit
2019-11-26 22:02:40 +01:00
Yohann Dedy
Yohann Dedy