Commit Graph

12 Commits (befa141eb26f9d672ef4f1c8adad4dbc97581489)

Author SHA1 Message Date
Yohann Dedy befa141eb2 Amélioration du formatage des données extraites
Les tags, descriptions et biographies sont séparés par des sauts de
lines pour faciliter leur import dans des tables dédiées de la base de
données.
2019-10-19 20:58:39 +02:00
Yohann Dedy 6a8061a75f Ajout du champ id_video 2019-08-28 03:24:20 +02:00
Yohann Dedy 53828ccbce Ajout de requirements.txt 2019-01-28 01:13:26 +01:00
Yohann Dedy 90c1404ca5 Mise en place des processeur input/output (urlVideo, titre, date)
L'URL de la vidéo embedée a été raccourcie de manière à ne pas intégrer les options de hauteur/largeur.

Le titre est nettoyé pour ne pas avoir d'espace vide avant et après le texte.
Les retours à la ligne sont aussi supprimés lors du scraping.

La date est traduite au format J-MM-AAAA en attendant d'être entièrement compatible avec le format datetime.
2019-01-28 01:07:58 +01:00
Yohann Dedy 90d40871a6 Ajout des tags de la vidéo aux résultats 2019-01-27 22:34:08 +01:00
Yohann Dedy 898f3b83ed Mise en place et utilisation de l'item "vidéo" 2019-01-27 21:39:33 +01:00
Yohann Dedy 880cb67572 Suppression des saut de ligne et espaces en début et fin de chaînes de caractère 2018-05-21 05:15:17 +02:00
Yohann Dedy f1aaf196c6 Ajout de l'URL du billet descriptif associé à la vidéo 2018-05-12 04:06:52 +02:00
Yohann Dedy b0f57b9a37 Scraping des liens et récupération des informations dans le même spider 2018-05-12 01:21:56 +02:00
Yohann Dedy b27272d3a8 Créatio de l'item video 2018-05-12 00:46:01 +02:00
Yohann Dedy 2b0dfcd99e TODO list 2018-05-11 00:50:55 +02:00
Yohann Dedy 098bc159cb Premier commit 2018-05-10 19:31:59 +02:00