Base de donnée articles ?

Venez discuter ici des anciennes revues informatiques.

Modérateurs : XavierSnp, Soily, Princeps.Bonus, Fred_G, retro_lover

Symoon
Legendary
Messages : 58
Enregistré le : 31-03-2007 21:27

Base de donnée articles ?

Message non lu par Symoon »

Bonjour,
Question bête: est-ce qu'il existe une base de données répertoriant les articles des magazines ?
Par exemple si je cherche un article sur un jeu spécifique, que ça me sorte les revues (et pages ;-)) concernées ?

J'ai un vague souvenir d'un gros fichier Excel téléchargé je ne sais où il y a bien longtemps (peut-être pour des "trucs et astuces"). Il y a aussi un site de jeux vidéo (Amiga Magazine Rack) qui fait un peu ça:
http://amr.abime.net/
Mais ça ne couvre pas la période 8-bits...

Avant de réinventer la roue pour la machine et la période qui m'intéresse, savez-vous si qqchose de similaire existe déjà avec les magazines français ?
Avatar du membre
Kantaro
Legendary
Messages : 334
Enregistré le : 01-02-2010 15:11
Localisation : Reims / Châlons

Re: Base de donnée articles ?

Message non lu par Kantaro »

Bonjour,

il y avait eu ce projet sur ce forum, sur ce sujet

http://forum.abandonware.org/viewtopic.php?f=14&t=3488

et sur d'autres sujets plus anciens également (ainsi que sur d'autres forums "rétro").

Je ne sais pas où en sont les discussions avec l'association MO5, mais sachant que Fredo est assez chargé ces temps-ci (travail + enfants), j'imagine qu'il a mis le projet en pause.

Après, rien ne t'empêche de faire quelque chose de ton côté si tu le souhaites (et, si tu es d'accord bien sûr, cela pourra servir à d'autres contributeurs ultérieurement).
Pour t'aider dans la conception d'une base de données, car le fichier Excel n'est franchement pas satisfaisant pour ce genre de choses, il faut une vraie base de données, tu peux regarder sur ce sujet

http://forum.abandonware.org/viewtopic.php?f=14&t=3093

le dernier message de la première page avec une ébauche, puis les suggestions ou remarques de Soily et moi-même dans la deuxième page.
Symoon
Legendary
Messages : 58
Enregistré le : 31-03-2007 21:27

Re: Base de donnée articles ?

Message non lu par Symoon »

Merci pour les précisions !

Je bosse 65h par semaine, je ne pourrai pas avant je ne sais quand ;)
Mais j'ai ça en tête depuis, euh, une dizaine d'années lol
Avatar du membre
Fredo_L
Scientifique dans l'âme !
Messages : 6880
Enregistré le : 26-12-2001 13:02
Localisation : Paris
Contact :

Re: Base de donnée articles ?

Message non lu par Fredo_L »

Tu trouveras des fichiers EXCEL ici : http://www.abandonware-magazines.org/utilitaires.php (bas de la page).

Faire un tel projet serait très intéressant et cela intéressait d'ailleurs MO5.COM.
Comme l'a dit Kantaro, des pistes avaient été lancées mais rien de concret n'a été fait derrière.
Je pense que je serais capable de créer les outils nécessaires pour créer et gérer la base de données, mais cela me prendrait trop de temps, et puis, je ne suis pas certain qu'il y ait ensuite suffisamment de volontaires pour la remplir. Le mieux serait donc que ça se fasse en collaboration avec MO5.COM
N'hésite pas à les relancer pour savoir à où en est ce projet.
Vinvin
Legendary
Messages : 129
Enregistré le : 27-06-2012 22:48

Re: Base de donnée articles ?

Message non lu par Vinvin »

Je trouve ce projet très intéressant également.
Quels seraient les champs de la base de données ?

Vu les que les sommaires des magazines sont dans 5-6 premières pages, ça devrait être facile à faire mais ça prend un peu de temps ...
Avatar du membre
Fredo_L
Scientifique dans l'âme !
Messages : 6880
Enregistré le : 26-12-2001 13:02
Localisation : Paris
Contact :

Re: Base de donnée articles ?

Message non lu par Fredo_L »

Vinvin a écrit :Quels seraient les champs de la base de données ?
http://www.abandonware-magazines.org/ba ... esmags.php
Cette page contient pas mal d'informations sur les champs de la base de données.
J'avais fait cette page à l'attention des gens de MO5.COM pour leur indiquer de quoi j'avais besoin.

A priori, remplir la base de données ne demanderait pas de compétences extraordinaires, mais ce serait un travail très très long. D'où l'importance que le projet regroupe un maximum de monde.
Symoon
Legendary
Messages : 58
Enregistré le : 31-03-2007 21:27

Re: Base de donnée articles ?

Message non lu par Symoon »

Hello et désolé pour mes passages épisodiques, mais le boulot la vie tout ça quoi.
Merci pour les liens vers les fichiers Excel ! C'est déjà un début énorme (même si je ne trouve pas le test de Mercenary 3 dans la Joybase, ben alors quoi les gars ce n'est pas complet ? ;) )

Je regarde donc la Joybase, en effet le collaboratif semble la seule solution pour avancer. "tiens j'ai envie de relire tel numéro, hop j'en profite pour compléter la base".
Est-ce qu'il existe un moyen simple de remplir en partagé des fichiers comme ça ?
Google drive j'imagine, mais je l'ai utilisé une fois il y a quelques années et je ne sais plus pourquoi mais j'ai souvenir que son utilisation m'était un peu pénible...
Loopingstar
Hero
Messages : 38
Enregistré le : 04-04-2010 14:57

Re: Base de donnée articles ?

Message non lu par Loopingstar »

Je suis moi-même en train de faire un moteur de recherche pour le site abwm.
Mon but est de faire un moteur de recherche qui permette de trouver rapidement une page d'un magazine par rapport à un mot clé.
Exemple : Je tape "mean arenas", et ça me sort tous les Magazines dont les Numéros ont des pages qui contiennent "mean arenas"; Je n'ai plus qu'à cliquer pour aller voir le test ou la news.
Je peux également cocher des filtres (par ex. "Machine: Amiga", "Editeur: Ice software", etc.).

On a la possibilité de créer des Listes, qui vont permettre de "flagger" les Articles, et permettront également aux internautes de "filtrer" leurs recherches.
Un Article peut avoir une ou plusieurs listes et chaque liste peut avoir plusieurs éléments cochés (par exemple, dans la liste "Machines", on peut cocher "Amiga, Amiga 500, Amiga 1200, etc.).
Les listes peuvent être créées en fonction des besoins et des goûts de chacun.

Il y aura deux niveaux : Les administrateurs et les contributeurs.
Ce sont principalement les contributeurs qui s'occuperont d'alimenter la base.
A terme, il y aura des statuts qui permettront de savoir si un numéro est en cours de rédaction, par qui, quels sont les articles déja créés, etc.

La logique est la suivante :

Magazines
|_ Numéros
|_ Pages
|_ Articles (+ Listes)

Les Magazines, Numéros et Pages sont récupérés automatiquement sur le site de abwm (en cliquant simplement sur un bouton).
A noter que je me sers des mêmes IDs en base que abwm, pour éviter les décalages au niveau des requêtes, liens, etc.

Les Articles sont à créer (le boulot le plus long).
Les Listes sont à créer et enrichir en fonction des besoins (Par exemple, si un contributeur crée un test sur Colecovision et que la machine n'existe pas dans le système, il pourra la créer dans la liste "Machines", afin de pouvoir le cocher par la suite. "Colecovision" sera ensuite disponible pour les autres contributeurs).
C'est dans les Articles que le moteur de recherche ira "piocher" les informations.
Les Articles contiennent un champ texte (c'est le contenu textuel de la page) et une ou plusieurs Listes personnalisées : Type de l'article (publicités, tests, news, etc.), Machine (Amiga, Sega Mégadrive, etc.), Editeur, etc...

Une Page peut avoir un ou plusieurs Articles :

Note importante : Comme dans toute saisie, c'est au contributeur de définir ce qui peut être pertinent pour l'internaute, sur la page. Plus il rentre d'informations, mieux c'est, mais ça demande plus de travail...

Procédure :

- Il peut y avoir un seul article par page. Dans ce cas, tout le contenu important (titre des jeux, etc...) se trouve dans cet article.
C'est plus rapide, mais ca ne permet pas à l'internaute d'affiner sa recherche avec des filtres (listes).

- Si il faut plus de précisions pour cette page, il suffit de rajouter autant d'articles que de paragraphes contenus dans cette page.
L'internaute pourra affiner sa recherche (par exemple : cocher si il cherche une news ou un test, si c'est sur Sega Mégadrive ou Super Nintendo, etc.), mais en contrepartie, ca demande plus de travail au contributeur.

Par exemple, concernant cette page de MEGA force : http://download.abandonware.org/magazin ... 20p010.jpg

1) Avec un seul article :
On peut ne faire qu'un seul article, en le flaggant comme "News" (dans la liste Type d'Article) et mettre dans le contenu :
Art of Fighting Sega Mégadrive
NBA Jam Sega Mégadrive
Censure

Jammit Sega Mégadrive / Virgin
Dragon Sega Mégadrive, Sega Game Gear, Sega Master System / Virgin

2) Avec plusieurs articles :
Ou alors, pour donner plus de détails, on peut créer 5 Articles, en les flaggant "news" et en cochant dans les listes les informations comme la Machine, l'Editeur, etc.
De plus ca permet de mettre plus de contenu dans le champ texte, pourquoi pas le contenu OCRisé de l'article ? (Pour les plus courageux ^^).


Ce qui est fait :

- Partie Contributeurs : à faire
- Partie Magazines (liste, ajouts, modifications, suppressions, mises-à-jour à partir de abwm) : OK
- Partie Numéros (liste, ajouts, modifications, suppressions, mises-à-jour à partir de abwm) : OK
- Partie Pages (liste, ajouts, modifications, suppressions, mises-à-jour à partir de abwm) : OK
- Partie Articles : à finaliser
- Partie Listes : à finaliser
Avatar du membre
Fredo_L
Scientifique dans l'âme !
Messages : 6880
Enregistré le : 26-12-2001 13:02
Localisation : Paris
Contact :

Re: Base de donnée articles ?

Message non lu par Fredo_L »

Super !
Je pense que quand quelque chose sera fait, cela permettra de voir s'il y a besoin de faire des corrections.
Merci d'avance !
Vinvin
Legendary
Messages : 129
Enregistré le : 27-06-2012 22:48

Re: Base de donnée articles ?

Message non lu par Vinvin »

Dans l'idée de subdiviser le travail, une première étapes serait de répertorier à quel(s) page(s) se trouve la table de matière de chaque magazine (et peut-être faire une page HTML avec toutes ces pages scannées).
En les passant à l'OCR, on va peut-être déjà économiser la moitié du temps.
Loopingstar
Hero
Messages : 38
Enregistré le : 04-04-2010 14:57

Re: Base de donnée articles ?

Message non lu par Loopingstar »

Le problème c'est que beaucoup de magazines mettent dans leur sommaire exemple "News : page 150" ou "News : Page 55 à 65", mais ça ne liste pas les jeux, machines, etc. qu'il y a sur ces pages...

Exemple au hasard sur la page de ce Génération 4 : http://download.abandonware.org/magazin ... 08-009.jpg :
Il est inscrit "Tests page 66", sans plus de précisions.
Loopingstar
Hero
Messages : 38
Enregistré le : 04-04-2010 14:57

Re: Base de donnée articles ?

Message non lu par Loopingstar »

Voici quelques captures d'écran :

Les Magazines :
Image

Les Numéros:
Image

Les pages :
Image

Les Listes :
Image
Avatar du membre
Kantaro
Legendary
Messages : 334
Enregistré le : 01-02-2010 15:11
Localisation : Reims / Châlons

Re: Base de donnée articles ?

Message non lu par Kantaro »

C'est toi qui as programmé tout ça, Loopingstar ?
Je veux dire, à la main, sans utiliser de CMS, en partant de zéro ?
Si oui, je suis émerveillé *_*

Lorsque tu auras fini la mise au point de la base de données, je suis partant pour la remplir occasionnellement.

Juste 2 questions : y aura-t-il la possibilité de corriger des erreurs de saisie (par exemple faute de frappe, ou erreur de support d'un jeu) ?
Et également, vu que je vois date1 et date2 pour les magazines bimestriels, quid des magazines trimestriels (par exemple juillet, août, septembre 19XX) ?
Loopingstar
Hero
Messages : 38
Enregistré le : 04-04-2010 14:57

Re: Base de donnée articles ?

Message non lu par Loopingstar »

Oui Kantaro, je développe de zéro, sans CMS ^^.
Pour répondre à tes questions :
- Bien sur, tous les champs et listes sont éditables
- Pour les trimestriels, c'est comme pour les bimestriels : Tu mets la date de fin en Date 2. Exemple : 01/1987 à 03/1987

Voici un exemple d'édition d'article, avec les listes associées :
Image

Je vais essayer de faire en sorte que le contributeur puisse avoir la page (l'image jpeg) en regard de cet écran.
En gros, j'aimerai séparer la page en 2 colonnes avec à gauche l'image en jpeg dans laquelle on pourra "naviguer" (zoom, déplacement, etc) et à droite les articles avec les listes...
Vinvin
Legendary
Messages : 129
Enregistré le : 27-06-2012 22:48

Re: Base de donnée articles ?

Message non lu par Vinvin »

ça serait bien d'avoir une liste : "fait" ou "en cours" ou "manquant" pour les tables de matières de chaque magazine.
Loopingstar
Hero
Messages : 38
Enregistré le : 04-04-2010 14:57

Re: Base de donnée articles ?

Message non lu par Loopingstar »

Oui, ça je le prévois dans le système de gestion des contributeurs et des états de leur travail, mais j'avoue que ça reste un peu flou dans ma réflexion...
Loopingstar
Hero
Messages : 38
Enregistré le : 04-04-2010 14:57

Re: Base de donnée articles ?

Message non lu par Loopingstar »

J'ai travaillé un peu sur la logique et le plan de travil du projet.
C'est la première fois que je réfléchis à un système de base de données collaborative, j'attends vos retours :)


/!\ ATTENTION à l'orthographe de chaque mot que vous allez taper : Les noms de jeux, les éditeurs, etc.

- VOCABULAIRE UTILISE ET GENERALITES :
  • - Pour faciliter les explications, j'ai appelé ce projet "WIKI" qui correspond bien au but de ce projet.
    Comme le dit Wikipédia (http://fr.wikipedia.org/wiki/Wiki) : "Un wiki est une application web qui permet la création, la modification et l'illustration collaboratives de pages à l'intérieur d'un site web."
    - Concernant abandonware-magazines.org :
    • - Une page appartient à un numéro (il peut y avoir plusieurs pages dans un numéro)
      - Un numéro appartient à un magazine (il peut y avoir plusieurs numéros dans un magazine)
    - Concernant le WIKI :
    • - Une liste appartient à une section (il peut y avoir aucune ou plusieurs listes par section)
      - Une section appartient à une page (il peut y avoir plusieurs sections par page)
    - La logique est la suivante :
    • Magazine
      • |_ Numéros
        • |_ Pages
          • |_ Sections
            • |_ Listes (optionnel)
- WIKI :
  • - Fonctionnement du Wiki :
    • - Ce WIKI va servir à rentrer dans une base de données tout ou partie de chaque page des numéros de magazines afin d'en faciliter la recherche.
      - La recherche s'effectue dans des "sections"
      - A chaque section peut être associée des listes
    - Structure des données :
    • - Les magazines, numéros et pages sont récupérés automatiquement de abandonware-magazines.org
      - Les sections et listes sont à créer par les contributeurs et les modérateurs
- LE PROJET :
  • Le but de ce projet est de créer un moteur de recherche pour les magazines hébergés sur abandonware-magazines.org.
    Afin de trouver un jeu ou quelque chose en particulier, il faut créer pour chaque page des numéros d'un magazine, des "sections" qui vont contenir tout ou partie du contenu de la page.
    Il peut y avoir une ou plusieurs sections par page. Plus il y a de sections mieux c'est, car on peut associer des listes a chaque section.
    Ces listes sont à créer également et peuvent contenir n'importe quelle information : Types d'articles, éditeurs, machines, années, récompenses, etc.
- LES SECTIONS :
  • Il peut y avoir une ou plusieurs sections par page.
    En gros, à chaque article important d'une page correspond une section.
    Une page d'un magazine peut contenir une publicité, un test ou plusieurs articles différents comme des préviews et une interview par exemple.
    Pour une page qui ne contient qu'un test, il suffit de créer une section qui contient des informations sur le test (le titre, etc.) avec éventuellement une ou plusieurs listes. Ex : Type : test, Machine : Sega Megadrive, Année : 1995, Editeur : Electronic Arts, etc.
    Pour une page qui contient plusieurs articles, il suffit de créer une section par article en modifiant les listes à chaque fois. Ex Type : Test ensuite Type : Publicité ensuite Type : Preview, etc
- LES LISTES :
  • Il peut y avoir aucune ou plusieurs listes par section.
    Les listes vont servir à filtrer les résultats de la recherche.
    Les listes vont également servir à trier l'affichage des informations : On pourra afficher tout ce qui concerne l'Amiga 1200, ou la Nintendo 64, ou Team 17, ou les récompenses Tilt d'Or, etc...
- CONTRIBUTEURS :
  • - Un contributeur peut éditer un numéro seulement si son statut est "Editable (non verrouillé)"
    - Quand un contributeur veut éditer un numéro, il clique sur "Editer". Cela à pour action de "verrouiller" ce numéro et lui seul peut l'éditer.
    - Quand un contributeur a fini (qu'il a complété toutes les pages), il clique sur "Finaliser l'édition"
    - Un contributeur ne peut éditer qu'un seul numéro à la fois. Il doit finaliser le numéro en cours pour en commencer un autre
    - Un contributeur ne peut pas éditer un numéro qu'un autre contributeur est en train d'éditer
    - Un contributeur peut arrêter l'édition d'un numéro, même si celui-ci n'est pas terminé
    - Un pourcentage de "finalisation" sera automatiquement appliqué à chaque numéro, selon cette règle :
    A chaque page doit correspondre au moins un article décrivant la nature de la page et son contenu.
    Si le magazine possède 80 pages, il doit y avoir au moins 80 articles associés.
    Si le magazine ne possède que 40 articles sur les 80 pages, cela signifie qu'il est finalisé à 50%.
    - Ce que peut faire un contributeur :
    • Magazines :
      • - Créer un nouveau magazine
        - Mettre-à-jour les magazines
        - Editer/Enregistrer un magazine
      Numéros :
      • - Créer un nouveau numéro
        - Mettre-à-jour les numéros
        - Editer/Enregistrer un numéro
      Pages :
      • - Créer une nouvelle page
        - Mettre-à-jour les pages
        - Editer/Enregistrer une page
      Sections :
      • - Créer une nouvelle section
        - Editer/Enregistrer
      Listes :
      • - Créer une nouvelle liste
        - Editer une liste
      - Ce que ne peut pas faire un contributeur :
      • - Supprimer un magazine
        - Supprimer un numéro
        - Supprimer une page
        - Supprimer une section qui ne lui appartient pas
        - Supprimer une liste qui ne lui appartient pas
- MODERATEURS :
  • - Le rôle des modérateurs est de vérifier que les contributeurs respectent bien le fonctionnement du site
    - Un modérateur a tous les droits, il peut intervenir sur tous les aspects
    - Un modérateur peut également faire le travail d'un contributeur
    - Un modérateur peut modifier le statut d'un numéro en :
    • - Editable (non verrouillé) > Aucun contributeur n'a encore édité ce numéro et n'importequel contributeur peut l'éditer
      - En cours d'édition (verrouillé) > Un contributeur est en train d'éditer ce numéro et aucun autre contributeur ne peut l'éditer
      - En attente de validation (verrouillé) > Un contributeur a finalisé l'édition (100 %) et un modérateur doit valider ce numéro
      - En attente de correction (verrouillé) > Un modérateur à vérifié ce numéro et il comporte des erreurs, il a donc fait un retour au contributeur
      - Finalisé (vérouillé) > Le modérateur à validé ce numéro, plus personne ne peut l'éditer
      - Non éditable (verrouillé) > Pour une quelconque raison, ce numéro ne peut être édité
    - Quand un modérateur voit le pourcentage d'édition d'un numéro à 100 % (le contributeur a donc fini son travail), il est de son devoir de le vérifier et, si tout est bon, de le passer en "Finalisé", et s'il y a des erreurs de le passer en "En attente de correction"
- COMMUNICATION ET ACTIVITE
  • - Un système de messagerie interne va permettre de faciliter la communication entre les contributers et modérateurs
    - Un système d'historique d'activité par utilisateur va permettre de savoir qui a fait quoi, pour éventuellement communiquer avec lui via la messagerie
    - Un système de statut permettra de savoir d'un simple coup d'oeil ou en est l'état d'un numéro
Avatar du membre
Kantaro
Legendary
Messages : 334
Enregistré le : 01-02-2010 15:11
Localisation : Reims / Châlons

Re: Base de donnée articles ?

Message non lu par Kantaro »

Bonsoir,

pour la validation d'un numéro par un modérateur, le modérateur doit-il à nouveau relire toute la revue et tout re-vérifier page par page ? Je ne suis pas sûr d'avoir compris sur ce point là...

Sinon, je n'ai pas de retours particuliers à faire, si ce n'est que ça m'a l'air très bien pensé. :)
J'imagine qu'il ne te reste plus que de "petites" finalisations à faire avant d'ouvrir :)
Avatar du membre
Fredo_L
Scientifique dans l'âme !
Messages : 6880
Enregistré le : 26-12-2001 13:02
Localisation : Paris
Contact :

Re: Base de donnée articles ?

Message non lu par Fredo_L »

Merci pour ton travail.
Il faudra que je relise tout ça à tête reposée avant de te donner mon avis. Je verrai ça à mon retour de vacances.
Cependant, j'ai quelques doutes sur la modération car cela me paraît un peu compliqué à mettre en place. Dans le cas de certains grands projets communautaire, de la modération est indispensable, mais dans le cadre de notre projet, j'ai peur que ce soit complexe. Je serai davantage pour faire confiance aux gens. A la limite, pour son premier ajout, cela peut être bien de faire une relecture pour vérifier que c'est bien conforme à ce qui est désiré, mais une fois que tout est bon, on peut faire confiance.
J'en dirai plus à mon retour de vacances.
Avatar du membre
Fred_G
Legendary
Messages : 1786
Enregistré le : 01-04-2006 18:52
Localisation : Rodemack (57), Choisy-le-Roi (94)
Contact :

Re: Base de donnée articles ?

Message non lu par Fred_G »

C'est déjà pas facile de modérer le forum (ne serait-ce que la section des numérisations en cours), alors modérer une base de données de tous les articles dans tous les magazines, ça parait impossible.
Always listen to experts. They'll tell you what can't be done, and why. Then do it.
-Colin Plumb, comp.sys.amiga
Répondre