Purge de la base des aricles

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

J'ouvre ce sujet car j'aimerai récolter votre avis.
Mystpédia (le wiki) fonctionne exclusivement avec la base de donnée.
Ce qui veut dire que tous les articles et toutes les versions d'articles sont enregistrés en base de données.
Par exemple si vous modifiez un texte 20 fois pour ajouter une virgule ou corriger une fôte d'ortografe cela induit la dupplication en 20 exemplaires du même texte avec des modification minimes.
La taille de la base de données n'étant pas extensible à l'infini (loin de là) une purge des vieux articles et des vielles versions est nécessaire.
Comme tout bon outil internet, le Wiki n'a pas d'interface de suppression des articles de manière facile voire automatisée. Il faut donc procéder à cette purge de manière manuelle.
Zoorin et moi nous pouvons supprimer un article, mais cela ne fait que déplacer le Pb car l'article et toutes ses versions sont mises dans une autre table "Sait on jamais que l'on doive les récupérer de nouveau".
Pour les suppressions de version c'est encore pire puisqu'il n'y a rien. La seule chose possible est de supprimer l'article et de demander sa restauration en choisissant la version (la dernière) à restaurer.
Bref ce n'est pas simple du tout.

En plus de la difficulté logicielle de faire une purge facilement, ni zoorin ni moi ne connaissons facilement si telle ou telle version est importante et donc à ne pas supprimer même si ce n'est pas la dernière.
Donc le choix de dire on garde les 5 dernières versions de chacun des articles n'est pas forcément la bonne sans compter que pour pouvoir les supprimer il faut pouvoir les lister tous.

Tout cela pour dire que je me triture la tête depuis plusieurs semaines déjà pour trouver un moyen simple et rapide pour purger les articles efficacement et que je n'ai pas encore trouvé.
Comme on a plus d'idées dans plusieurs têtes que dans une, je vous demande votre avis.

daniel-pierre · Posté le: Mar 07 Nov, 2006 11:41 AM Sujet du message:

@ ulysse
là tu attaque un gros morceau !!!
Eu égard au concept même du wiki c'est le bronx total.
peut être rechercher sur le wiki français, si quelqu'un a developpé un robot ???
l'inconvénient pour l'instant c'est que personne à encore totalement revu et corrigé tout ce qu'il y avait sur le site de Blastercalm alors il y a risque de suppréssion d'articles importants.
Effectivement entre les pages , les pages persos, les pages discussions, les pages d'erreurs et autres c'est le bronx !!!
J'avais commencé une méthodologie dans la page projet, sur "pages à supprimer" , mais non suivi d'effets (hors admin il n'est pas possible d'effacer les pages), alors j'ai arrêté. Pourtant si chacun mentionne les pages à supprimer sur cette page, cela aurait un peu facilité le boulot.
-----
La récup d'anciennes versions est vitale essentiellement dans le cadre d'un intrus qui s'amuse à changer des données d'une manière insidueuse. Autrement entre 3 et 5 modif c'est amplement suffisant.

zoorin · Posté le: Mar 07 Nov, 2006 12:53 PM Sujet du message:

Je n'ai pas de vraies coméptences dans ce domaine. Tout ce que je peut faire, c'est mettre une question sur le guide des guides du wiki francophone. Mais ça, tout le monde peut le faire.

Les deux questions essentielles sont :

- existe t il un robot pour supprimer les anciennes versions d'un article ?

- Un bureaucrate ou un administrateur peuvent ils détruire réellement un article ?
_________________
Je veux qu'ils modélisent Riven, avec la bande son originale !

(livre)

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

La question je l'ai déjà posée, pour les droits je sais splus trop mais dans tous les cas comme je le disait, supprimer un article via l'interface Wiki ne fait que le changer de table.
Concernant le robot, il y a bien des scripts de maintenance mais ceux ci ne sont pas accessibles par le web.

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

Je remonte ce sujet, car s'il y a beaucoup de corrections et d'ajouts et de modifications, on va exploser la base de données.
Etes vous d'accord pour une purge drastique ?

JollyStone · Posté le: Mer 07 Fév, 2007 09:58 AM Sujet du message:

Je n'ai jamais bien compris comment faire des manipulations directement sur la base de données. Mais si les versions de page sont déplacées dans une autre table, il suffit de supprimer cette table et de la recréer après toutes les suppressions de version. Non ?
Pure déduction logique de ma part. 1ouais

Maintenant, il est vrai qu'avec mes relectures et corrections, les versions se multiplient très vite. Puisque je crains d'avoir "cassé" quelques liens, il est peut-être intéressant de ne supprimer que les versions situées entre la dernière version avant correction et la dernière en date (la version actuelle). Je peux lister au fur et à mesure les pages sur lesquelles j'ai appliqué des corrections, si c'est utile.

Ceci dit, quel est le poids réel d'une version ? À mon avis ça ne doit pas être bien lourd. Ce n'est que du texte.
Ce sont les images qui ont un poids plus conséquant et ça ne doit pas entrer en compte dans ce cas-ci puisque j'imagine que les images sont "appelées" dans la page mais n'en font pas partie intégrante. Enfin, il me semble.

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

Comme Daniel aime le dire ;) Wiki a de gros défauts,
La gestion des version en est aussi une, elle est très performante mais la suppression des pages est débile.
Globalement pour faire simple, tu as une table référencant les pages et les versions et une table contenant les textes.
Quand un admin demande de supprimer une version d'une page, c'est sa référence qui est passé dans une table d'archivage, le fait de supprimer cette table ne supprime en rien les textes associés et provoque ensuite des incohérences de tables.
Autre bizarerie, il existe un programme de purge ce programme assez simpliste permet de ne garder que la dernière version d'une page en purgeant tous les textes et les versions.
Mais il ne touche pas à la table des archives (c'est à dire la table des pages supprimées).
Cette débilité à au moins un avantage c'est que si on veut purger la base en gardant certaines versions, il suffit de supprimer ces pages avant de passer la purge.
Globalement pour la taille que cela prend, mes derniers essais donnaient :
On a une base d'un peu plus de 35 Mo, sur ces 35 Mo on a 22Mo de textes de versions qui sont donc purgeable.
Pour info notre hébergement conseille des bases ne dépassant pas 25Mo.

zoorin · Posté le: Mer 07 Fév, 2007 11:42 AM Sujet du message:

J'avoue humblement que j'avais dit il y a un certain temps que je ferais le tri des pages les plus grasses, et que je ne l'ai pas fait, pris par la rédaction des articles. 1mmm

Est ce que l'un de vous (Daniel-pierre, Fingolfin ou Jollystone) voudrait bien m'accompagner dans ce grand nettoyage ? On lui refilerais les droits de suppression et on s'y mettrait une bonne fois.

@ Ulysse

Par contre, à terme, je pense que la base dépassera les 25Mo. Plus je survoles des articles, plus je me dis qu'il manque beaucoup d'illustrations. Et il manque encore tellement d'articles ....
_________________
Je veux qu'ils modélisent Riven, avec la bande son originale !

(livre)

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

Ce n'est pas les images qui prennent de la place vu qu'elles ne sont pas en Bdd.

Globalement on a un peu plus de 300 pages dans le site actuellement mais cela a généré 7800 enregistrements dans la table "text"
Donc avec la purge, puis une gestion courante des pages et des versions on devrait pouvoir encore mettre un très grand nombre de pages sans dépasser nos quotas

JollyStone · Posté le: Mer 07 Fév, 2007 12:21 PM Sujet du message:

daniel-pierre · Posté le: Mer 07 Fév, 2007 12:46 PM Sujet du message:

@Ulysse
pas de pb pour une purge , par contre je ne comprends pas très bien pourquoi la DB serait limité à 25 Mo ???
@Zoorin
En son temps , il y avait une rubrique pour mentionner les pages à supprimer dans le projet, catégorie maintenance. J'avais arrêté de la remplir car les pages n'ont jamais été supprimées par les personnes détenant la qualification requises.
Il serait peut être bon de mettre à nouveau cette rubrique à jours.
@Tous
Attention à rester prudent sur la suppression de pages. Certainnes pages semblent anodines et pourtant, elles font fonctionner d'autres pages ; d'autres semblent vides, or elles contiennent des routines de programmes.
--
Dans un premier temps je propose qu'au fur et à mesure nous listons les pages à supprimer dans la page prévue. Et que chacun puisse donner son avis avant suppression des dites pages.
Le wiki est capricieux.

zoorin · Posté le: Mer 07 Fév, 2007 21:55 PM Sujet du message:

@ Daniel - Pierre

Oui, tu as raison, il faut faire une page pour lister les choses à supprimer (anciennes versions des pages comprises), et que les autres regardent pour vérifier que le premier ne soit pas allé un peu vite.

Sur cette page, il faudrait mettre :

- les pages à supprimer entièrement. (surtout utile pour les erreurs dans les titres de pages)

- Les anciennes versions à supprimer, en étant précis sur les versions. Pour les articles où une personne à travailler de manière importante, je propose de laisser une page initiale pour avoir le souvenir de l'initiateur. (je pense là surtout aux solutions) Il peut être suffisant de ne supprimer que les versions intermédiaire, pour n'en laisser que deux.

@ Jollystone et aux autres

Cela vous va pour commencer ? Voulez vous que soit élaborée une méthode de tri ?
_________________
Je veux qu'ils modélisent Riven, avec la bande son originale !

(livre)

JollyStone · Posté le: Mer 07 Fév, 2007 22:40 PM Sujet du message:

Je préfère une méthode de tri, en effet.
Dans l'absolu, je ne vois déjà pas comment différencier ce qui doit être précieusement conservé et ce qui est bon pour la corbeille.
Si ce n'est les versions intermédiaires dans les corrections que j'ai déjà apporté.
Il faut dire que j'ai vraiment très peu de pratique du système wiki.

daniel-pierre · Posté le: Jeu 08 Fév, 2007 07:31 AM Sujet du message:

Avec wiki la prudence s'impose.
Comme à priori, ils éprouvent énormement de difficultés à écrire un code correct, c'est blindé d'add-ons, effectués pour certains par les clients, et à chaque mise à jours c'est le Bronx.
Par ailleurs comme il y a énormément d'incohérences, ils imposent des restrictions de fonctionnement (cf wiki français et c'est pas triste !!! c'est plus facile d'interdire que de corriger un code source !!!).
Bon pour être clair c'est un logiciel que je ne conseille absolument pas du tout ; on fait avec c'est tout. Ceci étant bien entendu un avis purement personnel.

zoorin · Posté le: Jeu 08 Fév, 2007 07:59 AM Sujet du message:

Logiques de l'opération.

* Conserver l'article actuel, sauf s'il est inutile. S'il est vide, demander au créateur, ou à moi.

* Conserver une ou deux étapes importantes de la rédaction de l'article.

* Conserver une trace de tous les contributeurs.

* Faire le ménage de tout le reste.

Je propose donc la méthode suivante :

- On prends des pages de grandes tailles. On peux les avoir avec la fonction tri des "pages spéciales". Utilisez autant la fonction "Articles avec le plus de révisions" que la fonction "Pages longues"

- On remonte un peu dans le temps (fonction historique) pour retrouver une version largement antérieure rédigée par un autre que le dernier contributeur. Si une seule personne a apporté des modifications, on supprime toutes les versions. Si d'autres personnes n'ont pratiquées que des modifications mineures, on les supprime également.

- On supprime avec une méthode dont je ne me souviens plus le protocole. Ulysse ? Tu m'avais expliqué autrefois, en direct, et je ne me souviens plus. (oui, bon je suis vraiment pas un technicien dans l'âme....)

Et voila. Ça vous va pour commencer ? Comment améliorer ?
_________________
Je veux qu'ils modélisent Riven, avec la bande son originale !

(livre)

JollyStone · Posté le: Jeu 08 Fév, 2007 11:33 AM Sujet du message:

Ça me semble clair. Mais attendons la bonne méthode de suppression.

Par prudence, n'est-il pas mieux que chacun fasse l'inventaire des pages à supprimer et que celui qui connaît le mieux l'ensemble du MYSTpédia s'occupe seum des suppressions ?
J'espère que les pages et les versions sont facilement distinguables (je n'ai pas encore vérifié).

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

Je vais essayer de résumer la situation le plus clairement possible :

Quand vous "supprimer" un article dans le mystpédia, vous supprimer toute la page ainsi que toutes les versions de cette page (visualisation dans "historique")
Quand vous appuyez sur le bouton "Valider", toutes les références à cette page et a ses versions sont mises dans la table "archive", les textes (corps de l'article) ne bouge pas de la table des textes.

Pour remettre la page en place, il faut la restaurer, cliquer sur le lien "Désirez-vous afficher ou restaurer XX modifications effacées"
Ne pas oublier de prendre la dernière version et choisir les versions interressantes.
Pour ma part une version interressante c'est la dernière version qui vient après une série de modifications du même auteur.

Ca c'est le descriptif normal d'une purge régulière des articles.
Or cela n'a jamais été faitet il serait peut être laborieux de passer page par page pour faire le tri dans les versions.
La solution pourrait être de purger une fois pour toute la base et de repartir sur une base saine.

Coté batch :
Le batch de purge supprime tous les articles et leurs versions sauf la dernière existante pour chaque page ainsi que celles passées dans la table des archives (chose complètement débile)

Il n'existe pas de batch de suppression qui permet de supprimer efficacement ce qui a été placé dans la table des archives.

Donc soit
On purge les yeux fermés, on obtient une base où il reste que la dernière version des articles et on par de cette base pour continuer sur quelque chose de propre.
soit
On continue notre suppression d'article petit à petit avce restauration des versions interressantes
Et je fabrique un batch qui purge efficacement les documents archivés

Pour résumer soit on prend la manière forte soit on prend la manière douce.

Votre avis ???

daniel-pierre · Posté le: Jeu 08 Fév, 2007 18:07 PM Sujet du message:

@Ulysse
Le plus judicieux est de repartir sur une data base propre. Il n y a guère d'incidence pour nous. La dernière version est amplement suffisante.
Il faut juste garder une sauvegarde de la DB actuelle au cas ou et la détruire dans quelques temps.

zoorin · Posté le: Jeu 08 Fév, 2007 19:09 PM Sujet du message:

Bon, ok.

Moi, cette solution me va. Elle implique une seule chose qui me gène un peu, c'est la disparition comme contributeur de personne qui ont fait de gros articles. Ainsi, on ne verra plus Jollystone et Nouc comme créateur de la solution de Myst.

Bon, je sais, cela ne sert pas à grand chose, mais voila, c'est comme ça, j'aime la reconnaissance du travail bien fait.
_________________
Je veux qu'ils modélisent Riven, avec la bande son originale !

(livre)

JollyStone · Posté le: Jeu 08 Fév, 2007 21:32 PM Sujet du message:

daniel-pierre · Posté le: Ven 09 Fév, 2007 00:01 AM Sujet du message:

Nous sommes de passage sur cette basse terre, alors pour moi perso pas grave.
Sinon une chose simple à faire c'est de mettre son nom et la date dans le code source en non visible.
Cette méthode présente l'avantage pour une personne qui souhaite modifier une page, de savoir qui l'a effectuée et ainsi de pouvoir contacter cette personne au cas où.

zoorin · Posté le: Ven 09 Fév, 2007 07:08 AM Sujet du message:

Bon, comme c'est moi que ça gène, je vais me débrouiller, vous inquiétez pas. ;)
_________________
Je veux qu'ils modélisent Riven, avec la bande son originale !

(livre)

JollyStone · Posté le: Ven 16 Fév, 2007 14:07 PM Sujet du message:

Si j'en crois la petite visite que je viens de faire dans l'historique d'une page au hasard, la purge n'est pas encore faite.
Notez que je ne suis en rien pressé.
Je me dis qu'il est peut-être préférable que j'attende pour continuer les corrections.

De plus, puisque je ne suis pas arriver à résoudre mon problème pour rejouer à Revelation, j'ai réinstallé Riven. 1ouais

Et, voyant que la solution de ce deuxième volet de la série n'est pas encore écrite sur MYSTpédia… J'ai commencé à la rédiger en me basant sur l'organigramme créé par BlasterCalme. clin2

Une petite question : Préférez-vous que j'attende d'avoir tout rédigé avant de mettre cette solution en ligne ou bien que j'ajoute chaque partie petit à petit, au rythme de sa rédaction ?

daniel-pierre · Posté le: Ven 16 Fév, 2007 14:33 PM Sujet du message:

@Jollystone
Tu peux mettre en ligne au fur et à mesure ; c'est toi qui voit.

Ulysse · Ecrivain Age: 52 Inscrit le: 20 Sep 2006 Messages: 1003

[quote="JollyStone"]Si j'en crois la petite visite que je viens de faire dans l'historique d'une page au hasard, la purge n'est pas encore faite.
Notez que je ne suis en rien pressé.
Je me dis qu'il est peut-être préférable que j'attende pour continuer les corrections.
/quote]

J'ai créé un script qui permet de purger que les articles ou versions supprimés plutôt que de tout supprimer d'un bloc. Zoorin préfère.
Cela ne doit en rien arrêter tes corrections. de tout manière le site va continuer à vivre, le wiki a justement été choisit car tout le monde peut corriger (à tort ou à raison) les pages