[Réglé] Transfert forumactif à phpbb : script python

Ce forum aborde toutes les questions qu'un codeur ou webmaster pourrait se poser, et n'ayant aucun rapport direct avec phpBB.
Tout ce qui peut concerner la récupération des sessions de phpBB sur votre site, doit se faire dans cette section.

Modérateur: Equipe

Règles du forum
A lire impérativement : Règlement de phpBB-fr.com

[Réglé] Transfert forumactif à phpbb : script python

Messagepar Agenor » 08 Jan 2019 à 22:37

Bonsoir à tous,

Tout d'abord grand merci pour votre forum qui est d'une aide vraiment précieuse ! :D

Possédant un forumactif je souhaiterai récupérer les données pour pouvoir ensuite passer sur phpBB et gérer moi-même tout ça.

Après m'être fait à la raison de repartir à zéro je suis tombé sur le Lalf, le logiciel d'aide à la libération de forumactif en suivant ce tutoriel. De mon côté j'ai utilisé la version éditée par MathieuMa qui utilise Python.

Le fonctionnement est assez simple, il suffit d'éditer le fichier "Config_example" avec les informations d'administration, sauvegarder et renommer le fichier en "Config" puis de lancer le script "Launcher". La progression est sauvegardée dans un fichier "Save".

J'ai eu quelques déboires pour récupérer les utilisateurs car au bout de 4 pages de 20 membres récupérés je perdais l'accès au forum avec ce message d'erreur :
RuntimeError: Forum user page in "import proteced" mode - cannot process users...
06/01/2019 03:44:54 - INFO : Sauvegarde de la progression

J'ai finalement réussi à récupérer tous les utilisateurs en utilisant plusieurs comptes administrateurs : il doit y avoir une sécurité qui empêche un compte d'accéder trop de fois à la page admin des membres. La progression était sauvegardée à chaque message d'erreur rencontré, ce qui permettait de continuer au fur et à mesure et de reprendre où l'on s'était arrêté :
06/01/2019 03:45:44 - INFO : Migration Forumactif -> PhpBB : Lalf 0.2.1
06/01/2019 03:45:44 - DEBUG : Importation des bibliothèques
06/01/2019 03:45:45 - DEBUG : Importation de la sauvegarde
06/01/2019 03:45:46 - DEBUG : Nombre d'utilisateurs sauvé : 220
06/01/2019 03:45:46 - DEBUG : Nombre de topics sauvé : 2806
06/01/2019 03:45:46 - DEBUG : Nombre de post sauvé : 0
06/01/2019 03:45:46 - DEBUG : Création de l'urlopener
06/01/2019 03:45:46 - INFO : Connection au forum
06/01/2019 03:45:46 - DEBUG : Récupération du sid
06/01/2019 03:45:46 - DEBUG : Récupération du tid
06/01/2019 03:45:47 - INFO : Récupération des membres
06/01/2019 03:45:47 - DEBUG : Utilisateurs : 18 pages de 20 membres - starting from page 11


Là où ça se gâte c'est qu'il m'arrive la même chose pour récupérer les messages, à partir d'un certain nombre de messages récupérés je perds la connexion au forum et le script n'arrive pas à se reconnecter. Je pense qu'on devrait pouvoir contourner ça en utilisant plusieurs comptes administrateurs aussi, sauf que cette partie du script ne sauvegarde pas la progression lorsque cela arrive et on est obligé de repartir à 0 (pour les messages) ...

C'est ce code python qui est utilisé. Par exemple de la ligne 274 à 350 c'est la récupération des utilisateurs avec une sauvegarde au fur et à mesure lorsqu'il y a un message d'erreur. Et de la ligne 387 à 517 la récupération des messages.

Est-ce que l'un d'entre vous saurait quelle ligne de code rajouter au moment de la récupération des messages pour qu'il y ai une sauvegarde d'effectuée lorsque l'erreur suivante est rencontrée ?
06/01/2019 12:00:35 - DEBUG : Récupération : message 9013 (topic 765)
06/01/2019 12:00:35 - DEBUG : 4801 / 47376 (10.13%)
06/01/2019 12:00:35 - DEBUG : Récupération : messages du topic 749
06/01/2019 12:00:35 - DEBUG : CONNECTION ERROR : trying to reconnect after 30s pause


J'ai testé le script sur un de mes forums de test où j'ai beaucoup moins de messages donc tout a pu être récupéré d'un coup et ça marche nickel, j'obtiens bien une sauvegarde exploitable au final : un miracle après tant d'années à entendre que c'est impossible ! Bon j'en ai un peu chié car il a fallu que je réinstalle Phpbb3.0, localement, avec une vieille version php qui soit compatible avec sous Wamp, mais c'est bon !

Merci d'avance pour votre aide précieuse !
Modifié en dernier par Agenor le 12 Jan 2019 à 03:45, modifié 1 fois.
Avatar de l’utilisateur
Agenor
Posteur néophyte
Posteur néophyte
 
Messages: 15
Enregistré le: 04 Jan 2019 à 03:06
Localisation: France

Re: Transfert forumactif à phpbb : script python

Messagepar galixte » 09 Jan 2019 à 04:54

Salut,

pourquoi n’utilises-tu pas la version de roromis https://github.com/Roromis/Lalf-Forumactif qui a été mise à jour jusqu’en 2016 là où MathieuMa n’a pas mis à jour son script depuis 2013 car peut-être que roromis à comblé cette lacune. Tu peux d’ailleurs sle lui demandé en ouvrant un ticket support depuis cette page : https://github.com/Roromis/Lalf-Forumactif/issues et/ou consulter sa documentation : https://roromis.github.io/Lalf-Forumactif/.
Communau EzCom
Image
« Traductions d’extensions & styles pour phpBB 3.1.x & 3.2.x ».
ImageListes de toutes les extensions recensées pour phpBB 3.1.x & 3.2.x.
ImageListes de tous les styles recensés pour phpBB 3.1.x & 3.2.x.

Image Tu as un forum et tu veux aussi un site web ? Regarde par ici.
Avatar de l’utilisateur
galixte
Floodeur universel
Floodeur universel
 
Messages: 10342
Enregistré le: 08 Mar 2004 à 01:40
Localisation: Sud de la France.

Re: Transfert forumactif à phpbb : script python

Messagepar Agenor » 12 Jan 2019 à 04:03

Bonsoir Galixte,

Merci pour ta réponse :) Effectivement j'avais essayé la version de Roromis en premier mais je ne comprenais pas l'installation (je me suis senti un peu bêbête :oops: ).

Je m'y suis repenché ces derniers jours et en fait je bloquais sur un truc tout con : comment exécuter des commandes d'après le tutoriel de Roromis. Si jamais quelqu'un passe par là (les sujets sur le Lalf sont assez rares avec Google), il faut :
- installer une ancienne version de Miniconda utilisant Python 3.5 vu que ça a été codé en python 3.5
- pour ouvrir un terminal de commande comme indiqué dans le tutoriel il faut, sous window, dans la recherche du menu "Démarrer", rechercher "Anaconda" et choisir le résultat "Anaconda Prompt" : c'est là que j'étais perdu :mrgreen: C'est à partir de là que l'on installe la librairie lxml et que l'on télécharge le script
- pour installer la version phpbb3.0, j'ai téléchargé wamp (grâce au tutoriel présent sur ce forum) et installé une version php antérieure (faire une recherche Google, il y a des tutoriels, j'ai pris la 5.5.X) car celle installée par défaut fonctionne pour phpbb3.2 mais pas phpbb 3.0
- importer les données sur le forum installé en phpbb 3.0 et ensuite faire la mise à jour vers phpbb 3.2, ne pas oublier de reparamétrer Wamp pour passer à la dernière version php compatible avec phpbb 3.2 ; puis exporter la base de données de ce forum sous wamp et la réimporter sur le nouveau forum phpbb en ligne
- il y a des erreurs rencontrées parfois lors du script, consulter le support technique la plupart ont déjà été demandées. Un truc tout con : en allant un peu vite j'ai mis l'URL de mon forum sous forme "http://.....fr" alors qu'il fallait tout simplement mettre "forum.fr"

En suivant soigneusement le tutoriel et en s'aidant de Google on peut largement y arriver ;) Il y a pas mal de petites choses à installer mais le plus important c'est que ça marche ! :D Et bien en plus !! Tout a été récupéré : les forums, les descriptions de forums, les messages, les sujets, les utilisateurs ! Petite bidouille : à la fin du script il faut indiquer manuellement les adresses e-mail des utilisateurs qui ont des accents dans leur pseudo ;)

Y a un sacré changement entre phpbb 3.2 et Forumactif, mais on va y arriver :P
Modifié en dernier par Agenor le 25 Jan 2019 à 21:29, modifié 1 fois.
Avatar de l’utilisateur
Agenor
Posteur néophyte
Posteur néophyte
 
Messages: 15
Enregistré le: 04 Jan 2019 à 03:06
Localisation: France

Re: Transfert forumactif à phpbb : script python

Messagepar galixte » 12 Jan 2019 à 07:14

N’hésite pas si tu as des informations supplémentaires à indiquer, cela permettra aux futurs utilisateurs de ce script d’en profiter.

Bonne continuation !
Communau EzCom
Image
« Traductions d’extensions & styles pour phpBB 3.1.x & 3.2.x ».
ImageListes de toutes les extensions recensées pour phpBB 3.1.x & 3.2.x.
ImageListes de tous les styles recensés pour phpBB 3.1.x & 3.2.x.

Image Tu as un forum et tu veux aussi un site web ? Regarde par ici.
Avatar de l’utilisateur
galixte
Floodeur universel
Floodeur universel
 
Messages: 10342
Enregistré le: 08 Mar 2004 à 01:40
Localisation: Sud de la France.

Re: Transfert forumactif à phpbb : script python

Messagepar Agenor » 25 Jan 2019 à 21:33

J'ai effectué le transfert hier : tout est nickel :wink: Mes membres sont ravis, et moi également, c'est un véritable confort d'être passés sur un hébergement phpbb et d'avoir pu me servir des conseils ici pour paramétrer le nouveau forum :)

Par contre je précise que ce script exporte uniquement les membres (adresse e-mail comprise), les sujets/messages et l'architecture du forum. Il ne faut pas s'attendre à retrouver les avatars ou les signatures. Les smiley sont exportés mais il faut les réinstaller manuellement sur le nouveau forum phpbb, ce qui fait que dans les messages exportés on se retrouve avec quelques codes smiley qui se promènent (surtout pour ceux que l'on a ajouté en plus du pack de base).
Mais personnellement ça me va très bien !

Et on peut indiquer l'URL de son nouveau forum pour modifier automatiquement les liens pointant vers des sujets que l'on a placé dans les messages : le problème c'est que ForumActif a rewrité les URL et phpbb non, et je n'ai pas réussi à rewriter les URL de la même façon donc ça n'a pas servi à grand chose ; il faut donc éditer les principaux sujets qui contiennent des liens. Mais quand il n'y a plus que ça à faire, franchement ... :wink:

J'ai suggéré la canonisation de Roromis, on verra si elle est acceptée :mrgreen:

Voilà voilà !
Avatar de l’utilisateur
Agenor
Posteur néophyte
Posteur néophyte
 
Messages: 15
Enregistré le: 04 Jan 2019 à 03:06
Localisation: France

Re: Transfert forumactif à phpbb : script python

Messagepar Sylveretour » 25 Jan 2019 à 22:52

Bonjour,

Bienvenue dans la communauté libre de phpBB donc :mrgreen:
on se retrouve avec quelques codes smiley qui se promènent (surtout pour ceux que l'on a ajouté en plus du pack de base)

Je te conseille alors d'utiliser le stk pour phpbb 3.2 -> https://github.com/AlexSheer/phpBB3.2-STK
Il comporte plusieurs outils très intéressants dont la fonction de reparse des bbcodes dans les messages.
Tu remet bien sûr avant les smileys avec les bons codes.
Avatar de l’utilisateur
Sylveretour
Roi des posts
Roi des posts
 
Messages: 734
Enregistré le: 21 Nov 2017 à 18:24
Localisation: West Coast

Re: Transfert forumactif à phpbb : script python

Messagepar Agenor » 26 Jan 2019 à 00:18

Bonsoir Sylveretour et merci pour ton accueil :D
Et encore merci pour l'outil STK version phpbb 3.2, j'avais trouvé la version 3.1 ainsi que le tutoriel ici mais pas trace de la 3.2 : c'est parfait, tous les messages ont été réanalysés et les smiley sont tous revenus puisque j'ai remis les mêmes codes :D Ca me rassure aussi d'avoir cet outil à portée de main, on ne sait jamais, en cas d'erreur sur le forum ça me servira de garde fou pour me rassurer ;)
Avatar de l’utilisateur
Agenor
Posteur néophyte
Posteur néophyte
 
Messages: 15
Enregistré le: 04 Jan 2019 à 03:06
Localisation: France

Re: Transfert forumactif à phpbb : script python

Messagepar Sylveretour » 26 Jan 2019 à 00:28

Un autre truc quasi obligatoire pour une bonne gestion de la base de données, c'est mysqldumper ->https://github.com/DSB/MySQLDumper

Il permet de faire des sauvegardes journalières très simplement.
On peut même, si on connait, programmer des sauvegardes automatiques via cron ou perl.
Avatar de l’utilisateur
Sylveretour
Roi des posts
Roi des posts
 
Messages: 734
Enregistré le: 21 Nov 2017 à 18:24
Localisation: West Coast

Re: Transfert forumactif à phpbb : script python

Messagepar pierredu » 28 Jan 2019 à 10:12

L'ennui est qu'il n'est plus maintenu.
Avatar de l’utilisateur
pierredu
Resp. Extensions
Resp. Extensions
 
Messages: 1138
Enregistré le: 29 Mai 2011 à 05:49
Localisation: Paris

Re: Transfert forumactif à phpbb : script python

Messagepar cocooncrash » 28 Jan 2019 à 10:16

sisi pierredu, mysqldumper est compatible, maintenu etc..
decouvrez l'aide complete : ICI
découvrez les règles : La_bas

Pensez a ajouter le tag [réglé] en modifiant votre premier message s'il est résolu. Merci :wink:
Avatar de l’utilisateur
cocooncrash
Resp. des modérateurs
Resp. des modérateurs
 
Messages: 7873
Enregistré le: 07 Jan 2008 à 08:29
Localisation: dans un bocal en compagnie de nemo!!

Re: Transfert forumactif à phpbb : script python

Messagepar pierredu » 28 Jan 2019 à 11:04

Je veux bien le croire. Mais ce n'est pas ce qui est dit dans le readme.md.
Je vais aller y jeter un coup d'œil (j'ai un problème avec un cron et mysqldump qui s'arrête en cours de route).
Avatar de l’utilisateur
pierredu
Resp. Extensions
Resp. Extensions
 
Messages: 1138
Enregistré le: 29 Mai 2011 à 05:49
Localisation: Paris

Re: Transfert forumactif à phpbb : script python

Messagepar galixte » 29 Jan 2019 à 19:33

Salut,

tu utilises le mode PERL Pierre ? Car moi aussi je rencontre ce type de problème avec de gros forums hébergés sur des offres mutualisés où le mode PERL atteint la limite maximale du temps d’exécution imposée par l’hébergeur.

EDIT : on ne peut pas vraiment parler que MySQLDumper est encore maintenu a en voir l’activité. Sinon j’en parlais ici, il y a un autre dépôt dépendant d’un script de e-commerce qui « maintient » cet outil : https://github.com/r23/MyOOS/tree/master/msd.
Modifié en dernier par galixte le 30 Jan 2019 à 01:10, modifié 1 fois.
Communau EzCom
Image
« Traductions d’extensions & styles pour phpBB 3.1.x & 3.2.x ».
ImageListes de toutes les extensions recensées pour phpBB 3.1.x & 3.2.x.
ImageListes de tous les styles recensés pour phpBB 3.1.x & 3.2.x.

Image Tu as un forum et tu veux aussi un site web ? Regarde par ici.
Avatar de l’utilisateur
galixte
Floodeur universel
Floodeur universel
 
Messages: 10342
Enregistré le: 08 Mar 2004 à 01:40
Localisation: Sud de la France.

Re: Transfert forumactif à phpbb : script python

Messagepar pierredu » 29 Jan 2019 à 21:16

Pour moi, j'ai une base chez OVH qui fait 1.2 Go. Le résultat de tous les dump fait environ 310 Mo. Les sauvegardes par mysqldump aboutissent une fois sur 5 ou 6 (et je suis peut-être optimiste). La sauvegarder par MySQlDumper prend à peut près 12 heures (donc on ne peut pas accepter parce que les relations entre les tables peuvent varier).

Curieusement, sur un mois, il arrive que la sauvegarde par mysqldump atteigne son objectif une ou deux fois. Les temps d'exécution varient entre 12, 15, 20 et même 120 s. La sauvegarde est exécutée dans un script PHP où j'ai déclaré que le temps maximal d'exécution était de 600 s. On devrait normalement être bon.

Après, je peux toujours lancer la sauvegarde depuis le panneau d'administration, mais j'aimerais bien avoir une solution automatique, où j'aie juste à cliquer sur un lien pour récupérer les données si je veux absolument avoir les données chez moi.
Avatar de l’utilisateur
pierredu
Resp. Extensions
Resp. Extensions
 
Messages: 1138
Enregistré le: 29 Mai 2011 à 05:49
Localisation: Paris

Re: Transfert forumactif à phpbb : script python

Messagepar Bryx » 22 Fév 2019 à 11:52

Hello,

Je remonte, mais je partage mon moment avec vous :)
Forumactif m'a bloqué l'accès aux profils des membres :D

Forumactif, devient payant et je comprends, mais je ne peux pas mettre 50€ par an juste pour bénéficier d'un service qui est à la base gratuit, je peux comprendre que cela demande du temps, mais je trouve lamentable de faire payé un service qui est gratuit, c'est comme vendre des forums phpBB qui sont gratuits, c'est un abus de la licence.

Mon coup de gueule du jour, et j'espère que la nouvelle année 2019 démarre bien pour le staff du forum, bientôt phpBB 3.3 ici ?
Avatar de l’utilisateur
Bryx
Graph Contest Winner
Graph Contest Winner
 
Messages: 592
Enregistré le: 03 Aoû 2012 à 10:42
Localisation: France

Re: Transfert forumactif à phpbb : script python

Messagepar galixte » 22 Fév 2019 à 19:09

Ce qui est vendu c’est l’hébergement et la maintenance de l’outil proposé pas l’outil en lui-même.
Modifié en dernier par galixte le 27 Fév 2019 à 16:03, modifié 1 fois.
Communau EzCom
Image
« Traductions d’extensions & styles pour phpBB 3.1.x & 3.2.x ».
ImageListes de toutes les extensions recensées pour phpBB 3.1.x & 3.2.x.
ImageListes de tous les styles recensés pour phpBB 3.1.x & 3.2.x.

Image Tu as un forum et tu veux aussi un site web ? Regarde par ici.
Avatar de l’utilisateur
galixte
Floodeur universel
Floodeur universel
 
Messages: 10342
Enregistré le: 08 Mar 2004 à 01:40
Localisation: Sud de la France.

Suivante

Retourner vers Coding, Webmastering et Sécurité informatique

 


  • Articles en relation
    Réponses
    Vues
    Dernier message

Qui est en ligne

Utilisateurs parcourant ce forum : Bing [Bot] et 5 invités