[chour27]

Bonjour,

Je rencontre un problème d'indexation avec Google de mon forum (http://forum.deutz-passion.fr) En effet, aucune page n'est indexé, malgré un sitemap http://forum.deutz-passion.fr/sitemap.xml (via l'extension phpBB3 SEO Sitemap : https://www.phpbb.com/customise/db/exte ... o_sitemap/).
Je reconnais que le sitemap est jeune et récemment soumis à Google, mais il devrait y avoir un référencement naturel normalement.

Quand je regarde pourquoi à travers google webmaster tools, je vois que Google Bot n'est pas autorisé à lire les forums :



Pourtant que je regarde les permissions du groupe "Robots" sur tous les forums/sous-forums, j'ai ceci :



Le groupe Robots en question contient seulement 2 bots : AdsBot [Google] et Bing [Bot].

Le .htaccess à la racine du forum est ainsi (d'ailleurs je vois qui cloche) :

Code: Tout sélectionner

L<IfModule mod_rewrite.c>
RewriteEngine on

#
# Uncomment the statement below if you want to make use of
# HTTP authentication and it does not already work.
# This could be required if you are for example using PHP via Apache CGI.
#
#RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]

#
# The following 3 lines will rewrite URLs passed through the front controller
# to not require app.php in the actual URL. In other words, a controller is
# by default accessed at /app.php/my/controller, but can also be accessed at
# /my/controller
#
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ app.php [QSA,L]

#
# If symbolic links are not already being followed,
# uncomment the line below.
# http://anothersysadmin.wordpress.com/2008/06/10/mod_rewrite-forbidden-403-with-apache-228/
#
#Options +FollowSymLinks
</IfModule>

# With Apache 2.4 the "Order, Deny" syntax has been deprecated and moved from
# module mod_authz_host to a new module called mod_access_compat (which may be
# disabled) and a new "Require" syntax has been introduced to mod_authz_host.
# We could just conditionally provide both versions, but unfortunately Apache
# does not explicitly tell us its version if the module mod_version is not
# available. In this case, we check for the availability of module
# mod_authz_core (which should be on 2.4 or higher only) as a best guess.
<IfModule mod_version.c>
	<IfVersion < 2.4>
		<Files "config.php">
			Order Allow,Deny
			Deny from All
		</Files>
		<Files "common.php">
			Order Allow,Deny
			Deny from All
		</Files>
	</IfVersion>
	<IfVersion >= 2.4>
		<Files "config.php">
			Require all denied
		</Files>
		<Files "common.php">
			Require all denied
		</Files>
	</IfVersion>
</IfModule>
<IfModule !mod_version.c>
	<IfModule !mod_authz_core.c>
		<Files "config.php">
			Order Allow,Deny
			Deny from All
		</Files>
		<Files "common.php">
			Order Allow,Deny
			Deny from All
		</Files>
	</IfModule>
	<IfModule mod_authz_core.c>
		<Files "config.php">
			Require all denied
		</Files>
		<Files "common.php">
			Require all denied
		</Files>
	</IfModule>
</IfModule>

Quelle pourrait être la cause de ce problème, le fait que Google n'ai pas le droit le lire les forums malgré des permissions contraire ?

Merci pour votre support,

Charles

[galixte]

Salut,

tu as deux bots dans ton groupe « Robots », j’en ai 46 dans le mien, qu’est-ce qui cloque à ton avis ?

Tu as supprimé beaucoup trop de robots, selon moi je ne vois pas le problème à les laisser dans leur groupe « Robots ».

Si tu veux en discriminer certains, use du fichier robots.txt.

Voici un lien qui pourra t’intéresser : https://support.google.com/webmasters/a ... 1943?hl=fr. Tu verras que AdsBot de Google n'est pas le seul robot à être utile pour l'indexation.

[chour27]

Hello galixte

je n'ai supprimé aucun robot pour ta gouverne, je crois que cela a toujours été ainsi, du moins depuis l'update vers Ascraeus.
Mais effectivement, cela m'a interpelé. Je suis allé voir ma version en local, j'ai bien une palanquée de bot ...

Je vais mettre à jour la table phpbb_bots et voir si ça cloche toujours.

Edit : je m'aperçois que ma table phpbb_bots ne contient pas 2 enregistrements mais 53 ... Tout comme celle en local. Et bien entendu, le champ bot_active est bien à 1, ce qui induit qu'ils sont chacun "activé".
J'en déduits qu'il doit y avoir un mic-mac entre les tables et que des champs ont du sauter, ce qui expliquerait peut-être le problème. Je vais faire le tour des tables et de leurs liaisons pour y avoir un peu plus clair.

Edit2 : d'après ce que je comprends, la table phpbb_users contient seulement 2 bots, ceux que j'ai mentionné. Les bots font partis du group n°6 si je me réfère à la table phpbb_user_group pour un user_type = 2
Aussi, je remarque une incohérence entre le user_id dans phpbb_users (user_id = 53) et phpbb_bots (user_id = 3). User_id=3 correspond à un membre classique (moi en l'occurence) dans la table phpbb_users.
Qu'est-ce que que ce foutoir ????

table phpbb_bots


table phpbb_users


table phpbb_user_group


Edit3 : J'ai une piste. Il y a quelques temps, j'ai fait de la purge dans les membres à travers l'ACP. J'ai dégagé tous ceux qui n'étaient pas venus depuis belle lurette et n'ayant jamais posté ...

Edit4 : pour finir ... ACP > Accès rapide > Robots donne ceci :

[chour27]

Je me réponds à moi-même pour clore ce sujet en procédant à une ré-initialisation des bots.
Voici comment j'ai fait :
côté local :
1/ réinstallation en locale d'une version clean de phpbb.
2/ extraction de la table phpbb_bots
3/ extraction de la table phpbb_users de tous les champs dont group_id=6, mis en forme pour exclure l'ajout du champ user_id (il est en auto_increment)

côté prod
4/ suppression des bots dans phpbb_users
5/ annule et remplace des données de la table phpbb_bots par la version de dev
6/ mise à jour de la table phpbb_users avec les requêtes préparées en 3
7/ mise à jour de la table phpbb_user_group : suppression des anciens enregistrement de group_id=6 puis mis à jour avec un insert into qui va bien pour ne récupérer que les user_id de phpbb_users dont group_id=6



Grâce à ceci j'ai pu retrouver mes 45 bots dans le groupe "Robots"

@++

[Steph]

• par chour27 » 20 Juin 2015 à 11:55
• par chour27 » 20 Juin 2015 à 13:48

Salut ,

Le fait de poster deux messages à la suite, sans réponse d'un autre membre entre deux, dans un délai de moins de 24 heures est considéré comme une relance de sujet (UP) sur phpBB-fr.

De ce fait, si tu ne souhaites pas que ton topic soit verrouillé je te prie de respecter les règles qui interdisent les UP en moins de 24 heures.

Ton complément d'information était à ajouter à ton précédent message grâce au bouton "Editer".

Voir le point 1.3.3 de nos conditions générales d'utilisation

@+

[chour27]

Bonjour Steph, mea culpa. Comme c'était pour clore le sujet, je ne voulais pas faire du dernier post un à rallonge.

Bref ...

Mon problème n'est pas réglé. Google (mais je suppose les autres aussi), ne semblent toujours pas être en mesure de parcourir le forum (voir la capture de GWT). Quel est le problème ? Quand je teste les permissions des robots, je peux naviguer comme je le souhaite !
D'ailleurs 4 robots sont venus depuis hier :

AdsBot [Google] Aujourd’hui, 12:12
Baidu [Spider] Hier, 20:56
Exabot [Bot] Hier, 14:18
MSNbot Media Hier, 07:31

Qu'est-ce qui cloche ?

[galixte]

L’indexation n’est pas immédiate, cela varie beaucoup d’un site à l’autre, ici par exemple un nouveau sujet peut être indexé en quelques minutes alors qu’il faudra plusieurs jours pour un autre site.

[chour27]

Bieng.

J'en ai profité aussi pour rajouter les bots Google qui n'étaient pas dans ma liste, grâce au lien que tu as posté galixte :

[chour27]

Bonjour,

Il y a bien un problème. Ni de Googlebot et de Bingbot n'arrive à "lire" le forum, et ce quand je teste depuis leur portail webmasteur tools.

Ca renvoit un gentil

<p>Vous n’êtes pas autorisé à lire ce forum.</p>

Pourtant, que je teste les permissions de 2 bots, je peux bien lire le forum et sujets! Grâce à ça, j'avais remarqué aussi que les robots ne pouvaient pas voir les pièces jointes, j'ai corrigé cela dans les Permissions des Groupes (Peut télécharger des fichiers. positionné à NON initialement), alors que le modèle de permission "Accès en lecture seule uniquement" l'autorisait. Les permissions de groupe surchargeait donc le modèle appliqué au groupe sur les forums et sous-forums.

Merci pour votre aide, parce que là, je sèche.

[FoFa]

Hello

Comment fais-tu pour tester les permissions ?

[chour27]

Hello

Comment fais-tu pour tester les permissions ?

Hi,

Et bien à travers l'ACP je consulte les membres du groupe Robots et là un lien te permet de tester les permissions de l'utilisateur concerné, en l'occurence GoogleBot.
Ensuite je peux tester aussi avec Google ou Bing Webmaster Tools en leur demandant de m'analyser une page que je fournis.
Après j'ai testé avec le module User Agent via Firefox.

Via le changement de permissions depuis le forum, RAS je navigue comme je veux, cependant pour les autres méthodes => incapacité de voir le contenu du forum.

[FoFa]

Ils font partie de quel(s) groupe(s) tes Robots ?

[chour27]

Ils font partie de quel(s) groupe(s) tes Robots ?

Ils font partis du groupe Robots.
J'ai tout remis au clair hier depuis une installation propre (cf mes posts d'hier).
Au passage je remarque que phpBB ne s'est pas mis à jour concernant Bingbot et a conservé l'ancienne nomenclateur "msnbot" : http://robots-txt.com/ressources/robots-txt-bing/

Edit : hier j'ai rajouté Googlebot dans la liste des robots, mais dans le nom d'agent je n'avais pas mis le "/" final.
Je viens également d'ajouter le bot de Microsoft sous sa nouvelle mouture Bingbot.

[FoFa]

1. Crées un nouveau membre
2. Mets-le dans le groupe des Robots
3. Désigne ce groupe par défaut pour le nouveau membre
4. Vire le membre de tous les autres groupes
5. Connecte-toi avec ce nouveau compte et dis-nous ce que cela donne

[chour27]

1. Crées un nouveau membre
2. Mets-le dans le groupe des Robots
3. Désigne ce groupe par défaut pour le nouveau membre
4. Vire le membre de tous les autres groupes
5. Connecte-toi avec ce nouveau compte et dis-nous ce que cela donne

C'est fait.

Je peux naviguer partout (de la racine du forum jusque dans un sujet), je ne peux pas voir le forum caché (normal donc, puisque j'ai interdit au groupe Robots d'y aller), voir les pièces jointes, rechercher. Grosso-modo je peux faire ce qui est prévu par les permissions. Le user a bien hérité des permissions du groupe Robots et de celles appliquées sur les différents forums.