[Réglé] Robots.txt

Forum de support pour les questions concernant l'utilisation de phpBB 3.2, les problèmes rencontrés lors de manipulations, de configuration du forum ou de personnalisation autres que les Styles ou les Extensions

Modérateur: Equipe

Règles du forum
A lire impérativement : Règlement de phpBB-fr.com

Pensez à effectuer une recherche, la réponse à votre question a de grandes chances d'avoir déjà été donnée.

[Réglé] Robots.txt

Messagepar On Stage » 18 Juil 2018 à 11:06

Hi,

J'ai un soucis avec les robots sur le forum, ils sont bloqués
En consultant le forum avec "Explorer comme google" voici le résultat :

Image

Le fichier robot.txt n'est pas présent sur le forum : https://stageleft.fr/forum/robot.txt

Voici ce que donne l'adresse du site dans google :

Image

Quelle est la solution ?

EDIT

J'ai créé un fichier robot.txt que j'ai envoyé à la racine du site :
Code: Tout sélectionner
User-agent: *
allow: /


Tout semble être rentré dans l'ordre
Modifié en dernier par On Stage le 18 Juil 2018 à 14:14, modifié 1 fois.
Version de PHP : 7.2.5
Version du forum : 3.2.2

Image
Avatar de l’utilisateur
On Stage
Apprenti-posteur
Apprenti-posteur
 
Messages: 189
Enregistré le: 19 Mar 2018 à 17:04

Re: Robot.txt

Messagepar Steph » 18 Juil 2018 à 13:55

Salut,

C'est tout de même bizarre, car sans ce fichier, Google ne devrait pourtant pas avoir de problème autre que ceux liés aux permissions de ton forum. Tu as vérifié les permissions robots / forums onglet "permissions" > "masques de permission" ?

Ton forum se trouvant sous forme de https://stageleft.fr/forum/ est considéré comme faisant partie intégrante de https://stageleft.fr/ contrairement si tu faisais https://forum.stageleft.fr/ qui serait considéré comme site à part.

Je dis cela, car en fait si tu as un htaccess à la racine de https://stageleft.fr/ tout comme un fichier robots.txt, ils peuvent avoir une incidence sur https://stageleft.fr/forum/
Avatar de l’utilisateur
Steph
Administrateur
Administrateur
 
Messages: 18286
Enregistré le: 29 Déc 2008 à 16:48
Localisation: Alsace / Bas-Rhin / France

Re: Robot.txt

Messagepar On Stage » 18 Juil 2018 à 14:13

Les permissions Groupe/Forums pour les robots sont toutes sur non sauf pour l'onglet "Action"

Image

Mon fichier Robots.text est à la racine du site /www
Version de PHP : 7.2.5
Version du forum : 3.2.2

Image
Avatar de l’utilisateur
On Stage
Apprenti-posteur
Apprenti-posteur
 
Messages: 189
Enregistré le: 19 Mar 2018 à 17:04

Re: Robots.txt

Messagepar Steph » 18 Juil 2018 à 15:04

Regarde plutôt dans les masques de permisssion ce sera plus juste
Avatar de l’utilisateur
Steph
Administrateur
Administrateur
 
Messages: 18286
Enregistré le: 29 Déc 2008 à 16:48
Localisation: Alsace / Bas-Rhin / France

Re: Robots.txt

Messagepar On Stage » 18 Juil 2018 à 15:20

J'ai la même chose dans le masque des permissions

Image
Version de PHP : 7.2.5
Version du forum : 3.2.2

Image
Avatar de l’utilisateur
On Stage
Apprenti-posteur
Apprenti-posteur
 
Messages: 189
Enregistré le: 19 Mar 2018 à 17:04

Re: Robots.txt

Messagepar Steph » 18 Juil 2018 à 15:51

OK, mais même pour le site il n'y a rien : https://www.google.fr/search?q=site%3Ah ... fr&oq=site

Je te suggère plutôt de supprimer totalement ce fichier robots.txt et de demander à Google de refaire un scan de ton site dans les outils pour webmaster.
Avatar de l’utilisateur
Steph
Administrateur
Administrateur
 
Messages: 18286
Enregistré le: 29 Déc 2008 à 16:48
Localisation: Alsace / Bas-Rhin / France

Re: Robots.txt

Messagepar Zoddo » 18 Juil 2018 à 15:59

Hello,

@Steph : Les permissions n'ont rien à voir avec le contenu du robots.txt rapporté par Google.

@On Stage : Ton site (à la racine du domaine) était un wordpress, il s'agit du robots.txt généré et renvoyé dynamiquement par wordpress (en jouant sur la réécriture d'URL). De mémoire, il y a un paramètre dans WordPress afin d'autoriser ou non l'indexation du site par les moteurs de recherche.
[Doc] Installer une extension - [Extension] Post Models - [Recrutement] Équipe des Extensions
Si vous considérez votre requête comme résolue, merci d'ajouter l'attribut de sujet [Réglé]
Zoddo
Equipe site
Equipe site
 
Messages: 6745
Enregistré le: 16 Mar 2011 à 18:44
Localisation: Laval / Le Mans

Re: Robots.txt

Messagepar Steph » 18 Juil 2018 à 16:02

Zoddo a écrit:@Steph : Les permissions n'ont rien à voir avec le contenu du robots.txt rapporté par Google.


Je le sais très bien, c'est juste sur le fait que Google ne référence aucune page qui me fait poser ces questions, et si Google détecte des erreurs sur le fichier robots.txt alors il peut aussi être en cause, mais pour autre chose.

Quoi qu'il en soit, je doute fortement sur l'utilité du fichier robots pour On Stage, du moins tant que ces pages ne sont pas prises en compte sur Google.
Avatar de l’utilisateur
Steph
Administrateur
Administrateur
 
Messages: 18286
Enregistré le: 29 Déc 2008 à 16:48
Localisation: Alsace / Bas-Rhin / France

Re: Robots.txt

Messagepar Zoddo » 18 Juil 2018 à 16:06

Steph a écrit:Quoi qu'il en soit, je doute fortement sur l'utilité du fichier robots pour On Stage, du moins tant que ces pages ne sont pas prises en compte sur Google.
En l'état, il avait un robots.txt avec une règle Disallow valable pour tout son domaine et quelque soit le robot. C'est justement ce qui faisait que ses pages n'étaient pas prises en compte par Google.

Le robots.txt surpasse tout le reste. C'est le premier fichier chargé par le crawler de Google avant même qu'il commence à récupérer les pages du site.
[Doc] Installer une extension - [Extension] Post Models - [Recrutement] Équipe des Extensions
Si vous considérez votre requête comme résolue, merci d'ajouter l'attribut de sujet [Réglé]
Zoddo
Equipe site
Equipe site
 
Messages: 6745
Enregistré le: 16 Mar 2011 à 18:44
Localisation: Laval / Le Mans

Re: Robots.txt

Messagepar Steph » 18 Juil 2018 à 16:19

D’où l'inutilité du fichier robots, car de mettre allow ou pas de fichier du tout cela revient au même.

En fait j'avais pas vu l'edit de son premier message :roll:
Avatar de l’utilisateur
Steph
Administrateur
Administrateur
 
Messages: 18286
Enregistré le: 29 Déc 2008 à 16:48
Localisation: Alsace / Bas-Rhin / France

Re: Robots.txt

Messagepar On Stage » 18 Juil 2018 à 18:44

Zoddo a écrit:Ton site (à la racine du domaine) était un wordpress, il s'agit du robots.txt généré et renvoyé dynamiquement par wordpress (en jouant sur la réécriture d'URL). De mémoire, il y a un paramètre dans WordPress afin d'autoriser ou non l'indexation du site par les moteurs de recherche.

Effectivement

Image

Je viens de le modifier car la coche était active pour ne pas indexer le site
Version de PHP : 7.2.5
Version du forum : 3.2.2

Image
Avatar de l’utilisateur
On Stage
Apprenti-posteur
Apprenti-posteur
 
Messages: 189
Enregistré le: 19 Mar 2018 à 17:04


Retourner vers Utilisation

Qui est en ligne

Utilisateurs parcourant ce forum : Aucun utilisateur enregistré et 1 invité

cron