Interet et paramètrage du fichier ROBOTS.TXT - Programmation
Marsh Posté le 22-08-2001 à 14:40:36
Ben,
moi aussi jusqu'a ce que je change d'hebergeur. la j'en ai plus du tout, alors je me pose des questions.
Marsh Posté le 22-08-2001 à 14:55:20
Aucun des sites que j'ai crées n'a de ROBOTS.TXT
Tant que tu ne veux pas exclure certains robots, n'en a pas besoin du ROBOTS.TXT et encore ...
Marsh Posté le 22-08-2001 à 16:23:26
bon,
ben j'en conclu que la logique est : Si pas de fichier robots.txt alors aurorisation de consultation. Le seul petit truc c'est que ça te fait des lignes dans le fichier log d'erreur.
j'ai trouvé ça sinon comme fichier robots.txt
User-agent: *
Disallow:
C'est pas bien long n'est-ce pas . Ca autorise tout les robots sans restriction des pages lues et pas d'apparition d'un file not found.
Marsh Posté le 22-08-2001 à 14:29:29
ben,,
vous en pensez quoi. Et si vous avez deja creusé la question avez vous une remarque a faire ?
merci