Interet et paramètrage du fichier ROBOTS.TXT

Interet et paramètrage du fichier ROBOTS.TXT - Programmation

Marsh Posté le 22-08-2001 à 14:29:29    

ben,,
 
vous en pensez quoi. Et si vous avez deja creusé la question avez vous une remarque a faire ?
 
merci

Reply

Marsh Posté le 22-08-2001 à 14:29:29   

Reply

Marsh Posté le 22-08-2001 à 14:37:52    

M'en occupe jamais du ROBOTS.TXT,...

Reply

Marsh Posté le 22-08-2001 à 14:40:36    

Ben,  
 
moi aussi jusqu'a ce que je change d'hebergeur. la j'en ai plus du tout, alors je me pose des questions.

Reply

Marsh Posté le 22-08-2001 à 14:55:20    

Aucun des sites que j'ai crées n'a de ROBOTS.TXT
 
Tant que tu ne veux pas exclure certains robots, n'en a pas besoin du ROBOTS.TXT et encore ...

Reply

Marsh Posté le 22-08-2001 à 16:23:26    

bon,
ben j'en conclu que la logique est  : Si pas de fichier robots.txt alors aurorisation de consultation. Le seul petit truc c'est que ça te fait des lignes dans le fichier log d'erreur.
 
j'ai trouvé ça sinon comme fichier robots.txt
 
User-agent: *
Disallow:
 
 
C'est pas bien long n'est-ce pas :D. Ca autorise tout les robots sans restriction des pages lues et pas d'apparition d'un file not found. :)

Reply

Sujets relatifs:

Leave a Replay

Make sure you enter the(*)required information where indicate.HTML code is not allowed