| Sujet |
Re: Comment émécher un robot de sur-visiter u |
| De |
Alain |
| Date |
Wed, 27 Aug 2025 10:23:15 +0200 |
| Groupes de discussion |
proxad.free.services.pagesperso |
|
|
Le 26/08/2025 à 22:42, alains2 a écrit :
> Dans mon robots.txt j'ai ces lignes :
> User-agent: Google-CloudVertexBot
> User-agent: Google-Extended
> User-agent: GoogleAgent-Mariner
> User-agent: GoogleOther
> User-agent: GoogleOther-Image
> User-agent: GoogleOther-Video
>
> Faut il les enlever pour autoriser Google ?
Il nous faut tout le fichier robots.txt. Ces users-agents sont-ils en
déni ou allow ?
Sauf compétences reconnues, il ne faut pas jouer avec robots.txt. Et le
blocage des robots de fouilles de données est aléatoire, il faut le
redire une fois de plus. Malgré les très nombreux sites web qui le
préconisent, y compris GitHub.
Commencez par le fichier robots.txt que j'ai donné dans mon post
précédent. Ensuite, un à un, ajoutez ce que vous voulez bloquer, tout en
surveillant la console de Google.
|
|
messages récents dans la discussion |
| |
  Comment émécher un robot de sur-visiter un site ? |
alains2 |
19-Aug-2025 12:00 pm |
  Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
19-Aug-2025 12:05 pm |
 Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
19-Aug-2025 12:37 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
20-Aug-2025 11:27 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
20-Aug-2025 11:36 am |
 Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
20-Aug-2025 11:40 am |
 Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
20-Aug-2025 12:36 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
Thierry Loiseau |
21-Aug-2025 10:01 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
21-Aug-2025 10:48 am |
 Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
22-Aug-2025 11:20 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
21-Aug-2025 02:35 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
Alain |
21-Aug-2025 09:14 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
22-Aug-2025 11:25 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
Alain |
22-Aug-2025 12:56 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
Alain |
22-Aug-2025 04:12 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Tue, 10:38 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Tue, 10:42 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? (Message actuel) |
Alain |
Wed, 10:23 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
Wed, 10:44 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
Alain |
Wed, 10:17 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Wed, 10:45 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
Wed, 10:42 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Wed, 10:46 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
Wed, 10:53 am |
|
|
Pascal Villaret |
Wed, 10:43 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
JC_Et |
Wed, 10:49 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Wed, 10:52 am |
|
|
Pascal Villaret |
Wed, 10:59 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Thu, 11:25 am |
|
|
Pascal Villaret |
Wed, 11:24 am |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
alains2 |
Thu, 11:58 am |
|
|
Ab29 |
Thu, 02:02 pm |
|
Re: Comment émécher un robot de sur-visiter u n site ? |
Alain |
Thu, 02:20 pm |
|
|