L'Agora sur Chronica – tngrobots

Re: tngrobots

null@example.com (Katryne) — Fri, 05 Apr 2024 13:30:46 +0000

Je les avais tous interdits, Jean-Luc, un jour d'attaque massive. Et puis quand ça s'est calmé, j'en ai ré-autorisé quelques uns en mettant le signe magique # en début de la ligne.

Re: tngrobots

null@example.com (Jean-Luc) — Fri, 05 Apr 2024 13:19:58 +0000

Bonjour,

Je ne comprends pas pourquoi vous ne voulez aucun robot sur vos sites, même pas ceux de Google ou de Microsoft ?

Chez moi, ces deux-là sont les bienvenus.

Jean-Luc

Re: tngrobots

null@example.com (jlvalory) — Sat, 30 Mar 2024 21:02:26 +0000

Merci Katryne.
J'ai faire quelques essais

Re: tngrobots

null@example.com (Katryne) — Sat, 30 Mar 2024 20:37:04 +0000

J'ai trouvé pourquoi les visites rapides avec Tor : c'est ma faute, elles ont commencé à la minute précise où j'ai mis l'url de mon site sur mon profil de wikitree. Bon, je l'ai retirée maintenant, et ça s'est calmé. Je dois être bien fatiguée pour une erreur pareille...

Re: tngrobots

null@example.com (Katryne) — Sat, 30 Mar 2024 17:33:26 +0000

Bof bof ...J'utilise un mix des mods Bot-trap et RIP prevention, avec un bricolage du fichier .htaccess racine où le mod bot-trap ajoute aussi des IP interdites.

Dans le log en page admin de Rip prevention, je bannis de temps à autre les IP de ceux qui m'envoient des spams via tng sendmail. Mais depuis hier, je suis plutôt découragée : ya des robots qui utilisent Tor et changent d'IP toutes les 5 secondes avec la régularité d'un métronome. Je suis découragée.

Voilà à quoi ressemble mon htaccess, avec le début des interdictions de Bot-Trap (yen a environ une centaine, là) : ("clan" étant mon sous-domaine)
Si tu veux autoriser l'un de ces robots, tu mets un # devant sa ligne.

# REDIRECTION HTTP vers HTTPS clan
RewriteCond %{HTTPS} !=on
RewriteRule .* https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
SetEnvIfNoCase User-Agent "Googlebot" badBot
SetEnvIfNoCase User-Agent "googleusercontent" badBot
SetEnvIfNoCase User-Agent "Yahoo" badBot
SetEnvIfNoCase User-Agent "msnbot" badBot
SetEnvIfNoCase User-Agent "bingbot" badBot
SetEnvIfNoCase User-Agent "MJ12bot" badBot
SetEnvIfNoCase User-Agent "Yandex" badBot 
SetEnvIfNoCase User-Agent "IonCrawl" badBot
SetEnvIfNoCase User-Agent "BaiDuSpider" badBot
SetEnvIfNoCase User-Agent "AhrefsBot" badBot
SetEnvIfNoCase User-Agent "Mail.ru" badBot
SetEnvIfNoCase User-Agent "BLEXBot" badBot
SetEnvIfNoCase User-Agent "SemrushBot" badBot
SetEnvIfNoCase User-Agent "googleusercontent" badBot
SetEnvIfNoCase User-Agent "SEOkicks-Robot" badBot
SetEnvIfNoCase User-Agent "amazonaws.com" badBot
SetEnvIfNoCase User-Agent ^us-west-2.compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^amazonaws.com badBot
SetEnvIfNoCase User-Agent ^compute-1.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^us-west-2.compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^.us-west-2.compute.amazonaws.com badBot
order allow,deny
deny from env=badBot
allow from all 
# Anything below this line came from the Bot-Trap mod.
Deny from 212.227.216.195
Deny from 47.76.35.19
etc...

tngrobots

null@example.com (jlvalory) — Sat, 30 Mar 2024 16:30:10 +0000

Bonjour tout le monde
Quel est le script à intégrer dans genlib (ou autres) pour bloquer efficacement les robots tel que "crawl.amazonbot.amazon"
Merci pour le coup de main
Jean-Louis