Bonjour tout le monde
Quel est le script à intégrer dans genlib (ou autres) pour bloquer efficacement les robots tel que "crawl.amazonbot.amazon"
Merci pour le coup de main
Jean-Louis
1 30-03-2024 18:30 - tngrobots
2 30-03-2024 19:33 - tngrobots
Bof bof ...J'utilise un mix des mods Bot-trap et RIP prevention, avec un bricolage du fichier .htaccess racine où le mod bot-trap ajoute aussi des IP interdites.
Dans le log en page admin de Rip prevention, je bannis de temps à autre les IP de ceux qui m'envoient des spams via tng sendmail. Mais depuis hier, je suis plutôt découragée : ya des robots qui utilisent Tor et changent d'IP toutes les 5 secondes avec la régularité d'un métronome. Je suis découragée.
Voilà à quoi ressemble mon htaccess, avec le début des interdictions de Bot-Trap (yen a environ une centaine, là) : ("clan" étant mon sous-domaine)
Si tu veux autoriser l'un de ces robots, tu mets un # devant sa ligne.
# REDIRECTION HTTP vers HTTPS clan
RewriteCond %{HTTPS} !=on
RewriteRule .* https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
SetEnvIfNoCase User-Agent "Googlebot" badBot
SetEnvIfNoCase User-Agent "googleusercontent" badBot
SetEnvIfNoCase User-Agent "Yahoo" badBot
SetEnvIfNoCase User-Agent "msnbot" badBot
SetEnvIfNoCase User-Agent "bingbot" badBot
SetEnvIfNoCase User-Agent "MJ12bot" badBot
SetEnvIfNoCase User-Agent "Yandex" badBot
SetEnvIfNoCase User-Agent "IonCrawl" badBot
SetEnvIfNoCase User-Agent "BaiDuSpider" badBot
SetEnvIfNoCase User-Agent "AhrefsBot" badBot
SetEnvIfNoCase User-Agent "Mail.ru" badBot
SetEnvIfNoCase User-Agent "BLEXBot" badBot
SetEnvIfNoCase User-Agent "SemrushBot" badBot
SetEnvIfNoCase User-Agent "googleusercontent" badBot
SetEnvIfNoCase User-Agent "SEOkicks-Robot" badBot
SetEnvIfNoCase User-Agent "amazonaws.com" badBot
SetEnvIfNoCase User-Agent ^us-west-2.compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^amazonaws.com badBot
SetEnvIfNoCase User-Agent ^compute-1.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^us-west-2.compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^.us-west-2.compute.amazonaws.com badBot
order allow,deny
deny from env=badBot
allow from all
# Anything below this line came from the Bot-Trap mod.
Deny from 212.227.216.195
Deny from 47.76.35.19
etc...3 30-03-2024 22:37 - tngrobots
J'ai trouvé pourquoi les visites rapides avec Tor : c'est ma faute, elles ont commencé à la minute précise où j'ai mis l'url de mon site sur mon profil de wikitree. Bon, je l'ai retirée maintenant, et ça s'est calmé. Je dois être bien fatiguée pour une erreur pareille...
5 05-04-2024 15:19 - tngrobots
Bonjour,
Je ne comprends pas pourquoi vous ne voulez aucun robot sur vos sites, même pas ceux de Google ou de Microsoft ?
Chez moi, ces deux-là sont les bienvenus.
Jean-Luc
6 05-04-2024 15:30 - tngrobots
Je les avais tous interdits, Jean-Luc, un jour d'attaque massive. Et puis quand ça s'est calmé, j'en ai ré-autorisé quelques uns en mettant le signe magique # en début de la ligne.
