Savoir c'est pouvoir, le libre savoir c'est la liberté.
Non connecté Se connecter S'inscrire
L'Agora sur Chronica » Astuces : comment faire pour ... » tngrobots » Écrire une réponse
Tous le champs doivent être remplis avant d’envoyer ce formulaire, ou alors vous avez utilisé la fonction copier/coller qui n'est pas supporté par l'éditeur de texte.
Je les avais tous interdits, Jean-Luc, un jour d'attaque massive. Et puis quand ça s'est calmé, j'en ai ré-autorisé quelques uns en mettant le signe magique # en début de la ligne.
Bonjour,
Je ne comprends pas pourquoi vous ne voulez aucun robot sur vos sites, même pas ceux de Google ou de Microsoft ?
Chez moi, ces deux-là sont les bienvenus.
Jean-Luc
Merci Katryne.
J'ai faire quelques essais
J'ai trouvé pourquoi les visites rapides avec Tor : c'est ma faute, elles ont commencé à la minute précise où j'ai mis l'url de mon site sur mon profil de wikitree. Bon, je l'ai retirée maintenant, et ça s'est calmé. Je dois être bien fatiguée pour une erreur pareille...
Bof bof ...J'utilise un mix des mods Bot-trap et RIP prevention, avec un bricolage du fichier .htaccess racine où le mod bot-trap ajoute aussi des IP interdites.
Dans le log en page admin de Rip prevention, je bannis de temps à autre les IP de ceux qui m'envoient des spams via tng sendmail. Mais depuis hier, je suis plutôt découragée : ya des robots qui utilisent Tor et changent d'IP toutes les 5 secondes avec la régularité d'un métronome. Je suis découragée.
Voilà à quoi ressemble mon htaccess, avec le début des interdictions de Bot-Trap (yen a environ une centaine, là) : ("clan" étant mon sous-domaine)
Si tu veux autoriser l'un de ces robots, tu mets un # devant sa ligne.
# REDIRECTION HTTP vers HTTPS clan
RewriteCond %{HTTPS} !=on
RewriteRule .* https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L]
SetEnvIfNoCase User-Agent "Googlebot" badBot
SetEnvIfNoCase User-Agent "googleusercontent" badBot
SetEnvIfNoCase User-Agent "Yahoo" badBot
SetEnvIfNoCase User-Agent "msnbot" badBot
SetEnvIfNoCase User-Agent "bingbot" badBot
SetEnvIfNoCase User-Agent "MJ12bot" badBot
SetEnvIfNoCase User-Agent "Yandex" badBot
SetEnvIfNoCase User-Agent "IonCrawl" badBot
SetEnvIfNoCase User-Agent "BaiDuSpider" badBot
SetEnvIfNoCase User-Agent "AhrefsBot" badBot
SetEnvIfNoCase User-Agent "Mail.ru" badBot
SetEnvIfNoCase User-Agent "BLEXBot" badBot
SetEnvIfNoCase User-Agent "SemrushBot" badBot
SetEnvIfNoCase User-Agent "googleusercontent" badBot
SetEnvIfNoCase User-Agent "SEOkicks-Robot" badBot
SetEnvIfNoCase User-Agent "amazonaws.com" badBot
SetEnvIfNoCase User-Agent ^us-west-2.compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^amazonaws.com badBot
SetEnvIfNoCase User-Agent ^compute-1.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^us-west-2.compute.amazonaws.com badBot
SetEnvIfNoCase User-Agent ^.us-west-2.compute.amazonaws.com badBot
order allow,deny
deny from env=badBot
allow from all
# Anything below this line came from the Bot-Trap mod.
Deny from 212.227.216.195
Deny from 47.76.35.19
etc...Bonjour tout le monde
Quel est le script à intégrer dans genlib (ou autres) pour bloquer efficacement les robots tel que "crawl.amazonbot.amazon"
Merci pour le coup de main
Jean-Louis
L'Agora sur Chronica » Astuces : comment faire pour ... » tngrobots » Écrire une réponse
Propulsé par PunBB, supporté par Informer Technologies, Inc.
