Visite da bot cinesi insistenti, li possiamo bannare dalla piattaforma?

Ho provato a bannare i primi 6 numeri dell'IP, ma petalbot insiste.
Adesso è un assalto contenuto, ma prima era un disastro.
Si tratta di uno spider di un motore di ricerca della Huwauei che però è catalogato da più fonti come bot nocivo:

www.abuseipdb.com/check/114.119.167.18

Excessive crawling/scraping
Trawling for Open Source CMS installs
Auto reported : Massive generation of 404/403
Brute force attack stopped by firewall

Ne prendo un altro a caso:

www.abuseipdb.com/check/114.119.153.160

Brute force attack stopped by firewall
petalbot : Huawei/Honor robot not always clean : blocked

C'è qualcuno in Cina che si sta divertendo o che cerca di indicizzare i siti in modo sbagliato e che secondo me dev'essere bloccato.
Ma poi, anche finissimo in un loro motore di ricerca, ci frega qualcosa? Chi ci visita dalla Cina?
Le nostre statistiche sono difficili da guardare proprio a causa loro.
Riporto alcuni IP.

petalbot-114-119-166-95.petalsearch.com
ecs-114-119-146-36.compute.hwclouds-dns.com
petalbot-114-119-151-63.petalsearch.com
ecs-114-119-167-129.compute.hwclouds-dns.com
ecs-114-119-135-130.compute.hwclouds-dns.com
petalbot-114-119-158-46.petalsearch.com
petalbot-114-119-158-151.petalsearch.com
petalbot-114-119-161-177.petalsearch.com
petalbot-114-119-153-160.petalsearch.com
petalbot-114-119-156-46.petalsearch.com
ecs-114-119-152-50.compute.hwclouds-dns.com
petalbot-114-119-151-5.petalsearch.com
petalbot-114-119-155-24.petalsearch.com
petalbot-114-119-154-13.petalsearch.com
petalbot-114-119-157-174.petalsearch.com
petalbot-114-119-138-220.petalsearch.com
petalbot-114-119-159-58.petalsearch.com
petalbot-114-119-167-18.petalsearch.com
petalbot-114-119-155-92.petalsearch.com
petalbot-114-119-157-143.petalsearch.com
petalbot-114-119-149-183.petalsearch.com
petalbot-114-119-154-11.petalsearch.com

Questi nelle ultime 24 ore.
Non so cosa ne pensate, ma a me sembra un attacco in piena regola... ed ecco che alcuni rallentamenti dell'ultimo periodo potrebbero avere senso.
Se non si possono bannare tutti suggerisco soluzioni come stopbadbots.com

Ragazzi, questi bot sono davvero eccessivamente aggressivi.
Anche se ho bloccato i primi 6 numeri degli IP, non so come ma tornano, rendendo davvero difficile la consultazione delle statistiche del forum.
In questo caso un bot è tornato tutto il giorno, suppongo al solo scopo di rallentare il server e rompere gli zebedei, altrimenti non si spiega.
La prima pagina delle statistiche è letteralmente costellata di bandierine cinesi.
Anche fossero bot della Huawei che ce ne facciamo di 'sto schifo?

Stavolta devo taggare Admin e chiedo preventivamente scusa per averlo scomodato.
Sono abbastanza convinto che sia un attacco alla piattaforma e in particolare ad alcuni forum e ho le prove: più bot oggi si sono collegati da mezzanotte a tutte le ore solo all'homepage, ed ecco spiegati i rallentamenti che segnalavo qualche mese fa.
In conclusione non stanno indicizzando un bel niente, spammano visite per ciucciare banda e rallentare FFZ.
Sul sito "Abuse IP db" ci sono centinaia di testimonianze che dai loro IP partono addirittura attacchi Bruteforce, siccome la situazione si sta prolungando da mesi non sarebbe ora di bannarli e farla finita?

No non ci sono attacchi né problemi di banda.
Siamo stabili e regolari.

Attacchi di quel tipo quando ci sono, sono ben evidenti

Su Google leggo comunque molta preoccupazione, nel senso che se non sono esattamente attacchi, ma si tratta comunque di visite malevole:

james-william-fletcher.medium.com/how-a-benign-web-crawler-found-and-exploited-a-critical-vulnerability-in-my-server-f17c...

www.reddit.com/r/websecurity/comments/p7rhsc/under_attack_from_huawei_aspiegelbot_p...

www.hypernode.com/blog/huawei-aspiegelbot-is-increasingly-impacting-european-online...

www.grantforrest.me.uk/index.php/software/16-petalbot-another-pain-in...

E in ogni caso bloccarli sarebbe molto semplice:

aspiegel.com/petalbot

Cos'avete intenzione di fare?

Da quello che vedo si lamentano più che altro per il consumo di banda.

Noi non abbiamo questo problema, abbiamo banda a volontà.

Si può limitare la quantità di lavoro che può fare il bot sul sito, come si fa con Google e gli altri spider.

Si può fare sicuramente anche con questo, ma ogni spider ha i suoi modi per farlo bisogna registrarsi ecc... Devo vedere e perderci un po' di tempo.

Io posso dire che i rallentamenti su FFZ sono iniziati con l'avvento di questi bot.
Capisco che la piattaforma non abbia alcun problemi di banda, ma quando ti trovi svariati giga ciucciati al secondo forse qualche piccolo rallentamento poi capita.
Io da utente mi limito a segnalare ciò che ho notato, ma può darsi che sia solo una mia impressione.
Ciò che è sicuro è che i log da controllare sulle nostre statistiche sono diventati illeggibili: tutte visite cinesi.

Non c'è un problema di traffico o di consumo banda, però.

Abbiamo tutti i grafici storici ed è tutto sotto controllo.

Mettiamola così: se voi ritenete il lavoro inutile e non riscontrate alcun problema vi invito a non fare assolutamente nulla e chiedo scusa per la segnalazione.
Io comunque segnalo rallentamenti che vanno dai 2 secondi di latenza ai 5 una volta ogni tanto.
È possibile che sia come i miei browser (Firefox, Chrome e derivati di Chrome) aprono la nuova versione di FFZ.
In ogni caso visite simili dovrebbero quanto meno insospettire.

I rallentamenti non possono dipendere da queste visite.

Comunque abbiamo in programma di limitarne gli accessi

Dobbiamo attendere una settimana prima di decidere come limitare il traffico.

Comunque non possiamo disattivarlo, è la ricerca alternativa a Google usata sui dispositivi Huawei

Solo per farvi avere un'idea: in questo momento su BC il 90% delle visite è di petalbot e ce ne sono due online che continuano a ricaricare l'homepage.
Non credo che sia indicizzazione, ma letteralmente un voler rompere le palle.
Poi fate voi, nel senso che se non riscontrate problemi allora questa segnalazione lascia il tempo che trova.

Vedi tante visite ma il flusso che arriva a noi in totale è esiguo.
Possiamo tranquillamente gestire 10 volte il traffico di ffz attuale (globalmente non solo dei bot).

Comunque appena sarà possibile limiteremo il numero di accessi orari

OK, grazie.

Solo per avvisarvi che i gestori di petalbot hanno spostato gli IP a Singapore e sono tornati a rompere le balle.



Come potete vedere non stanno indicizzando alcunché.