Что за хрень меня парсит?

B
На сайте с 13.02.2008
Offline
262
986

Обнаружил в логах сайта множество странных обращений с разных IP адресов, но с одинаковым юзерагентом: сначала парсится нормальный URL, потом в конец этого Урла подставляется слэш с точкой, парсится опять с ошибкой 404 (Пример: "site.ru/qwerty/." ). И так идет непрерывно, с разных IP параллельно. Зачем это делается? Или просто кто-то парсер неправильно настроил?

Devvver
На сайте с 02.07.2008
Offline
662
#1

borisd, вне один раз подобным методом нагенерировали дублей, а на следующий ап в выдаче стало их видно.

Пришлось настраивать сайт.

Мой блог. Все о создании сайтов,Seo и СДЛ ( https://devvver.ru/ ) Мой SEO телеграм канал https://t.me/seobloggers
B
На сайте с 13.02.2008
Offline
262
#2
Devvver:
вне один раз подобным методом нагенерировали дублей

У меня тоже были подозрения на это, но по этим урлам с точкой у меня ошибка 404 выдается. Посмотрел, гугло и яндекс боты по этим урлам не ходили. Значит пока опасности нет?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий