К нас сегодня приходил... Яндекс-робот. Хозяйке на заметку.

12
Б
На сайте с 30.06.2008
Offline
200
1947
К нам сегодня приходил YandexBot-страницефил.
Новый сайт за две минуты мне почти проиндексил.

Господа и дамы, дарю.

Вчера в 23:16 поднял на дедике свежий nginx без никакого сайта. В 23:18 пришёл Yandex/1.01.001 (compatible; Win16; P), в 23:44 - Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html). Оба поинтересовались роботсом и, получив 400-й отлуп, обиделись и ушли.

Что делал. Открыл 80-й и 443-й порты, сгенерил в openssl и установил SSL-сертификаты. Зашёл через https по айпи-адресу для проверки 10-й Оперой (Opera/9.80 (Windows NT 5.1; U; en) Presto/2.5.22 Version/10.51) и 6-м Эксплорером (Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)). Оба браузера без тулбаров ПС и вообще без тулбаров. В каждом по разу подтвердил, что доверяю сертификату. Убедился, что всё работает, и закрыл стандартный http (точнее, сделал редирект на https-версию).

Вопрос - кто натравил на меня ботов, если ни домена, ни плагинов нет, и даже веб-сервер на 80-м даёт 400-й отлуп? ;)

Будь мудрее. Выгляди глупее.
SI
На сайте с 19.12.2007
Offline
77
#1

ip давно за вами? судя по логам - заходили по ip или домену? что сами поисковики говорят про этот ip? бинг (или другие сервисы) не сообщает ничего про этот ип?

рисуем, верстаем, кодим и крутим ...аа, да, еще принимаем заказы (:
crosone
На сайте с 28.03.2008
Offline
73
#2
St.I.An:
ip давно за вами? судя по логам - заходили по ip или домену? что сами поисковики говорят про этот ip? бинг (или другие сервисы) не сообщает ничего про этот ип?

Интересно как это на новую площадку можно прийти по домену, днсы не могли моментально обновиться...

Скорее всего IP адрес имеет(имел ранее) какую-то историю, и по нему к вам пришли в гости.

Говорить о том, что это софт сливает инфу о сайтах, которые просматривает юзер, я бы не стал...

٩(๏̯͡๏)۶
dimmu-borgir
На сайте с 16.03.2009
Offline
170
#3
Беобахтер:

Вопрос - кто натравил на меня ботов, если ни домена, ни плагинов нет, и даже веб-сервер на 80-м даёт 400-й отлуп? ;)

Дэк под колпаком мы все уже, из космоса следят яндексоиды.

Мож пропалились все таки данные где нибудь?

D1
На сайте с 07.08.2009
Offline
10
#4

Читая то что вы написали, по моему это нереально :)

Качественный перевод En-Ru-En - 3$/1k (/ru/forum/385182)
Б
На сайте с 30.06.2008
Offline
200
#5

Адрес за нами меньше месяца. Действительно, сервак до меня работал без отключений более 2 лет по данным BIOS. Но. Я не склонен думать на предыдущую историю, ибо пришли практически сразу и боле не тревожили до сих пор.

Таки считаю, что дело в сертификате.

[Удален]
#6

Где то читал стать про ботов яндекса и индексацию новых сайтов, или интервью смотрел, не помню.

Общем там говорилось про то, что яндекс индексирует новый сайт, затем сайт полностью выпадает из индекса, как бы для проверки в т.н. "песочницу" и через некоторое время возвращается в выдачу.

У меня была такая же ситуация: абсолютно новый сайт проиндексировался за пару часов через день полностью выпал, затем полностью вернулся в индекс через 2 дня в +7 позиций.

Регистрируя домен не прописывайте DNS (и не ставте dns регистратора) сразу, сначала загрузите файлы сайта хостинг, только потом можно прописать DNS. После обновления DNS Ваш сайт практически сразу проиндексируют ПС.

ps: проверял тему на 3 доменах.

Что Вы думайте по этому поводу?

Б
На сайте с 30.06.2008
Offline
200
#7

4ipollino, речь немного не о том. Нет домена, следовательно, нет и соответствующих записей типа A в DNS. А посещение ботов есть.

4ipollino:
Регистрируя домен не прописывайте DNS (и не ставте dns регистратора) сразу, сначала загрузите файлы сайта хостинг, только потом можно прописать DNS. После обновления DNS Ваш сайт практически сразу проиндексируют ПС.

Зачем сложности? Нескольких часов, пока обновляются файлы зоны, хватит для заливки текстового контента любых разумных объёмов. :)

[Удален]
#8
Вчера в 23:16 поднял на дедике свежий nginx без никакого сайта.

Я извиняюсь, но не могли ли Вы пояснить студенту! :)

Б
На сайте с 30.06.2008
Offline
200
#9

4ipollino, а смысл? Если непонятно сходу, то вряд ли Вы будете пользоваться этим в ближайшем будущем. :)

Что именно пояснить? Сгенерил серверные сертификаты с помощью OpenSSL, и ответил утвердительно на вопрос о доверии им в двух разных браузерах. :)

[Удален]
#10

просто яндекс ожил после недавней лежки ( даже новые карты сайтов не скачивал, не то что старницы в индекс не брал ), а ожил он буквально на днях, после недавнего аптиц его как прибило недели на две

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий