Нечистоплотные сайты

funnybunny
На сайте с 14.09.2002
Offline
357
#41

Уж коли зашло обсуждение, я думаю и ссылка понадобится, вот она:Рейтинги Neftegaz.RU

в robots.txt раздел reiting/ к индексации запрещен, прочем как и разделы каталог и т.д.

Страница, которая приведена выше, проиндексирована если память мне не изменяет совсем недавно, недели две тому назад

Это не рассценивается как стук? Усе нормально?

wolf
На сайте с 13.03.2001
Offline
1183
#42
Уж коли зашло обсуждение, я думаю и ссылка понадобится, вот она:Рейтинги Neftegaz.RU

Судя, по сохраненной копии этой страницы, она переиндексировалась в период 30 ИЮНЯ - 6 ИЮЛЯ 2003г. А файл http://www.neftegaz.ru/robots.txt последний раз изменялся Mon, 12 May 2003 06:59:12 GMT

То есть, налицо факт, что Яндексом переиндексировался запрещенный к индексации документ!

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
C
На сайте с 19.09.2001
Offline
120
#43

funnybunny, а когда добавляли эту страницу через форму?

wolf, робот D, насколько я замечал, не только проверяет URL, но вытаскивает страницу, а вот ссылки с нее уже идут "на подкормку" индексатора.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
funnybunny
На сайте с 14.09.2002
Offline
357
#44

Cherny, я недели две, как минимум, ничего не предпринимаю по сайту.

Значит это было где то дней 20 тому назад. Судя по датам которые показал Wolf примерно так, в начале июля.

[Удален]
#45

funnybunny, при проверке robots.txt указанного сайта с помощью сервиса Яндекса, внизу красным написано уточнение:

===

Индексация url www.neftegaz.ru:80/robots.txt не запрещена.

===

Скорее всего на Ваш сайт ссылаются страницы именно оттуда. 80-ый порт по умолчанию порт http и вполне вероятно, что Яндекс разницу не видит.

wolf
На сайте с 13.03.2001
Offline
1183
#46
funnybunny, при проверке robots.txt указанного сайта с помощью сервиса Яндекса, внизу красным написано уточнение:
===
Индексация url www.neftegaz.ru:80/robots.txt не запрещена.
===

Я такого уточнения не вижу: http://kako.yandex.ru/cgi-bin/test-robots?host=www.neftegaz.ru

Кстати для сайта www.neftegaz.ru:80 результат аналогичный: http://kako.yandex.ru/cgi-bin/test-robots?host=www.neftegaz.ru%3A80

[Удален]
#47
Как писал wolf
Я такого уточнения не вижу: http://kako.yandex.ru/cgi-bin/test-robots?host=www.neftegaz.ru
Кстати для сайта www.neftegaz.ru:80 результат аналогичный: http://kako.yandex.ru/cgi-bin/test-robots?host=www.neftegaz.ru%3A80

ЧуднО... Вчера вечером и уточнение было, и у адреса с портом robots.txt отсутствовал, видно читают этот форум.

funnybunny
На сайте с 14.09.2002
Offline
357
#48

Scaramush,

видно читают этот форум.

Сомневаюсь что они читают этот форум. Многое на этом сайте как то мягко сказать не так.

I
На сайте с 28.10.2002
Offline
108
#49
Многое на этом сайте как то мягко сказать не так.

Но не все. Согласитесь, полученные знания можно использовать по-разному.

funnybunny
На сайте с 14.09.2002
Offline
357
#50

Inferno, согласен с Вами. Я беседовал с неким сотрудником, который назвал себя вебмастером этого сайта. Когда я поинтересовался, зачем все закрыто от индексации, он мне сообщи что некая важная часть сайта не индексируется, потому и закрыли.

Странно что они не используют поддомены для решения этой проблемы. Т.е. каждому значимому разделу свой поддомен, и проблем с индексацией заметно меньше.

Здесь на форуме писали об этом

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий