как проанализировать чужой robots.txt?

S
На сайте с 26.07.2009
Offline
12
3615

Предложили поменятся ссылками - немогу посмотреть robots.txt (выдаёт ошибку 404) того сайта: и для чего тогда предлагать?

onenameless
На сайте с 09.11.2009
Offline
40
#1

А не может быть такого что robots.txt на сайте просто нет? 404 - файл не найден

Лучший хостинг Тестовый период 30 дней (http://beget.ru?id=60203)
The WishMaster
На сайте с 29.09.2005
Offline
2542
#2
Serg_:
Предложили поменятся ссылками - немогу посмотреть robots.txt (выдаёт ошибку 404) того сайта: и для чего тогда предлагать?

Бугага :D Там просто нет этого файла.

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
S
На сайте с 26.07.2009
Offline
12
#3
А не может быть такого что robots.txt на сайте просто нет? 404 - файл не найден

Верно, пишет, что "неудаётся найти веб страницу". Но: стал проверять на склейку сайта этого товарища - оказалось, что "ввв_сайт_ ру" в Гугле склеен с его старым сайтом ("ввв_сайт_спб_ру"), а старый сайт "ввв_сайт_спб_ру" в Яндексе склеен с новым "ввв_сайт_ру". У обоих тиц 40, pr4. Насколько я помню на "народных" сайтах нельзя разместить .хтацесс - т.е. клеил он их наверняка роботсом.

Для чего это ему всё надо? Можно ли верить?

Там просто нет этого файла.
Человек поднявший сайту ПР4 врядли будет игнорировать роботс...
S2
На сайте с 07.01.2008
Offline
611
#4
Serg_:
Насколько я помню на "народных" сайтах нельзя разместить .хтацесс - т.е. клеил он их наверняка роботсом.

Яндекс и без роботса вполне может склеить и клеит. Если сайт основное зеркало, то в чём проблема?

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)
S
На сайте с 26.07.2009
Offline
12
#5
Если сайт основное зеркало, то в чём проблема?

Так можно ли верить? Смутили все эти круговые "движения". Собсно - спасибо за разъяснения.

Я ксати не впервый раз с таким сталкиваюсь, просто самого коснулось впервые. А можно ли и как этот роботс закрыть от "сглазу"?

S
На сайте с 28.10.2005
Offline
319
#6
Serg_:
А можно ли и как этот роботс закрыть от "сглазу"?

Тогда уж лучше отдавать таким вот смотрельщикам чтонить типа:

User-agent: *

Disallow:

чтоб не переживали

S
На сайте с 26.07.2009
Offline
12
#7
чтоб не переживали

:)спасибо понял

The WishMaster
На сайте с 29.09.2005
Offline
2542
#8
Serg_:
Человек поднявший сайту ПР4 врядли будет игнорировать роботс...

Где связь вообще? :D

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий