Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как правильно вычистить ссылки из базы ?

12
C
На сайте с 19.09.2001
Offline
120
Cherny
#11

В этой статье много ошибок. Например формат файла не обязательно должен быть юниксовым, можно использовать несколько строк User-agent в одной записи, но основная ошибка та, что все строки в поле Disallow должны начинаться с корня (/), а них в примерах это не так.

Лучше уж потратить время и прочитать стандарт, где-то на citforum.ru был его перевод, а вышеприведенную статью лучше не читайте. 🙅

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
Spam Killer
На сайте с 12.12.2003
Offline
62
Spam Killer
#12

Кстати, порылся в Нете, нашёл всякие стандарты по роботам, почитал статьи. И... вот те на !!!

Проанализировал свой "robots.txt". А у меня первая строчка User-Agent, т.е. второе слово с большой буквы, а не с малой. Уже несоответствие стандартам есть. Может вот где "собака порылась"

Исправил, жду ботов в гости...

Qualified Google Advertising Professional (http://adwords.google.com/select/ProfessionalStatus?id=r5qNaBjQDqkd8RJeXSewXg&hl=ru) обновлённая rabota.ua (http://rabota.ua), вакансии лучших украинских компаний
Яндекс кобласит Наши сайты перестанут индексироваться Нарушения и угрозы безопасности
Spam Killer
На сайте с 12.12.2003
Offline
62
Spam Killer
#13

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi?ti=1078391701&action=reset

Может кому-то пригодится свои "робот-менеджеры" проверить

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#14
у меня первая строчка User-Agent, т.е. второе слово с большой буквы, а не с малой. Уже несоответствие стандартам есть

Нет несоответсвия.

http://www.robotstxt.org/wc/norobots.html :


The file consists of one or more records separated by one or more blank lines (terminated by CR,CR/NL, or NL). Each record contains lines of the form "<field>:<optionalspace><value><optionalspace>". The field name is case insensitive.
Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
Spam Killer
На сайте с 12.12.2003
Offline
62
Spam Killer
#15

спасибо, wolf.

Подожду ещё пару недель, так и быть... 🙄

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий