Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml, в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все), примеры:
Робот запомнит пути к sitemaps.xml, обработает файлы и будет использовать результаты при последующем формировании сессий закачки.
но если учесть вот это
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.
Talisman13: Где это вы такое вычитали?
Вот хотя бы прочитайте тему и 18 пост в отдельности несколько раз чтобы лучше дошло.
Если существуют правила, то их не просто так пишут.
Стандарты и наследование, что прописано для всех поисковых систем работает и правила написисания также. Если объявляется в robots.txt новый user-agent, то он наследует все предыдущие правила и в них можно прописать другие.
Относительно другой темы, там идет о другом разговор.
Crawl-delay: - какой поисковик пользуется данной перемнной?
Если существуют проблемы, то надо писать в службу поддержки.
Удалиете robots.txt вообще, если не понимаете зачем он нужен...;)
Без этого файла сайты также живут... просто будут индексироваться не нужные страницы... когда разберетесь, какие страницы вам не надо индексировать прочитайте мануал Яндекса и делайте как там написано, со временем разберетесь
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed (# запрещает скачивать все, кроме страниц начинающихся с '/feed', таким образом Вы не папку отключаете от индексации)
Disallow: /feed/atom
Disallow: /feed/rss
Host: blogprosex.ru
Sitemap: http://blogprosex.ru/sitemap.xml (можно и не использовать в Вашем случае, у ВАс всего 50-60 страниц, я бы сделал только карту сайта)
Начнем с того, что последовательность должна быть обратной, вначале прописываются правила для всех поисковых систем, а потом делаются исключения для определенных User-agent-ов
Далее Вы делаете дубликацию кода. Зачем повторять код, если Вы не собираетесь вносить корректировки для определенной поисковой системы, получается у Вас идут те же исключения для Яндекса, что и для остальных поисковых систем.
Также, можно не прописывать User-agent: Yandex, а просто прописать ее в User-agent: * в конце директиву Host (она должна быть обязательно последней). Просто остальные системы её использовать не будут, т.к. это фича Яндекса.
Здесь про анализ Яндексом файла роботс, а вот тут про стандарты роботс на которые стоит ссылка из предыдущего документа и напсано, что вначале должны использоваться правила для наибольшего колличества роботов
If more than one User-agent field is present the record describes an identical access policy for more than one robot. At least one field needs to be present per record.
и там же есть участок относительно дупликации
If the value is '*', the record describes the default access policy for any robot that has not matched any of the other records. It is not allowed to have multiple such records in the "/robots.txt" file.
Ну а если по теме:
spiderbuber: Выложил сайт. Контент - уник. Прогнал пару раз по социалкам. Добавил в гулю и яшу еще 10 марта - в выдаче ни там ни там нет :( Хотя уже прошел ап тица и ап выдачи... Как быть?
Последнее время индексация идет долго, если не ставить внешних ссылок, да даже если их ставить и постоянно добовлять в адурилку проходит недели 3, иногда меньше, иногда больше, прежде чем сайт появляется в выдаче Яндекса.
Я так понял, что речь идет о том, чтобы название поста и Title у сформировавшейся страницы в WP были разными и ни о какой подмене выдачи для поисковика и пользователя речь не идет.
blek+++: В wordpresse , что бы в тайтле публикации было одно, а в заголовке публ. (то что видит посетитель) другое? Тоесть поисковик кушает одно название а пользователь видит другое? Смысл будет один и тот же просто поисковику дам одну фразу а посетителю другую.
И не будет ли это вредно для продвижения сайта? Ведь проиндексируеться оба названия а они будут разными...
Да так можно делать, если TITLE получится более оптимизирован под нужные ключи, чем общее название поста - это принесет пользу при продвижении по данным ключам
В тот день был какой то глюк - 19 числа все изменения внесенные на сайт мгновенно отражались в сохраненной копии, тоже вносил изменения в тех же числах, сейчас также откатило сохраненную копию.
Как я понял, речь идет о WiMAX интернете. И о вот таких модемах.
ЗЫ неплохо, кстати: 900 рублей в месяц (включая НДС). за безлимитный мобильный интернет на скорости до 10 Мбит/с
http://www.yota.ru/ru/prices/
Ага до 31 мая бесплатно, но он ловит не везде, но если происходит подключение, то 200-300 кб/c у меня выдает.
если читать тут то должен увидеть тоже
Если вы используете описание структуры вашего сайта в формате sitemaps.xml, и хотите, чтобы робот узнал о ней, укажите путь к sitemaps.xml, в качестве параметра директивы 'Sitemap' (если файлов несколько, укажите все), примеры:
User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml
Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml
или
User-agent: Yandex
Allow: /
User-agent: *
Disallow: /
Sitemap: http://mysite.ru/site_structure/my_sitemaps1.xml
Sitemap: http://mysite.ru/site_structure/my_sitemaps2.xml
Робот запомнит пути к sitemaps.xml, обработает файлы и будет использовать результаты при последующем формировании сессий закачки.
но если учесть вот это
В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.
то становится вообще ничего не понятно:(
Talisman13 Я был не прав
Где это вы такое вычитали?
Вот хотя бы прочитайте тему и 18 пост в отдельности несколько раз чтобы лучше дошло.
Если существуют правила, то их не просто так пишут.
Стандарты и наследование, что прописано для всех поисковых систем работает и правила написисания также. Если объявляется в robots.txt новый user-agent, то он наследует все предыдущие правила и в них можно прописать другие.
Относительно другой темы, там идет о другом разговор.
Crawl-delay: - какой поисковик пользуется данной перемнной?
Если существуют проблемы, то надо писать в службу поддержки.
Удалиете robots.txt вообще, если не понимаете зачем он нужен...;)
Без этого файла сайты также живут... просто будут индексироваться не нужные страницы... когда разберетесь, какие страницы вам не надо индексировать прочитайте мануал Яндекса и делайте как там написано, со временем разберетесь
Плохо читали.
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed (# запрещает скачивать все, кроме страниц начинающихся с '/feed', таким образом Вы не папку отключаете от индексации)
Disallow: /feed/atom
Disallow: /feed/rss
Host: blogprosex.ru
Sitemap: http://blogprosex.ru/sitemap.xml (можно и не использовать в Вашем случае, у ВАс всего 50-60 страниц, я бы сделал только карту сайта)
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed
Disallow: /feed/atom
Disallow: /feed/rss
Начнем с того, что последовательность должна быть обратной, вначале прописываются правила для всех поисковых систем, а потом делаются исключения для определенных User-agent-ов
Далее Вы делаете дубликацию кода. Зачем повторять код, если Вы не собираетесь вносить корректировки для определенной поисковой системы, получается у Вас идут те же исключения для Яндекса, что и для остальных поисковых систем.
должно выглядеть так:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments/feed
Disallow: /feed
Disallow: /feed/atom
Disallow: /feed/rss
User-agent: Yandex
Host: blogprosex.ru
Также, можно не прописывать User-agent: Yandex, а просто прописать ее в User-agent: * в конце директиву Host (она должна быть обязательно последней). Просто остальные системы её использовать не будут, т.к. это фича Яндекса.
Здесь про анализ Яндексом файла роботс, а вот тут про стандарты роботс на которые стоит ссылка из предыдущего документа и напсано, что вначале должны использоваться правила для наибольшего колличества роботов
If more than one User-agent field is present the record describes an identical access policy for more than one robot. At least one field needs to be present per record.
и там же есть участок относительно дупликации
If the value is '*', the record describes the default access policy for any robot that has not matched any of the other records. It is not allowed to have multiple such records in the "/robots.txt" file.
Ну а если по теме:
Выложил сайт. Контент - уник. Прогнал пару раз по социалкам. Добавил в гулю и яшу еще 10 марта - в выдаче ни там ни там нет :( Хотя уже прошел ап тица и ап выдачи... Как быть?
Последнее время индексация идет долго, если не ставить внешних ссылок, да даже если их ставить и постоянно добовлять в адурилку проходит недели 3, иногда меньше, иногда больше, прежде чем сайт появляется в выдаче Яндекса.
Я так понял, что речь идет о том, чтобы название поста и Title у сформировавшейся страницы в WP были разными и ни о какой подмене выдачи для поисковика и пользователя речь не идет.
В wordpresse , что бы в тайтле публикации было одно, а в заголовке публ. (то что видит посетитель) другое? Тоесть поисковик кушает одно название а пользователь видит другое? Смысл будет один и тот же просто поисковику дам одну фразу а посетителю другую.
И не будет ли это вредно для продвижения сайта? Ведь проиндексируеться оба названия а они будут разными...
Да так можно делать, если TITLE получится более оптимизирован под нужные ключи, чем общее название поста - это принесет пользу при продвижении по данным ключам
сайт аудитор
магадан
YCCY
Что то странно он подсчитывает.
Он подсчитывает количество фраз в тексте и тегах или только в тегах?
У меня на некоторых фразах непонятные результаты
В тот день был какой то глюк - 19 числа все изменения внесенные на сайт мгновенно отражались в сохраненной копии, тоже вносил изменения в тех же числах, сейчас также откатило сохраненную копию.
Была тема /ru/forum/331109 от 20 числа