Ага до 31 мая бесплатно, но он ловит не везде, но если происходит подключение, то 200-300 кб/c у меня выдает.
если читать тут то должен увидеть тоже
но если учесть вот это
то становится вообще ничего не понятно:(
Talisman13 Я был не прав
Если существуют правила, то их не просто так пишут.
Стандарты и наследование, что прописано для всех поисковых систем работает и правила написисания также. Если объявляется в robots.txt новый user-agent, то он наследует все предыдущие правила и в них можно прописать другие.
Относительно другой темы, там идет о другом разговор.
Crawl-delay: - какой поисковик пользуется данной перемнной?
Если существуют проблемы, то надо писать в службу поддержки.
Удалиете robots.txt вообще, если не понимаете зачем он нужен...;)
Без этого файла сайты также живут... просто будут индексироваться не нужные страницы... когда разберетесь, какие страницы вам не надо индексировать прочитайте мануал Яндекса и делайте как там написано, со временем разберетесь
Начнем с того, что последовательность должна быть обратной, вначале прописываются правила для всех поисковых систем, а потом делаются исключения для определенных User-agent-ов
Далее Вы делаете дубликацию кода. Зачем повторять код, если Вы не собираетесь вносить корректировки для определенной поисковой системы, получается у Вас идут те же исключения для Яндекса, что и для остальных поисковых систем.
должно выглядеть так:
Также, можно не прописывать User-agent: Yandex, а просто прописать ее в User-agent: * в конце директиву Host (она должна быть обязательно последней). Просто остальные системы её использовать не будут, т.к. это фича Яндекса.
Здесь про анализ Яндексом файла роботс, а вот тут про стандарты роботс на которые стоит ссылка из предыдущего документа и напсано, что вначале должны использоваться правила для наибольшего колличества роботов
и там же есть участок относительно дупликации
Ну а если по теме:
Последнее время индексация идет долго, если не ставить внешних ссылок, да даже если их ставить и постоянно добовлять в адурилку проходит недели 3, иногда меньше, иногда больше, прежде чем сайт появляется в выдаче Яндекса.
Я так понял, что речь идет о том, чтобы название поста и Title у сформировавшейся страницы в WP были разными и ни о какой подмене выдачи для поисковика и пользователя речь не идет.
Да так можно делать, если TITLE получится более оптимизирован под нужные ключи, чем общее название поста - это принесет пользу при продвижении по данным ключам
сайт аудитор
магадан
YCCY
Что то странно он подсчитывает.
Он подсчитывает количество фраз в тексте и тегах или только в тегах?
У меня на некоторых фразах непонятные результаты
В тот день был какой то глюк - 19 числа все изменения внесенные на сайт мгновенно отражались в сохраненной копии, тоже вносил изменения в тех же числах, сейчас также откатило сохраненную копию.
Была тема /ru/forum/331109 от 20 числа
