Вот-вот. Стоит убрать бессмысленную строчку "Disallow:" и проверка показывает, что site.ru/folder/1.html запрещено.
seo3_Kul, тут все написано, и ответ на ваш вопрос есть:
Использование спецсимволов "*" и "$".
Проверка нормально работает. Видимо дело в лыжах.
Я бы сделал так:
В вашем варианте возможно закроются и нужные страницы и для страниц такого типа http://mysite.com/category1/category2.feed?type=rss он тоже не подходит.
А проверкой роботса вы так и не воспользовались:
Стоит.
Как составить роботс.
Как проверить роботс.
Аня, никто не знает, лучше это или не влияет. Наверное, достаточно уверенно можно сказать, что это не хуже :)
Если так отбирать доноров, то нужно еще попросить доступ к статистике и посмотреть, посещается ли сейчас эта страница, ведь переходы по ссылке это естественно!
Не заморачивайся, если всем остальным требованиям страница удовлетворяет, то бери.
Ссылка 1
Ссылка 2
Сравниваем, и убеждаемся, что главное зеркало в Яндексе www.monemo.ru. Можете это проверить, добавив http://monemo.ru в дурилку, она скажет, что "сайт является неглавным зеркалом сайта www.monemo.ru".
Вы ставите с главного зеркало 301-й редирект, а Яндекс не держит в индексе страницы с ответом, отличным от 200-го, поэтому страницы сайта начинают выпадать, а если не выпадать, то теряют сохраненки (как морда например) и трафик, соответственно.
И так будет продолжаться до:
1. тех пор, пока не придет робот-зеркальщик и не переопределит главное зеркало.
или
2. тех пор, пока Вы не уберете редирект и это не увидит робот-индексатор и не проиндексирует их снова.
Второй вариант намного быстрее.
А за большое количество таких страниц в индексе (а их там уже много) Вас вообще настигнет АГС, это вопрос времени.
Т.е. даже прочитав хелп, Вы не смогли понять, что звездочка на конце это не ошибка и не неграмотная конструкция? Или боитесь признать свою ошибку?
Не настолько интересно, чтобы дарить Вам за это деньги. Мои сайты в ТОПе и останутся там, даже если я наставлю звездочек в конце каждой строки роботса.
Где ошибка? Почитайте вот на досуге:
P.S. Интересно, Вы за исправление таких "технических проблем" берете деньги с тех, кто у Вас аудит заказывает?
Для того чтобы такие как Вы придрались к такому, совершенно безобидному в данном случае символу. И имели возможность показать свои гениальные познания.
Удивительно.
