схавал страницы, которые запрещены для индексации в robots.txt, несмотря на проставленные галочки в нужном месте.
апну топик. вот уже три месяца прошло, а никак толковый софт не могу найти, чтобы сделать хороший сайтмэп, который бы robots.txt понимал. страниц всего около 200к, но разрешено к индексации порядка 40к. может что-нибудь новое появилось из софта?
ребята, вышлите ключик к 1.6!! две недели жду.
вопрос решен.
Возникла следующая проблема с зеркалами.
Проверил свой сайт
http://yandex.ru/yandsearch?serverurl=www.sitename.ru
http://yandex.ru/yandsearch?serverurl=sitename.ru
в обоих случаях Яндекс выдает страницы с www, т.е если я правильно понимаю
основным зеркалом он считает www.sitename.ru
В тоже время большая часть ссылок ведет на sitename.ru, которую я и хочу сделать
основной, поставив в htaccess редирект 301 c www.sitename.ru на sitename.ru
Можно ли так сделать, и не рискую ли я тем, что выпадут из индекса все мои страницы на время или еще чем либо?
Прописать в robots.txt - host я так понимаю - не выход,, т.к это актуально только для Яндекса.
В свою очередь как отнесется гугл к 301 редиректу, в свете недавних заявлений, что любой редирект - зло?
robots.txt уважать данный сервис отказывается, хотя чекеры и яндекса и гугла отлично этот роботс.тхт понимают.
ребята, так чем же (желательно десктопным) можно сгенерить сайтмап с учетом роботс.тхт для большого сайта?
CoffeCup Google SiteMapper, как я понял, robots.txt не руководствуется. Подскажите, есть ли аналогичные десктопные решения, которые бы учитывали требования robots.txt и не включали бы в sitemap ненужные страницы?
ТС сделал бесплатный прогон. Упало около 200 писем.
По законодательству Республики Беларусь юридическую консультацию можно получить тут
Записывался у ТС на тестовый прогон, предоставил нулевой сайт (куплено порядка 30 ссылок в sape, 20 проиндексировано уже), после прогона на почту упало около 125 писем. Маловато, но anyway спасибо.
