не уверен, НО, обычно, явный запрет имеет приоритет перед явным разрешением.
а по моим ключам, согласно данным Yandex Wordstat и Google Adwords, число запросов в Яндексе больше, причём намного, в 2 - 10 раз
мб какие-то глюки с DNS, у меня в инструментах для вебмастеров Гугл в списке страниц с внешними ссылками есть такого вида: http://h%20www.site.ru/, что интересно, ссылка рабочая 😎
наугад проверил несколько урлов из 2-й и 3-й, результат - тот же, 1-я не качается, но что-то подсказывает мне, что 1-я такая же как и все остальные
скажите пожалуйста, почему нельзя сжать базы, хотя-бы zip-ом ?
проверил урлов 30 из базы... все до одной бесполезные
я бы даже добавил, одинаково верно 🙄
нет
:10символов:
у меня достаточно долго держались страницы которые были запрещены в robots.txt, и, кроме того, я подал запрос на их удаление на http://webmaster.yandex.ru/delurl.xml , так что я думаю нет поводов для беспокойства
А кроме Яндекса то у нас не осталось поисковиков ?
