Rau: То,что запрещено в роботс.тхт, не присутствует в поиске.Но загружается роботом.
Это так ошибочно и упрощенно формулируется в Яндекс.Вебмастере. На самом деле, то что запрещено, роботом не загружается. Просто про эти урлы робот знает, он может их посчитать.
как прибавить ссылок на сайт бесплатно.
Ну и как, результаты поиска индексируются? Несмотря на запрет в robots.txt ?
http://meta.ua/robots.txt :
Allow: /ex/
Disallow: /picture/
Disallow: /b.asp
Disallow: /mclick.asp
Disallow: /adclick.asp
Disallow: /c.asp
Disallow: /f_new.asp
Disallow: /getpage.asp
Disallow: /ru/getpage.asp
Disallow: /en/getpage.asp
Disallow: /ua/getpage.asp
Disallow: /cnt/group_and_context/
Disallow: /search.asp
Disallow: /ru/search.asp
Disallow: /ua/search.asp
Disallow: /en/search.asp
Disallow: /pda/search.asp
Disallow: /ua/search.asp
Disallow: /en/search.asp
Disallow: /jmp.asp
Disallow: /ua/jmp.asp
Disallow: /en/jmp.asp
Disallow: /go.asp
Disallow: /ua/go.asp
Disallow: /en/go.asp
Disallow: /img/
Disallow: /scripts/
Disallow: /addurl/
Disallow: /ua/meta/quality
Disallow: /en/meta/quality
Disallow: /meta/quality
Disallow: /search_context.asp
Disallow: /quality.asp
Disallow: /rest.asp
Disallow: /getpage.php
Поздравляю вас, Denisg, с очередным пуком в лужу.
B_D, arum, это одинаковые запросы в плане HTTP, контент одинаковый всегда, а адрес документа заканчивается ДО решетки. Проблемы дублей здесь нет.
будет продвигаться по двум типам запросов:
первый: блаблабла екатеринбург
второй: блаблабла москва
Это геонезавиимые запросы.
запросы со словом москва - по галке поиск по москве.
У вас каша в голове. Галка - это не слово в запросе.
http://company.yandex.ru/technology/regions/ - изучайте.
Или запрос в студию, или удалю тему.
Allow: /$
Disallow: /
Адрес сайта нам нужно угадать?
RedirectPermanent /shop/blablabla.html http://site.ru/blablabla.html
(это строчка в .htaccess)
Вероятно, вам нужно будет запретить индексацию на сайте для каждой страницы.
Это еще зачем? Это провокация?
То,что запрещено в роботс.тхт, не присутствует в поиске.Но загружается роботом.
Это так ошибочно и упрощенно формулируется в Яндекс.Вебмастере. На самом деле, то что запрещено, роботом не загружается. Просто про эти урлы робот знает, он может их посчитать.
Делим на 30 - количество месяцев в году.
А сколько секунд в минуте? А граммов в килограмме? Вы все перепутали!
Но главное - это забытые кавычки, вам уже написал Brand from Amber.