Методом эксперементов было определено что яндекс не всегда воспринимает строку
User-agent: *
если ниже находится
User-agent: Yandex
Возможно уже "баян"
Хост прописан
Но ведь Как я уже сказал Яндекс считает
Disallow: /admin Disallow: /admin/
Разными совершенно урлами.
Ваш пример от моего первичного отличается только добавлением хоста, а он у меня прописан просто я на этом не акцентировал внимания
ЗЫ Кажется Яндекс совсем сломали :( Ввожу http://www.yandex.ru/cgi-bin/test-robots?host=www.****.ru
И пишет что ничего не запрещено
А у меня там
User-agent: * Disallow: /cnstats Disallow: /usercp Disallow: /register Disallow: /login Disallow: /search Disallow: /admin Disallow: /submit Disallow: /img Disallow: /cnstats/ Disallow: /usercp/ Disallow: /register/ Disallow: /login/ Disallow: /search/ Disallow: /admin/ Disallow: /submit/ Disallow: /img/
User-agent: Yandex Host: www.****.ru
Не смотря на все советы опубликованные тут столкнулся с проблеМММой
Яндекекс скушал www.всетут.ru/admin/ до того как она была зактыта robots.txt
Сейчас по советам все папки установлены без завершающего слеша
Disallow: /admin
Решил ее удалить вручную в яндексе
Добавляю там www.всетут.ru/admin/ (удалить весь каталог) А мне яндекс пишет что не может ее удалить так как она не запрещена к индексации
Убираю слешь и он пишет что удалит через некоторое время.
Значит получается директивы
Disallow: /admin/
Все же разные и певая строка не запрезает индексацию урла со слешем а это подразумевает что и /admin/555 тоже будут проиндексированы?
Блин проверил и http://www.всетут.ru/admin/?a=articles спокойно добавился :(
Итого делаю вывод что не смотря на заверения и советы на форуме требуется закрывать одновременно оба варианта Disallow: /admin Disallow: /admin/
Ну так...... Такая же песня. Выложил каталог сайтов на 20000 страниц. Разместил на него одну внешнюю ссылку. За неделю Яндекс скушал 16000. При этом урл прописал заглавными буквами и больше за 3 месяца на сайт не заходил :)
dimenty, Очевидно Вы просто не видели баз у товарищей которые писали чуть выше в данном топике. Вот там Впечатляет и качество и цена
"Убей клона - спаси форум" (моё) ☝
Главное правило - Учитесь ждать.
Жирность ссылки не подразумевает что роботы Яндекса индексируют этот сайт круглосуточно
ЗЫ Купил ссылку с сайта с ТИЦ 7300 , так она 40 дней не индексировалась
Уже двойной баян.
Уже 2 раза обсуждалов и Разработчки уже неделю обещают "глянуть" есть или нет глюк.
Так и не глянули ............ видать ...
Ок. Договорились
Значит ровно через 12 месяцев я смогу пойти и бесплатно взять у Вас плазму?
Не отдадите ? Так она же ничего не стоит?
Я живу сегоднешним днем и хочу что бы "здесь и сейчас" мой ребенок смотрел качественную картинку и не портил себе глаза!
Сколько юудет она стоит через год мне совершенно фиолетово.
Устареет морально - пойду и куплю новую
