Я ни на что не намекаю, я ведь не знаю адрес сайта и какие url'ы у страниц, знал бы, сказал бы больше.
Константинович: Главную разрешил
Естественно :) Она и не запрещена!
Константинович: а вот остальные, адреса которых прописаны кириллицей, запретил, точнее, дал статус "синтаксическая ошибка". Но главную же он индексирует... Google индексирует...
Константинович: ТС самостоятельно запретил сайт для индексации? Если так, то почему google индексирует его спокойно?
Я обратил внимание ТС на его ошибку в robots'е. Эта ошибка скажется только в том случае, если адреса страниц у сайт имеют вид: site.ru/wp-content/uploads/страница, потому что правило Disallow: /wp-content/ их запрещает, несмотря на то что ниже прописано правило их разрешающее Allow: /wp-content/uploads/ (в данном случае оно не работает!)
Если у сайта нет таких адресов, то все в порядке :)
После того как Вы прописали правило Disallow: /wp-content/, правило Allow: /wp-content/uploads/ уже не будет работать. Для того, чтобы оно работало нужно его прописать перед первым правилом или первое правило переписать как Disallow: /wp-content/$ (это уже как Вам нужнее).
Проверка Вашего robots.txt здесь это подтверждает.
Попробуйте загрузить сами robots с сайта и проверьте Ваши страницы там.
ViZa: Ну допустим :) Но проблема то у ТС всё равно не в этом. А из за зеркал. У меня не было проблем с выдачей с подобными дублями. :) А с зеркалами были. А эти дубли в скором времени пропадали.
Я же говорил, что я спорил с Вами из-за той фразы, а не из-за Ваших слов о зеркалах.
ViZa: Повторяю ещё разок! Это главная страница. У вас есть сайт не на цмс? Вот если есть то посмотрите какая страница у вас отвечает за главную страницу! Во многих случаях это index.htm, index.html и так далее.
Мы все тут знакомы хоть как-нибудь с веб-строительством, чтобы понять, что это и есть главная страница. Но это для нас она такая, а для робота она имеет другой url и это для него другая страница. Для него даже с www и без www - разные страницы (до тех пор пока не склеит).
Вы намекаете на то
Я ни на что не намекаю, я ведь не знаю адрес сайта и какие url'ы у страниц, знал бы, сказал бы больше.
Главную разрешил
Естественно :) Она и не запрещена!
а вот остальные, адреса которых прописаны кириллицей, запретил, точнее, дал статус "синтаксическая ошибка". Но главную же он индексирует... Google индексирует...
ТС самостоятельно запретил сайт для индексации? Если так, то почему google индексирует его спокойно?
Я обратил внимание ТС на его ошибку в robots'е. Эта ошибка скажется только в том случае, если адреса страниц у сайт имеют вид: site.ru/wp-content/uploads/страница, потому что правило Disallow: /wp-content/ их запрещает, несмотря на то что ниже прописано правило их разрешающее Allow: /wp-content/uploads/ (в данном случае оно не работает!)
Если у сайта нет таких адресов, то все в порядке :)
правильно?
Правильно.
А в будущем можете спрашивать здесь.
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Allow: /wp-content/uploads/
После того как Вы прописали правило Disallow: /wp-content/, правило Allow: /wp-content/uploads/ уже не будет работать. Для того, чтобы оно работало нужно его прописать перед первым правилом или первое правило переписать как Disallow: /wp-content/$ (это уже как Вам нужнее).
Проверка Вашего robots.txt здесь это подтверждает.
Попробуйте загрузить сами robots с сайта и проверьте Ваши страницы там.
Можно тогда другой вопрос: чем это проще, чем прописать Disallow: /*PHPSESSID ?
Или чем это лучше, или в каких случаях так удобнее?
Просто не встречал еще примеров, где обычным "Disallow" нельзя справиться.
Обновите на 8092 и радуйтесь
Именно он сегодня и не работал :) Правда всего около 5-7 минут.
Ну допустим :) Но проблема то у ТС всё равно не в этом. А из за зеркал. У меня не было проблем с выдачей с подобными дублями. :) А с зеркалами были. А эти дубли в скором времени пропадали.
Я же говорил, что я спорил с Вами из-за той фразы, а не из-за Ваших слов о зеркалах.
Давайте уже просыпайтесь! :) Хорошего Вам дня!
Не смешите меня хорошо? Вот их главная:
www.bdbd.ru/index.php А это запрет всех index.html
Крантец :D
Вы бы хоть зашли по своей ссылке сначала.
В скором времени пропадала и ничего я не запрещал.
Разговор-то не об этом, понятно, что они склеятся потом.
Я спорю по поводу этой Вашей фразы:
Вы в своём уме? Сейчас наговорите и главная страница выпадет из индекса.
Покажите мне такой сайт с запретом индекса главной страницы но так что бы она была в индексе! Вы сами себе противоречите!
Я себе не противоречу...
Мне повезло, я даже нашел такой сайт :)
страница index.html закрыта в robots'e, она(!) не в индексе, но морда в индексе.
Достаточно хороший для Вас пример?
Повторяю ещё разок! Это главная страница. У вас есть сайт не на цмс? Вот если есть то посмотрите какая страница у вас отвечает за главную страницу! Во многих случаях это index.htm, index.html и так далее.
Мы все тут знакомы хоть как-нибудь с веб-строительством, чтобы понять, что это и есть главная страница. Но это для нас она такая, а для робота она имеет другой url и это для него другая страница. Для него даже с www и без www - разные страницы (до тех пор пока не склеит).