Документ запрещен в файле robots.txt

12
V1
На сайте с 06.02.2012
Offline
28
563

здравствуйте.

В панели инструментов яндексвебмастер много не проиндексированных страниц

на что яша пишет "Документ запрещен в файле robots.txt"

Вот мой txt ничего запрещенного нет, в чем причина подскажите пожалусто.

Было бы там пару станиц,ну и фиг сними, а там аж 2000

с ув.Андрей

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /*?*

Disallow: /tag

User-agent: Yandex

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: /*?*

Disallow: /tag

Host: http://3dvsem.com

Sitemap: http://3dvsem.com/sitemap.xml.gz

Sitemap: http://3dvsem.com/sitemap.xml

jpg Screenshot_2.jpg
D
На сайте с 29.06.2010
Offline
147
#1

10 символов

Maxim-KL
На сайте с 26.01.2011
Offline
350
#2

Verba1968, А вам эти странички нужны в индексе? Это скорее всего дубли, так что хорошо что не индексируются а то могли бы уже под АГС попасть.

Мои услуги по прогонам: ✅Качественный ручной статейный прогон по базе сайтов с ИКС10+ (maximgroups.net/progon-statejnyj) ✅Прогон Максимум - Все включено, 300+ качественных ссылок (maximgroups.net/progon-maksimum)
A
На сайте с 20.08.2010
Offline
775
#3
dpcenter:
Уберите из секций: Disallow: /*?* или сделайте ЧПУ

Там есть чпу, бот из кода берет шорт-урлы вп. Ничего делать не нужно, на индексацию не должно повлиять. На всякий случай можно проверить код ответа сервера в вм.

D
На сайте с 29.06.2010
Offline
147
#4
awasome:
Там есть чпу, бот из кода берет шорт-урлы вп. Ничего делать не нужно, на индексацию не должно повлиять. На всякий случай можно проверить код ответа сервера в вм.

Да, по сайтмапу увидел, тогда лучше всего убрать ссылки на страницы вида ?p= из head и из ответа сервера, или действтельно забить.

V1
На сайте с 06.02.2012
Offline
28
#5

Я всегда думал что у меня урлы ЧПУ

вот к примеру

http://3dvsem.com/bugatti-eb-110/

Ну а если я ошибаюсь то как мне проверить урлы на предмет ЧПУ

Дак а это (Disallow: /*?*) убирать? я а то я уже убрал

На всякий случай можно проверить код ответа сервера в вм

Подскажите как проверить,у меня под ником так и написано "студент" много чего не понимаю

D
На сайте с 29.06.2010
Offline
147
#6
Verba1968:
Я всегда думал что у меня урлы ЧПУ
вот к примеру
http://3dvsem.com/bugatti-eb-110/
Ну а если я ошибаюсь то как мне проверить урлы на предмет ЧПУ

Дак а это (Disallow: /*?*) убирать? я а то я уже убрал

НЕТ! Не убирать!

V1
На сайте с 06.02.2012
Offline
28
#7

вот якобы не проиндексированная запись с таким урлом "/?p=10885 "

при переходе по ней скидывает на http://3dvsem.com/3d-model-of-wines-bottle/

Вбиваю в поиск название записи "3d модель бутылки вина «Newman’s Own» в формате Cinema 4d"

В поиске у яндекса есть.

шо то не пойму

D
На сайте с 29.06.2010
Offline
147
#8
Verba1968:
вот якобы не проиндексированная запись с таким урлом "/?p=10885 "
при переходе по ней скидывает на http://3dvsem.com/3d-model-of-wines-bottle/
Вбиваю в поиск название записи "3d модель бутылки вина «Newman’s Own» в формате Cinema 4d"
В поиске у яндекса есть.
шо то не пойму

Всё у вас нормально. Ничего не предпринимайте.

V1
На сайте с 06.02.2012
Offline
28
#9
dpcenter:
Всё у вас нормально. Ничего не предпринимайте.

Спасибо друзья за советы.

Ну а эту директиву все таки вернуть обратно (Disallow: /*?*) да?

A
На сайте с 20.08.2010
Offline
775
#10
Verba1968:
вот якобы не проиндексированная запись с таким урлом "/?p=10885 "
при переходе по ней скидывает на http://3dvsem.com/3d-model-of-wines-bottle/

Так и должно быть, это особенность админки.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий