Почему Яндекс не индексирует некоторые страницы сайта?

xakep1
На сайте с 30.12.2012
Offline
58
696

Почему Яндекс не индексирует страницы вида site.ru/lechenie-alkogolizma/алкоголизм-и-дипсомания/ при таком файле robots.txt:

User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /share42/

Disallow: /wm/

Disallow: /404/

Disallow: /component/

P.S. для Гугла такая же установка стоит и все ок, страницы такого вида в индексе Гугла. Помогите, пожалуйста, разобраться в чем причина?!

Ссылка http://www.alkonarkostop.com.ua/

Эскорт в Израиле (https://israel-escorts.com)
[Удален]
#1

В ВМ посмотрите список исключенных страниц, там же узнаете причину. Да и подробностей побольше, мб там адский копипаст. С ссылкой будет проще

xakep1
На сайте с 30.12.2012
Offline
58
#2
JerichoGB:
В ВМ посмотрите список исключенных страниц, там же узнаете причину. Да и подробностей побольше, мб там адский копипаст. С ссылкой будет проще

В Яндекс Вебмастере пишет такую причину - Документ запрещен в файле robots.txt. Контент уник. Плюс постоянно вкидываю новые статьи, ежедневно. Добавил ссылку на сайт в первом посте.

дани мапов
На сайте с 06.09.2012
Offline
204
#3

http://webmaster.yandex.ru/robots.xml показывает, что "разрешен".

Написание и доработка скриптов (PHP, MySQL, JavaScript, jQuery) (/ru/forum/811046)
Maxim-KL
На сайте с 26.01.2011
Offline
350
#4

xakep1, Банально добавьте страничку в адурлку, если добавилась значит все ок и проблема не в роботсе. Если проблема в роботсе адурлка покажет что страничка запрещена к индексации роботсом.

Мои услуги по прогонам: ✅Качественный ручной статейный прогон по базе сайтов с ИКС10+ (maximgroups.net/progon-statejnyj) ✅Прогон Максимум - Все включено, 300+ качественных ссылок (maximgroups.net/progon-maksimum)
xakep1
На сайте с 30.12.2012
Offline
58
#5
дани мапов:
http://webmaster.yandex.ru/robots.xml показывает, что "разрешен".

Я добавил в роботс такие строки:

Allow: /lechenie-alkogolizma/

Allow: /lechenie-narkomanii/

Allow: /novosti/

Allow: /otzyvy/

Allow: /populyarnye-narkotiki-1/

Allow: /vazhno-znat/

но таких папок физически нет. Как быть с этим?

---------- Добавлено 13.11.2014 в 22:42 ----------

Maxim-KL:
xakep1, Банально добавьте страничку в адурлку, если добавилась значит все ок и проблема не в роботсе. Если проблема в роботсе адурлка покажет что страничка запрещена к индексации роботсом.

Адрес http://www.alkonarkostop.com.ua/lechenie-alkogolizma/%D1%82%D0%B0%D0%B1%D0%BB%D0%B5%D1%82%D0%BA%D0%B8-%D0%BE%D1%82-%D0%B0%D0%BB%D0%BA%D0%BE%D0%B3%D0%BE%D0%BB%D0%B8%D0%B7%D0%BC%D0%B0/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска.

Maxim-KL
На сайте с 26.01.2011
Offline
350
#6

xakep1, Все ок, страничка доступна для индексации и проблема тут уже точно не в robots.txt

xakep1
На сайте с 30.12.2012
Offline
58
#7

Maxim-KL, спасибо за помощь.

Maxim-KL
На сайте с 26.01.2011
Offline
350
#8

xakep1, Да не за что, обращайтесь...🍿

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий