- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Почему Яндекс не индексирует страницы вида site.ru/lechenie-alkogolizma/алкоголизм-и-дипсомания/ при таком файле robots.txt:
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /share42/
Disallow: /wm/
Disallow: /404/
Disallow: /component/
P.S. для Гугла такая же установка стоит и все ок, страницы такого вида в индексе Гугла. Помогите, пожалуйста, разобраться в чем причина?!
Ссылка http://www.alkonarkostop.com.ua/
В ВМ посмотрите список исключенных страниц, там же узнаете причину. Да и подробностей побольше, мб там адский копипаст. С ссылкой будет проще
В ВМ посмотрите список исключенных страниц, там же узнаете причину. Да и подробностей побольше, мб там адский копипаст. С ссылкой будет проще
В Яндекс Вебмастере пишет такую причину - Документ запрещен в файле robots.txt. Контент уник. Плюс постоянно вкидываю новые статьи, ежедневно. Добавил ссылку на сайт в первом посте.
http://webmaster.yandex.ru/robots.xml показывает, что "разрешен".
xakep1, Банально добавьте страничку в адурлку, если добавилась значит все ок и проблема не в роботсе. Если проблема в роботсе адурлка покажет что страничка запрещена к индексации роботсом.
http://webmaster.yandex.ru/robots.xml показывает, что "разрешен".
Я добавил в роботс такие строки:
Allow: /lechenie-alkogolizma/
Allow: /lechenie-narkomanii/
Allow: /novosti/
Allow: /otzyvy/
Allow: /populyarnye-narkotiki-1/
Allow: /vazhno-znat/
но таких папок физически нет. Как быть с этим?
---------- Добавлено 13.11.2014 в 22:42 ----------
xakep1, Банально добавьте страничку в адурлку, если добавилась значит все ок и проблема не в роботсе. Если проблема в роботсе адурлка покажет что страничка запрещена к индексации роботсом.
Адрес http://www.alkonarkostop.com.ua/lechenie-alkogolizma/%D1%82%D0%B0%D0%B1%D0%BB%D0%B5%D1%82%D0%BA%D0%B8-%D0%BE%D1%82-%D0%B0%D0%BB%D0%BA%D0%BE%D0%B3%D0%BE%D0%BB%D0%B8%D0%B7%D0%BC%D0%B0/ успешно добавлен. По мере обхода робота он будет проиндексирован и станет доступным для поиска.
xakep1, Все ок, страничка доступна для индексации и проблема тут уже точно не в robots.txt
Maxim-KL, спасибо за помощь.
xakep1, Да не за что, обращайтесь...🍿