Документ запрещён в файле robots.txt. Подскажите, как решить?

P4
На сайте с 03.10.2014
Offline
43
712

Всем привет! В прошлом месяце, я здесь обращался за помощью, как составить файл роботс. Так особо и не вьехав, решил сделать robots.txt при помощи плагина All in one SEO Pack. В общем, создал этим плагином карту сайта и сам роботс. Через несколько дней все страницы оказались в поиске Яндекса и Гугла. Проблема с Яндексом...

Всего было загружено 68 страниц, а в поиске присутствовало 25. Ну, думаю, ладно. За пару недель ещё несколько десятков текстов на сайт выложил. И сегодня я захожу в Яндекс Веб Мастер, там загружено 105 страниц, но в поиске стало вообще 19!!! Начал смотреть, что да как... И увидел такую статистику:

Страницы в поиске: 19

Загружено роботом: 105

Исключено роботом: 75

Так вот, из исключённого роботом, 65 страниц попали в категорию "документ запрещён в файле robots.txt" и 10 "документ содержит мета-тег noindex"

Интересно то, что я вообще ничего не делал с роботсом и картой сайта. Подскажите, в чём проблема? Как исправить?

Всем спасибо!!

- Romanus -
На сайте с 20.01.2015
Offline
91
#1

Покажите примеры урлов и Robots.txt

Делаю SEO. Веду блог - Romanus.ru ( https://romanus.ru )
P4
На сайте с 03.10.2014
Offline
43
#2

Приветствую! Спасибо, что откликнулись!

Вот несколько ссылочек (я так понимаю, Вы их просили?):

http://actual-device.ru/poyavilis-pervye-fotografii-smartpeda-lenovo-vibe-z3-pro/

http://actual-device.ru/novye-podrobnosti-o-samsung-galaxy-s6/

http://actual-device.ru/stoimost-akcij-apple-ustanovila-novyj-rekord/

И вот содержимое файла роботс:

User-agent: *

Disallow: /wp-admin/

Sitemap: http://actual-device.ru/sitemap.xml.gz

Sitemap: http://actual-device.ru/sitemap.xml

Никак не могу начать нормально работать над сайтом, всё до ума довести не получается... Может, уже кого-то нанять, что бы сделали всё... Но блин, дорого...

Буду рад любому совету!

YaanGle
На сайте с 06.09.2011
Offline
155
#3

В роботсе адреса не запрещены. Причина не в этом. Посмотрите адреса выборочно в инструменте "Проверить url", также просканируйте сайт netpeak spiderом или похожим софтом.

На будущее: используйте в ПВЯ инструмент проверки robots.txt - можно менять в реальном времени содержимое и проверять на корректность.

R
На сайте с 08.05.2008
Offline
222
#4

Вебмастер тупит как обычно, сайт наверное под фильтром. Напишите в ТП Яндекса и спросите насчет индексации сайта

Тема по продвижению сайтов. От 30 000 р. со ссылочным и копирайтингом!. (/ru/forum/801720) Темка по аудитам и консультациям. Стоимость аудита 9 000 рублей. (/ru/forum/622569) skype rastijko
P4
На сайте с 03.10.2014
Offline
43
#5
rast:
Вебмастер тупит как обычно, сайт наверное под фильтром. Напишите в ТП Яндекса и спросите насчет индексации сайта

Хм... С чего ему быть под фильтром, всего лишь месяц сайту... Может, ситуация поменяется? Бывает такое, что простой глюк? Просто, все тексты уникальны, ничего не ворую, сам всё пишу, стараюсь. Как только всё придёт в норму, буду в день публиковать гораздо больше материала и не только новости. Но как решить это всё!!!

Напишу в поддержку, потом здесь отпишусь.

Спасибо за совет!!

---------- Добавлено 05.02.2015 в 18:27 ----------

YaanGle:
В роботсе адреса не запрещены. Причина не в этом. Посмотрите адреса выборочно в инструменте "Проверить url", также просканируйте сайт netpeak spiderом или похожим софтом.
На будущее: используйте в ПВЯ инструмент проверки robots.txt - можно менять в реальном времени содержимое и проверять на корректность.

URL одной странички проверил, на что получил ответ: "адрес страницы уже известен роботу, однако контент ещё не проиндексрован".

---------- Добавлено 05.02.2015 в 18:31 ----------

А может влиять на данную ситуацию то, что сайт молодой, а частота добавления текстов 3-4 в день?

Просто, я когда работал на уже продвинутом новостнике, то мои новости реально были уже через 5 минут проиндексированы))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий