Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

12
I2
На сайте с 05.10.2019
Offline
1
895

Добрый день. Есть форум на vbulletin 3. Недавно упал траффик с гугла, я зашел в панель вебмастера и увидел, что как раз с момента падения около 20 тысяч страниц были помечены ошибкой "Доступ к отправленному URL заблокирован в файле robots.txt". В качестве примера приведены профили пользователей, которые действительно запрещены для индексации в роботсе. Прогнал сайт через бесплатный анализ pr-cy и он показал, что из индекса недавно вылетело 3000 страниц (это примерно 25% от все проиндексированных). Не понимаю почему так произошло, роботс последний раз трогал лет 6-7 назад и все было нормально. Почему именно сейчас вылезла такая проблема и как лучше поступить? Открывать для индексации профили, основная масса которых не содержит вообще никакого контента мне видится не самой разумной затеей. Тем более, что страниц с профилями в 2 раза больше, чем проиндексированных страниц с контентом.

webrock
На сайте с 05.04.2010
Offline
261
#1

Была такая проблема, но Гугл рекомендовал размещать тег noindex для страниц которые вы не хотите индексировать. Видимо, Гугл усек, где большая движуха и проигнорировал robots. У некоторых даже директории admin просканировал.

Полный аудит сайтов. (/ru/forum/765361)
totamon
На сайте с 12.05.2007
Offline
437
#2

кто его поймет вообще?

На основании анализа Вашего сайта были вынесены следующие предупреждения:
Проиндексировано, несмотря на блокировку в файле robots.txt

те он проиндексировал страницы, а мне выдал предупреждение еще и пальчиком погрозил? что делать то? убирать в robots.txt запрет?

Домены и хостинг https://8fn.ru/regru | Дедик от 3000р https://8fn.ru/73 | VPS в Москве https://8fn.ru/72 | Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno | ХОСТИНГ №1 РОССИИ https://8fn.ru/beget
Vladimir SEO
На сайте с 19.10.2011
Offline
1708
#3

Ребята у человека деиндекс а вы ему про ноиндекс)))

ТС отправил на проверку в веб-мастер ?

Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
I2
На сайте с 05.10.2019
Offline
1
#4
xVOVAx:

ТС отправил на проверку в веб-мастер ?

В панели вебмастера вчера запустил перепроверку, если вы об этом. Сейчас статус проверки "начато". Но надежд, что это что-то изменит не особо много. Роботс я не менял, соответственно ошибки со страниц сняты не будут наверное.

I2
На сайте с 05.10.2019
Offline
1
#5

Ну в общем проверка ничего не изменила. Что делать-то? Идиотизм какой-то. Если разрешу к индексации 20 с лишним тысяч страниц без контента - это плохо для сайта?

Vladimir SEO
На сайте с 19.10.2011
Offline
1708
#6

Значит проблема не в профилях а в тех 3000 вылетевших из индекса

I2
На сайте с 05.10.2019
Offline
1
#7
xVOVAx:
Значит проблема не в профилях а в тех 3000 вылетевших из индекса

Сейчас проверил страницы вернулись обратно в индекс. Не знаю благодаря запущенной проверке или нет. Но количество страниц с ошибкой в панели не изменилось: по прежнему более 20 тысяч.

Ситуация с траффиком пока не изменилась. Он ниже на 10%, чем был раньше. Понаблюдаю.

I2
На сайте с 05.10.2019
Offline
1
#8

В общем гугл так и не вернул траффик. Страницы в индекс вернулись, а ошибки так и висят в панели вебмастера.

Vladimir SEO
На сайте с 19.10.2011
Offline
1708
#9

Ну вот такой вот он ненадежный товарищ

Займитесь ссылочным

I2
На сайте с 05.10.2019
Offline
1
#10
xVOVAx:


Займитесь ссылочным

А можно ссылку на актуальные материалы по ссылочному продвижению? Никогда раньше не занимался, а инфы в интернете тонны.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий