Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 06.10.2019, 11:57   #1
Студент
 
Регистрация: 05.10.2019
Сообщений: 8
Репутация: 10

По умолчанию Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Добрый день. Есть форум на vbulletin 3. Недавно упал траффик с гугла, я зашел в панель вебмастера и увидел, что как раз с момента падения около 20 тысяч страниц были помечены ошибкой "Доступ к отправленному URL заблокирован в файле robots.txt". В качестве примера приведены профили пользователей, которые действительно запрещены для индексации в роботсе. Прогнал сайт через бесплатный анализ pr-cy и он показал, что из индекса недавно вылетело 3000 страниц (это примерно 25% от все проиндексированных). Не понимаю почему так произошло, роботс последний раз трогал лет 6-7 назад и все было нормально. Почему именно сейчас вылезла такая проблема и как лучше поступить? Открывать для индексации профили, основная масса которых не содержит вообще никакого контента мне видится не самой разумной затеей. Тем более, что страниц с профилями в 2 раза больше, чем проиндексированных страниц с контентом.
inso220 вне форума   Ответить с цитированием

Реклама
Старый 06.10.2019, 12:26   #2
webrock
Академик
 
Аватар для webrock
 
Регистрация: 05.04.2010
Сообщений: 3,908
Репутация: 463578

По умолчанию Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Была такая проблема, но Гугл рекомендовал размещать тег noindex для страниц которые вы не хотите индексировать. Видимо, Гугл усек, где большая движуха и проигнорировал robots. У некоторых даже директории admin просканировал.
webrock вне форума   Ответить с цитированием
Сказали спасибо:
Старый 06.10.2019, 13:05   #3
totamon
живу тут
 
Аватар для totamon
 
Регистрация: 12.05.2007
Адрес: Пермь
Сообщений: 3,358
Репутация: 330876
Отправить сообщение для totamon с помощью ICQ Отправить сообщение для totamon с помощью Skype™

По умолчанию Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

кто его поймет вообще?
Цитата:
На основании анализа Вашего сайта были вынесены следующие предупреждения:
Проиндексировано, несмотря на блокировку в файле robots.txt
те он проиндексировал страницы, а мне выдал предупреждение еще и пальчиком погрозил? что делать то? убирать в robots.txt запрет?
__________________
Хостинг от 90р и ВПС от 161р 14 дней бесплатный тест!
Вечный хостинг для сайтов и ВПС - заплатил один раз и пользуйся вечно!
Монетизация любых сайтов PUSHами - лучшая цена клика и показа ;)
totamon вне форума   Ответить с цитированием
Старый 06.10.2019, 13:38   #4
xVOVAx
Kulinenko.com
 
Регистрация: 19.10.2011
Адрес: Kiev
Сообщений: 12,131
Репутация: 520772
Отправить сообщение для xVOVAx с помощью ICQ Отправить сообщение для xVOVAx с помощью Skype™
Социальные сети Профиль в ВКонтакте Аккаунт в Telegram

По умолчанию Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Ребята у человека деиндекс а вы ему про ноиндекс)))


ТС отправил на проверку в веб-мастер ?
xVOVAx вне форума   Ответить с цитированием
Старый 06.10.2019, 14:14   #5
inso220
Студент
 
Регистрация: 05.10.2019
Сообщений: 8
Репутация: 10

ТопикСтартер

Цитата:
Сообщение от xVOVAx Посмотреть сообщение
ТС отправил на проверку в веб-мастер ?
В панели вебмастера вчера запустил перепроверку, если вы об этом. Сейчас статус проверки "начато". Но надежд, что это что-то изменит не особо много. Роботс я не менял, соответственно ошибки со страниц сняты не будут наверное.
inso220 вне форума   Ответить с цитированием
Старый 09.10.2019, 07:43   #6
inso220
Студент
 
Регистрация: 05.10.2019
Сообщений: 8
Репутация: 10

ТопикСтартер Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Ну в общем проверка ничего не изменила. Что делать-то? Идиотизм какой-то. Если разрешу к индексации 20 с лишним тысяч страниц без контента - это плохо для сайта?
inso220 вне форума   Ответить с цитированием
Старый 09.10.2019, 08:47   #7
xVOVAx
Kulinenko.com
 
Регистрация: 19.10.2011
Адрес: Kiev
Сообщений: 12,131
Репутация: 520772
Отправить сообщение для xVOVAx с помощью ICQ Отправить сообщение для xVOVAx с помощью Skype™
Социальные сети Профиль в ВКонтакте Аккаунт в Telegram

По умолчанию Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Значит проблема не в профилях а в тех 3000 вылетевших из индекса
xVOVAx вне форума   Ответить с цитированием
Старый 09.10.2019, 13:35   #8
inso220
Студент
 
Регистрация: 05.10.2019
Сообщений: 8
Репутация: 10

ТопикСтартер Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Цитата:
Сообщение от xVOVAx Посмотреть сообщение
Значит проблема не в профилях а в тех 3000 вылетевших из индекса
Сейчас проверил страницы вернулись обратно в индекс. Не знаю благодаря запущенной проверке или нет. Но количество страниц с ошибкой в панели не изменилось: по прежнему более 20 тысяч.

Ситуация с траффиком пока не изменилась. Он ниже на 10%, чем был раньше. Понаблюдаю.
inso220 вне форума   Ответить с цитированием
Старый 14.10.2019, 13:09   #9
inso220
Студент
 
Регистрация: 05.10.2019
Сообщений: 8
Репутация: 10

ТопикСтартер Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

В общем гугл так и не вернул траффик. Страницы в индекс вернулись, а ошибки так и висят в панели вебмастера.
inso220 вне форума   Ответить с цитированием
Старый 14.10.2019, 13:28   #10
xVOVAx
Kulinenko.com
 
Регистрация: 19.10.2011
Адрес: Kiev
Сообщений: 12,131
Репутация: 520772
Отправить сообщение для xVOVAx с помощью ICQ Отправить сообщение для xVOVAx с помощью Skype™
Социальные сети Профиль в ВКонтакте Аккаунт в Telegram

По умолчанию Re: Гугл пометил запрещенные страницы в роботс.тхт ошибкой и понизил траффик

Ну вот такой вот он ненадежный товарищ

Займитесь ссылочным
xVOVAx вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны