Из-за технического сбоя вылетели все страницы из Яндекса

Dimank
На сайте с 16.03.2007
Offline
146
497

Добрый день!

Писал уже в ветку Google. Аналогичная проблема с Яндексом. 3 недели был недоступен доступ к файлу robots.txt для всех поисковых систем (хостер заблокировал, якобы из-за того, что было слишком много обращений от их ботов).

И вот буквально вчера-сегодня вылетели все страницы из поиска яндекса (и пропадает траффик). Страниц было много (несколько сотен тысяч) и трафик немаленький. :(

Сегодня постараемся полностью решить вопрос с хостером и постараемся сделать файл robots.txt доступным.

Пока интересно мнение людей, кто уже сталкивался с подобными ситуациями (сам я впервые столкнулся). Если мы сегодня доступ к robots.txt восстановим, то как скоро все страницы вернутся в поиск (и вернется трафик), и не будет ли просадки по позициям?

Спасибо!

NeMaster
На сайте с 17.10.2001
Offline
255
#1

Есть сайты которые живут без robots.txt и нормально себя чувствуют.

Ищите другие проблемы, меняйте хостера.

Профессиональное продвижение (/ru/forum/976946) сайтов. Узнать подробнее (http://pro-prodvizenie.ru/) на моём сайте.
VoV@
На сайте с 22.09.2007
Offline
196
#2

Их хелпа Яндекса:

Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен.

так что дело не в недоступности robots.txt

⭐ Разработка Андроид-приложений (Xamarin C#). ⭐ Разработка ASP.NET (WebForms, MVC, WebAPI, Core). ⭐ Цой жив!
Dimank
На сайте с 16.03.2007
Offline
146
#3
NeMaster:
Есть сайты которые живут без robots.txt и нормально себя чувствуют.
Ищите другие проблемы, меняйте хостера.

Был закрыт доступ к сканированию сайта на 3 недели. Вопрос сейчас стоит - как вернуть индексацию и скоро ли вернутся все страницы в поиск? (на опыте других проектов, например)

Может еще какие-то рекомендации получить.

stank
На сайте с 18.02.2008
Offline
68
#4

Несколько раз хостинг-провайдер "подкладывал" такую бяку, блокировал боты Яндекс, все возвращалось через 1.5-2 недели.

Chessmaster
На сайте с 28.12.2006
Offline
242
#5
Был закрыт доступ к сканированию сайта на 3 недели. Вопрос сейчас стоит - как вернуть индексацию и скоро ли вернутся все страницы в поиск? (на опыте других проектов, например)

Может еще какие-то рекомендации получить.

Уберите ограничение и создайте несколько свежих ссылок для индексации. Всё наладится ;)

Нужен недорогой офис? БЦ Плутон - Аренда помещений в Москве от собственника рядом с метро Курская http://loft-pluton.ru Цены ниже рынка!
NeMaster
На сайте с 17.10.2001
Offline
255
#6

Гугл бота можно слегка поторопить

В google.com/webmasters/tools/ Сканирование - Просмотреть как Googlebot - Сканировать и Отобразить - Сканировать этот URL и прямые ссылки

Вернуть индексацию просто, ссылки с очень трастовых, быстрых, качественных ресурсов на важные разделы + посты с разных социалок на всё до чего дотянетесь.

Проверьте карту сайта.

- Romanus -
На сайте с 20.01.2015
Offline
87
#7

Dimank, robots - просто рекомендация к индексированию документов.

Раз хостер его блочил, то, вероятно, мог и "случайно" заблочить ботов Google и Яндекс (такое наблюдал 1 раз). Хостер не признал свою вину, но и не пытался как-то отнекиваться.

В итоге - переезд на нормальный хостинг и через пару апов должен начать входить в индекс Яндекса, в гугле должно пойти через несколько дней.

Делаю SEO. Веду блог - Romanus.ru ( https://romanus.ru )
Сергей Ефимов
На сайте с 11.05.2008
Offline
212
#8

Я бы жёстко поступил, если с правилах хостера нет пункта о таких ограничениях. Высчитал прибыль и подал бы в суд. Если есть, то при выборе хостера советую читать Договор.

Подбираю исполнителей, проектирую сайты, повышаю позиции и экономлю на контекстной рекламе. Возможная занятость в офисе. Эксперт по Яндекс Директу тыц (http://expert.yandex.ru/certificates/f38094egydq/) и Яндекс Метрике тыц (http://expert.yandex.ru/certificates/i635d23t6a0/).
Y
На сайте с 04.06.2010
Offline
42
#9

Все дело в robots.txt , сайт должен вернуться в индекс через 2 апа, но вот на счет позиций - это вопрос

Безлимитный хостинг от 30 рублей (http://24openhost.ru/)
The WishMaster
На сайте с 29.09.2005
Offline
2503
#10
yyaannaa:
Все дело в robots.

Чушь. Причем тут вообще роботс? Судя по всему, хостер просто заблокировал айпи яндекса.

ПИШУ ТЕКСТЫ ДЛЯ ЛЮДЕЙ НЕДОРОГО. Тематики - туризм, СЕО, творчество, кулинария, шизотерика :) Лучший хостер и регистратор. Проверено. ( http://ukrnames.com/?ref_id=3599 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий