- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени, уважаемые!
На днях (22 числа) заметил падение позиций по Гуглу по многим запросам. Это побудило меня заглянуть в Гугл.Вебмастер, где я увидел сигнал, что доступ к robots.txt ограничен для бота.
Итак, по порядку: 19 янв в результате не ясных причин были проблемы с доступностью robots.txt: "Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt"
При просмотре отчета "Ошибки сканирования" было выявлено, что действительно 19 числа он около сотни раз был недоступен для робота, при этом все последующие дни всё было в порядке (ни одной ошибки).
В "Заблокированные URL" видно, что роботс.тхт был успешно загружен 22 янв и все ок (200 заголовок).
Однако, меня очень сильно смущает то, что в "Панели инструментов" до сих пор отражается наличие проблемы с доступностью robots.txt, хотя на других моих сайтах на этом же сервере, никаких проблем замечано не было. Подскажите, что можно предпринять в данной ситуации и нужно ли что-то делать на самом деле, может быть достаточно просто подождать?
P.S. Логи сервера смотрел, статусов отличных от 200 замечено не было.
Очень странная ситуация(( На данный момент ситуация с ПУ не изменилась, падение продолжилось. Пока не могу выявить причины.
P.S. Все больше убеждаюсь, что здесь присутствует какая-то ошибка со стороны Гугла. Как можно оперативно связаться с поддержкой гугла?
Ребят, спасайте!
Как можно оперативно связаться с поддержкой гугла
Никак. Ее не существует. И какую Вы хотите помощь если не даете урл? Только посучувствовать можно.
Сайт в подписи, буду благодарен за любые идеи.
P.S. Странно, что нет, должна же быть какая-то обратная связь, для того же выявления ошибок и т.д.
писанины много.
должно быть
User-agent: *
и еще пару строк Disallow
ну на край можно еще добавить
Host:
Sitemap:
Proit, с скоростью доступа к сайту возможно действительно проблемы
Полученные результаты: 29 Ok Average: 0.56 sec 105.46
сервис host-tracker.com
http://www.internet-technologies.ru/robots.txt - запрещен правилом / 😂
запрещен правилом /
хех я пропустил предпоследняя строчка :)
писанины много.
должно быть
User-agent: *
и еще пару строк Disallow
ну на край можно еще добавить
Host:
Sitemap:
Сделано для точного определения тех страниц, которые должны быть в индексе. Просто диссалоу этого не сделать, либо будет слишком много запрещающих строк.
http://www.internet-technologies.ru/robots.txt - запрещен правилом / 😂
Я об этом думал, однако на нескольких других сайтах тоже используются подобные конструкции и проблем не возникало. Проверял в "Заблокированных URL", пишет, что разрешено (правда при этом не показывает каким именно правилом).
С другой стороны, это имеет место быть, т.к. раньше сайтмэпа тоже не было прописано, но в определенный момент гугл ругнулся на то, что он запрещен в роботсе. Совсем забыл об этом инциденте(
Сейчас добавил строчку разрешающую robots.txt, посмотрим, что это даст в итоге. Спасибо, что заострили внимание!
UPD: проверил на нескольких сайтах, где используются только диссалоу конструкции и разница в том, что при просмотре как GoogleBot, он действительно может получить robots.txt. Добавлю конструкцию на всех сайтах. Большое спасибо!
Будете смеяться, скрин из ЯВ:
На странице http://webmaster.yandex.ru/robots.xml для моего аккаунта такой же результат (разрешен).
МИСТИКА! )