- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени, уважаемые!
На днях (22 числа) заметил падение позиций по Гуглу по многим запросам. Это побудило меня заглянуть в Гугл.Вебмастер, где я увидел сигнал, что доступ к robots.txt ограничен для бота.
Итак, по порядку: 19 янв в результате не ясных причин были проблемы с доступностью robots.txt: "Роботу Googlebot не удалось просканировать ваш сайт из-за отсутствия доступа к файлу robots.txt"
При просмотре отчета "Ошибки сканирования" было выявлено, что действительно 19 числа он около сотни раз был недоступен для робота, при этом все последующие дни всё было в порядке (ни одной ошибки).
В "Заблокированные URL" видно, что роботс.тхт был успешно загружен 22 янв и все ок (200 заголовок).
Однако, меня очень сильно смущает то, что в "Панели инструментов" до сих пор отражается наличие проблемы с доступностью robots.txt, хотя на других моих сайтах на этом же сервере, никаких проблем замечано не было. Подскажите, что можно предпринять в данной ситуации и нужно ли что-то делать на самом деле, может быть достаточно просто подождать?
P.S. Логи сервера смотрел, статусов отличных от 200 замечено не было.
Очень странная ситуация(( На данный момент ситуация с ПУ не изменилась, падение продолжилось. Пока не могу выявить причины.
P.S. Все больше убеждаюсь, что здесь присутствует какая-то ошибка со стороны Гугла. Как можно оперативно связаться с поддержкой гугла?
Ребят, спасайте!
Как можно оперативно связаться с поддержкой гугла
Никак. Ее не существует. И какую Вы хотите помощь если не даете урл? Только посучувствовать можно.
Сайт в подписи, буду благодарен за любые идеи.
P.S. Странно, что нет, должна же быть какая-то обратная связь, для того же выявления ошибок и т.д.
писанины много.
должно быть
User-agent: *
и еще пару строк Disallow
ну на край можно еще добавить
Host:
Sitemap:
Proit, с скоростью доступа к сайту возможно действительно проблемы
Полученные результаты: 29 Ok Average: 0.56 sec 105.46
сервис host-tracker.com
http://www.internet-technologies.ru/robots.txt - запрещен правилом / 😂
запрещен правилом /
хех я пропустил предпоследняя строчка :)
писанины много.
должно быть
User-agent: *
и еще пару строк Disallow
ну на край можно еще добавить
Host:
Sitemap:
Сделано для точного определения тех страниц, которые должны быть в индексе. Просто диссалоу этого не сделать, либо будет слишком много запрещающих строк.
http://www.internet-technologies.ru/robots.txt - запрещен правилом / 😂
Я об этом думал, однако на нескольких других сайтах тоже используются подобные конструкции и проблем не возникало. Проверял в "Заблокированных URL", пишет, что разрешено (правда при этом не показывает каким именно правилом).
С другой стороны, это имеет место быть, т.к. раньше сайтмэпа тоже не было прописано, но в определенный момент гугл ругнулся на то, что он запрещен в роботсе. Совсем забыл об этом инциденте(
Сейчас добавил строчку разрешающую robots.txt, посмотрим, что это даст в итоге. Спасибо, что заострили внимание!
UPD: проверил на нескольких сайтах, где используются только диссалоу конструкции и разница в том, что при просмотре как GoogleBot, он действительно может получить robots.txt. Добавлю конструкцию на всех сайтах. Большое спасибо!
Будете смеяться, скрин из ЯВ:
На странице http://webmaster.yandex.ru/robots.xml для моего аккаунта такой же результат (разрешен).
МИСТИКА! )