- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго дня.
Не понимаем что происходит. Сотни тысяч ошибок доступа гуглобота к серверу.
Картинка: https://www.dropbox.com/s/1545thly0qz7x1q/%D0%A1%D0%BA%D1%80%D0%B8%D0%BD%D1%88%D0%BE%D1%82%202016-02-19%2011.54.33.png?dl=0
1. Робот Google не смог просканировать содержание страницы с этим URL, потому что на сервере в процессе обработки запроса имела место внутренняя ошибка. Такие ошибки чаще связаны не с запросом, а с самим сервером. Подробнее...
При ручной проверке проблемных ссылок гуглоботом из панели вебмастер тулз - всё в порядке.
Картинка: https://www.dropbox.com/s/0b1dwj1bn5cmpyu/%D0%A1%D0%BA%D1%80%D0%B8%D0%BD%D1%88%D0%BE%D1%82%202016-02-19%2012.14.07.png?dl=0
2. Google не удалось просканировать ваш сайт, так как закрыт доступ к файлу robots.txt. Подробнее...
Подробнее...
Картинка с логами: https://www.dropbox.com/s/fi2hf36k0zade1f/%D0%A1%D0%BA%D1%80%D0%B8%D0%BD%D1%88%D0%BE%D1%82%202016-02-19%2011.55.12.png?dl=0
При этом вчера изменили роботс и в гугле он с уже внесёнными изменениями.
При обычной работе сайта проблем не возникает. Мы уже убрали вообще все ограничения от парсинга, а ошибки только увеличиваются.
Помогите, пожалуйста, куда копать...
429 Too Many Requests («слишком много запросов») так понимаю. сервер не справляется.
А копать - проглядеть и удалить старые ошибки и смотреть что появится. Я вот точно не скажу, почему 548589 страниц запрещены к индексации, а 92594 не найдено.
Аналогичная проблема и у меня на некоторых сайтах. В гугл вебмастере при использовании инструмента проверки файла robots.txt ругается как и у ТС на любой урл сайта. При проверке этого урла через "Посмотреть как Googlebot" также пишет, что всё хорошо.
Вот примеры строк на которые ругается "Инструмент проверки файла robots.txt" на разных сайтах:
Disallow: *homepage.html*
Disallow: *&post*
Disallow: *search*
Disallow: *.php*
Урлы которые проверяются на сайтах не имеют окончаний .php и не содержат в урле слов, на которые указывает инструмент проверки.
Сайты на разных движках и на разных серверах арендованных у разных компаний.