- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите, такая ситуация. GWT с 8 числа сообщает, что бот не может найти файл robots.txt.
Я ввожу в браузере прямой линк - файл существует. Никаких действий по его изменению и прочих уже сто лет не предпринимал. в чем может быть проблема?
Проверяю тут http://www.cy-pr.com/tools/header/ - выдает 200 OK
Пытаюсь насильно скормить в GWT - пишет Страница недоступна
Гуглу не удалось просканировать сайт, так как не смогли получить доступ к файлу robots.txt
Попытался насильно скормить обычную страницу с сайта - тоже пишет Страница недоступна.
Что это такое?
Какие действия предпринять?
А если в GWT запросить роботс через "Fetch as Google"? Он его видит?
А если в GWT запросить роботс через "Fetch as Google"? Он его видит?
а не подскажите, где именно это можно сделать?
если Вы имели в виду - Посмотреть как гуглбот, то я как раз там и вбивал урлы - выдает, что нет доступа и к роботсу и к обычным страницам
И к обычным страницам тоже нет доступа?
Может быть у вас в .htaccess заблокирован доступ гугла к сайту?
Кстати, какой статус возвращается гуглу, 404?
Как в других поисковиках? Попробуйте Bing Webmaster Tools
И к обычным страницам тоже нет доступа?
Может быть у вас в .htaccess заблокирован доступ гугла к сайту?
Кстати, какой статус возвращается гуглу, 404?
Как в других поисковиках? Попробуйте Bing Webmaster Tools
Да, к обычным страницам тоже нет доступа.
В .htaccess не заблокирован гугл, да и я его не менял уже несколько лет.
Статус нигде не могу найти - пишет просто Googlebot can't access your site. Over the last 24 hours, Googlebot encountered 43 errors while attempting to access your robots.txt. To ensure that we didn't crawl any pages listed in that file, we postponed our crawl. Your site's overall robots.txt error rate is 100.0%.
---------- Добавлено 18.07.2012 в 12:11 ----------
Проблема решилась, как я больше всего и предполагал - на уровне хостера.
Было подозрение, что на хостинге айпишник гуглробота попал в черный список.
Я им пару часов назад закинул запрос, только что отписали, проверил - ловит и роботс и обычные страницы.
Может хостинг блокирует IP гугла? Есть на этом сервере ещё сайты? Они проиндексированы?
Как с другими поисковиками?
Может хостинг блокирует IP гугла? Есть на этом сервере ещё сайты? Они проиндексированы?
Как с другими поисковиками?
Да, как я и написал выше, оказалась блокировка айпи гугла на уровне хостинга.
Да, и спасибо большое за помощь!
Да, как я и написал выше, оказалась блокировка айпи гугла на уровне хостинга.
они что там, больные на голову?
они что там, больные на голову?
😂сказали, будут разбираться, чтобы не допустить подобного
---------- Добавлено 18.07.2012 в 14:46 ----------
Если гугл его не видел неделю - это тоже самое, что сайта не было неделю в онлайне вообще? Т.е. падение позиций может быть обусловлено недельным отсутствием сайта для гугла?
Если гугл его не видел неделю - это тоже самое, что сайта не было неделю в онлайне вообще? Т.е. падение позиций может быть обусловлено недельным отсутствием сайта для гугла?
конечно.
Это также влияет на индексацию. Теперь надо убедить Гугл, что сайт вернулся - через "Посмотреть как гуглбот" добавьте главную страницу в индекс, сделайте пару шерингов в соц.сетях и т.д.