проблема - при заходе Google бота выдается код возврата 403

да, такая же как и у нас ерунда. Причём у меня ошибка такая пропадала (временно), а теперь снова появилась.

Хз что у них там в sweb'е происходит.

У меня таже бодяга с 403 ошибкой

Все я устал ждать - все также выдает 403 -буду менять хостинг, хотя жаль, других претензий к хостингу не было. Может кто посоветовать хороший хостинг?

А как у вас изменилось что или нет?

таже фигня, тоже ТОЛЬКО с googlebot.

с поддержкой sweb общаюсь уже долго по этому вопросу. но пока что, к сожалению, безрезультатно. (наверно, потому, что общаемся посредством почты.)

вот такие ответы я получал на мои запросы по этой проблеме :

----------

20 апреля :

Как только вопрос будет решен - мы Вам сообщим.

9 мая :

Если с другими ботами все нормально, то попробуйте поинтересоваться

непосредственно у гугла, чем может быть вызвано такое поведение робота, возможно где на их сайте есть информация по данному вопросу.

16 мая :

Письмо передано системному администратору.

19 мая :

Исправлено, теперь таких проблем возникать не должно.

23 мая :

Передано администратору.

----------

:) с каждым разом ответы всё короче и короче :)

http://www.chop-irbis.ru/ В Sitemap Интернет Ошибка 4xx 19.05

это запись из панели управления сайтмап гугля .. и таких строчек такм на каждой странице куча...

млин я только-только уломал директора продлить хостинг и забашлять за год sweb-у ....что теперь дель х.з.

копирую из site-auditor

Проиндексировано в Яндекс 41 ( 41 )

Проиндексировано в Рамблер 8

Проиндексировано в Google 1

Проиндексировано в Апорт 9

Ссылки на сервер по данным Google 0 ( 0 )

Ссылки на сервер по данным Яндекс 491 / 160

вот такие пироги....а хостинг блин хороший...и прибамбасов для меня для нуба куча.....обидно..:-((

в потдержке отвечают.."разбираемся"...

Здравствуйте! Меня зовут Сергей Венедиктов, я представляю СпейсВэб.

Да, коллеги, действительно имеется такая проблема с google-bot. И дело здесь не в правах на директории. А в чём дело нам предстоит ещё только разобраться.

Хотелось бы сообщить 2 вещи:

1. С подобной проблемой столкнулся не только СпейсВэб. Поиск в интернете показывает, что люди по всему миру сталкиваются с этим.

2. Сам google утверждает, дословно: "Google-бот не интерпретирует ответ 401/403 ("Нет прав"/"Доступ запрещен") на обращение к файлу robots.txt как запрет на сканирование страниц сайта". То есть он должен проиндексировать весь сайт несмотря на невозможность прочитать robots.txt. Но как видно он этого не делает, что опять же странно.

Так же хочу заверить, что нами проблема не замалчивается и мы не "темним". Мы не задвигаем решение в дальний ящик и каждый день пытаемся побороть ситуацию. Прошу вас, если у вас будут идеи и предложения по данной проблеме сообщайте мне на мой e-mail.

PS: цитата google взята с http://www.google.ru/intl/ru/webmasters/remove.html

--

Желаю успехов!

С уважением, Сергей Венедиктов

manager@sweb.ru

небольшое дополнение ... такая ошибка возникает не только при запросе robots.txt, поэтому вопрос относительно

очень хотелось бы вам (ну и себе) помочь, скажите только - как ?

Доброе время суток всем,

Проблема таже: неожиданно сегодня из индекса Google исчезла главная страница сайта и еще несколько других...😡 Хостинг как ни странно sweb... Но по ходу проблема более глобальна...

Ошибка в логах такая же: (13)Permission denied: access to / failed because search permissions are missing ...

P.S. Как нибудь можно определить какие страницы на сайте проиндексированы Google'ом

https://www.google.com/webmasters/sitemaps/login?continue=%2Fwebmasters%2Fsitemaps%2Fsiteoverview%3Fhl%3Dru&hl=ru

сайтмап, там будет потом вся статистика о сканированиях и индексе гуглем

Лично меня убивает не только сам факт ошибки, но то, как в проблемных ситуациях действуют хостеры. У них автоматом включается политика страуса (хотелось бы, чтобы им положили бетонный пол).

Проблема возникла около месяца назад и все это время блаженная тишина... Клиентов о возможных проблемах не предупредили, они могут валить все на гугл (как лично я и делал в течение 3х недель, подозревая глюк гугла после очередного апдейта) или просто бланжествовать в неведении. Даже когда запросы посыпались пачками - тишина. Мои три письма в саппорт остались вообще без ответа (хотя по аське сказали, что о проблеме знают и вроде как пытаются бороться). И вот наконец-то что-то типа официального заявления (но только на форуме СЕ, куда ходят отнюдь не все клиенты). Но опять же информации минимум, плюс ссылки "не мы одни такие". Я лично других аналогичных примеров не нашел, а если вы нашли - спросите, в чем было дело и как решили проблему!

Уже указанная фраза про "То есть он должен проиндексировать весь сайт несмотря на невозможность прочитать robots.txt." тоже тот еще прикол. Нежто менеджер до сих пор не знает, что гугл пытается брать и другие страницы сайта, но везде (!) получает 403?

И ведь может даже Сергей Венедиктов считает, что такая реакция на проблемы помогает компании :(, очень жаль...

У компании несколько серверов, интересно, проблемы везде? Может есть клиенты не затронутые (отзовитесь плиз)? Думаю, уже можно было поднять новые сервера и перенести клиентов на них или уплотнить чуток там, где работает.