Как выяснилось, я соврал насчёт того, что робот яндекса не приходит на сайт, в анализаторе логов небыл прописан юзерагент яндекса.
Оказывается приходит регулярно и кушает помногу страниц, начиная, как минимум с 20-го октября (на самом деле, думаю, что и раньше, но не сохранилось более старых логов).
Тем не менее, сайт в выдаче яндекса отсутсутствует.
Ну, я не мог поместить тему сразу и в Гугль, и и в Яндекс. Гугль интересует больше, т.к. основной сайт на английском языке. Но и яндекс тоже интересует, т.к. есть зеркало сайта на русском языке.
Что касается первой темы топика, то здравое зерно в рассуждениях вашего сотрудника есть: если script.php генерит очень много 404-х страниц, то его могут выкинуть из индекса.
Ну так, имхо, вывод в том, что просто не нужно генерить много 404-х страниц, а не выдавать для реальных 404-х страниц код 200, пытаясь подделаться под существующую страницу. Так?
Гугль просто загоняет весь скрипт в supplemental. К слову, такое поведение может случится как с дерикторией, так и со всем сайтом: если бот пошёл по неправильному пути, то до посинения он по нему идти не будет - рано или поздно будет принято решение неправильный путь сбросить. Однако, Гугль бот хитрый и сбрасывает в supplemental он не только 404-е страницы, но и просто одинаковые страницы. Так что продолжение темы, т.е. подсовывание неинформативных страниц Гуглю - явная ошибка.
Т.е. опять же, имхо, вывод, что выдавать код 200 в данном случае - это не спасение, нужно устранять саму причину попадания на 404. Так?
Итого, если у вас есть большая БД товаров и произошла инвентаризация, т.е. большая часть товаров исчезла, то правильное решение страницы с товарами не удалять, а просто блокировать кнопку покупки товара. Особенно если в дальнейшем товар снова может появится. Выдавать для удалённых товаров 404 или же шаблонную страницу - неверное решение.
С этим полностью согласен. Кстати, вы угадали, в данном случае речь идёт именно об интернет-магазине.
З.Ы. Есть большой соблазн дать ссылочку на парочку страниц сайта, чтоб перейти к более конкретному обсуждению, только, если я не ошибаюсь, правилами форума это запрещено? Или есть какой-то выход?
Таки разделы. Неудачную ссылку вначале привел. Лучше тут смотреть:
http://www.google.com.ua/search?q=ixbt&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:en-US:official&client=firefox-a
А что про поддомены можешь сказать?
Я тут з України - місто Львів. :)
Тоже Львов
Он и по забаненным ходит:)
А зачем? Смысл ходить, ресурсы расходовать?
У меня, выходит, как раз такая ситуация, робот ходит регулярно, каждый день, заглатывает помногу страниц, а в выдаче ничего не присутствует.
Как выяснилось, я соврал насчёт того, что робот яндекса не приходит на сайт, в анализаторе логов небыл прописан юзерагент яндекса.
Оказывается приходит регулярно и кушает помногу страниц, начиная, как минимум с 20-го октября (на самом деле, думаю, что и раньше, но не сохранилось более старых логов).
Тем не менее, сайт в выдаче яндекса отсутсутствует.
Чем это может обьяснятся?
Damon, что-то не очень понял, что ты хотел сказать.
Я же больше намекаю на то, что искуственно увеличивать количество страниц, отдающих 404-й код тоже не надо.
Как и не надо увеличивать кол-во _одинаковых страниц_, отдающих код 200.
Какой же получается вывод?
неплохо бы ещё не забывать про бурное развитие мобильных устройств
а причём тут Яндекс? Вроде раздел про Гугль.
Ну, я не мог поместить тему сразу и в Гугль, и и в Яндекс. Гугль интересует больше, т.к. основной сайт на английском языке. Но и яндекс тоже интересует, т.к. есть зеркало сайта на русском языке.
Ну так, имхо, вывод в том, что просто не нужно генерить много 404-х страниц, а не выдавать для реальных 404-х страниц код 200, пытаясь подделаться под существующую страницу. Так?
Т.е. опять же, имхо, вывод, что выдавать код 200 в данном случае - это не спасение, нужно устранять саму причину попадания на 404. Так?
С этим полностью согласен. Кстати, вы угадали, в данном случае речь идёт именно об интернет-магазине.
Робот яндекса так и не заявлялся. Бан?
в лучшем случае ждите supplemental
проверил, оказывается, уже дождались
З.Ы. Есть большой соблазн дать ссылочку на парочку страниц сайта, чтоб перейти к более конкретному обсуждению, только, если я не ошибаюсь, правилами форума это запрещено? Или есть какой-то выход?