- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сайт новый, ему всего неделя. В начале стахановскими темпами Яндекс "поглотил" около 5000 страниц моего новоявленного сайта. Это погрузившись лишь на глубину 2-го уровня... (главная->раздел->товар).
Параллельно я немного редактировал движок сайта - небольшие косметические изменения...
Но потом вдруг Яндекс стал ежедневно "выплёвывать" огромную долю страниц из базы! Позавчера проиндексированных страниц стало 2000, вчера - 1500, а сегодня вообще 300!!! Ахтунг!!! Что это?!
Причём вижу в статистике Яндекса, что он каждые 3 часа всёже индексирует новые странички.... те, которые он раньше индексировал уже... Но количество страниц в базе-то всё равно уменьшается!
Есть ещё такой нюанс: ЕЖЕДНЕВНО на главной странице сайта и на всех подразделах меняется один небольшой раздел, где выводится рандомный товар, для каждого раздела - свой. Может, изза этого?
Подскажите, изза чего Яндекс может в таком бешеном темпе удалять проиндексированные страницы из базы... может, у кого-то было подобное, интересно проанализировать возможные причины.
Спасибо.
уже обсуждалось, пользуйтесь поиском. Пожалуйста ;)
Шульц, предлагаете удалить аппендицит по переписке? Давайте адрес сайта.
Piligrim, с моим черепашьим ЖПРС пользоваться поиском - настоящая пытка :( Ладненько, попробуем. А по каким вот только запросам, интересно искать? просто мне подобные темы не встречались.
К тому же может моя проблема связана с последними изменениями в Яндексе, которые произошли буквально пару дней назад?!
Kost, скинул в личку, посмотри.
См. личку. Сервер выдает 403 на robots.txt.
Шульц, например /ru/forum/22907
Kost, да, там стояло "Disallow" для всех файлов "*.txt". Это убрал. robots.txt закачал. Полагаешь, это принципиально для Яндекса? Наличие роботс?
Piligrim, спасибо, очень схожая ситуация... неужели изза слишком длительного отклика сервера?! Даже на моём тормозном ЖПРС всё более-менее шустро грузится... хотя, конечно, сервачок где сайт лежит - нагружен...
Вот выдержка из http://www.yandex.ru/info/webmaster7.html :
И какие страницы интересно он считает дубликатами? Совпадение контента на 100%? на 50%?
А то у меня во всех описаниях товаров есть в конце слово "Цена: ..." и ссылка "Купить", причём я их сделал пожирнее - через <h3>, и в итоге "весят" больше... Может изза этого?
Шульц, можно сайт в личку?
Принципиально не наличие файла robots.txt в директории, а отдаваемый веб-сервером код. Он обязан быть либо 200, либо 404, т.к. робот должен соблюдать стандарт. А если он получает 403, он не может узнать содержание файла robots.txt, т.к. ВЫ это ему ЗАПРЕТИЛИ !
В этом случае, остальное можно не смотреть.
А вот теперь все в порядке, отдается 200.
Kost, хорошо, это-то я исправил.... а в чём ещё трабл?
.scu, отправил.