- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Ситуация такая: на старом сайте (около 8 лет) вылетели страницы из индекса Google. Было больше миллиона - стало двести тысяч с гаком. В Яндексе все осталось на месте. Единственное, что делалось - это был переписан robots.txt. Там все стандартное, единственно, что появилось - Crawl-delay: 10
Вот я думаю, может таймаут выставлен неправильно? Или это не может быть причиной?
В любом случае, вы ответили на свой вопрос =)
Покажите сайт или хотя бы ваш роботс.
#
# robots.txt 4 site.ua
#
User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
Disallow: /tour_map_data/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /infrastructure/get_geo/
Disallow: /category/
Sitemap: http://site.ua/sites/site.ua/files/sitemap.index.xml
# Yandex
User-agent: Yandex
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /sites/
Disallow: /themes/
Disallow: /tour_map_data/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /infrastructure/get_geo/
Disallow: /category/
Sitemap: http://site.ua/sites/site.ua/files/sitemap.index.xml
Host: site.ua
Вы теперь представте сколько робот будет индексить сайт с таким значением. Не удивительно, что выпали страницы :(
Так что это все-таки Crawl-delay: 10. Какое тогда значение оптимальное для более чем миллиона страниц? Или лучше его вовсе убрать? В любом случае, когда гугл обратно загонит в индекс страницы?
Вы теперь представте сколько робот будет индексить сайт с таким значением. Не удивительно, что выпали страницы
Причем тут скорость сканирования с выпадением страниц?
Какое тогда значение оптимальное для более чем миллиона страниц?
Откуда миллион страниц, ГС?
Нет нормальный сайт. Туристический. Просто большая база предложений. Контент обновляется каждый день. За 8 лет под фильтры ПС не попадал. Вылетели страницы только из гугла (773000 из 1167700), в яндексе все на месте (380000)...
Если с robots.txt все ок, то где искать причины? Я так понимаю, под фильтром запросы вылетают. У меня все на месте...