- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот что говорит гугл
http://prntscr.com/aa17c5
Как решить? Перекраивать формирование файла sitemap с учетом того, что заблокировано в роботсе? Потому как сайтмап формируется скриптом ежедневно.
productorg, какой смысл, отдавать страницу боту, закрытую в роботс?
Настраивайте генерацию карты сайта. У меня регулярно тоже проскакивает, но не 350 тысяч ошибок.
Правильно ли я понимаю, что гугл в виду такого количества ошибок может пессимизировать сайт в выдаче?
И сайтмап для гугла весьма важная вещь?
Нет, не пессимизирует. Сайтмап вам нужнее просто потому, что дает еще один источник данных о существующих страницах на сайте, которые нужно добавить в индекс или обновить информацию о них.
Нет, не пессимизирует. Сайтмап вам нужнее просто потому, что дает еще один источник данных о существующих страницах на сайте, которые нужно добавить в индекс или обновить информацию о них.
Гм, тогда что пофиг получается что гуглу кормить через сайтмап? Новые страницы там появятся, а по-вашему получается что блокированные в роботсе ничему не мешают
productorg, если сайт большой, то сайтмап просто необходим как воздух.
productorg, если сайт большой, то сайтмап просто необходим как воздух.
В том плане, чтобы гуглу было проще тыкать по открытым страницам, а не упираться в закрытые роботсом? Даст ли это ускорение индексации либо еще какие-то положительные моменты?
В том плане, чтобы гуглу было проще тыкать по открытым страницам, а не упираться в закрытые роботсом? Даст ли это ускорение индексации либо еще какие-то положительные моменты?
Поисковый робот не будет ходить по всем страницам вашего сайта за один раз. На каждый заход выделяется определенное количество страниц, которые он посещает. Если из 10 страниц 9 будут закрыты от индекса, тогда вы не скормите ему открытые страницы, на которых уже что-то обновилось.