ну похоже утопия достигла своего апогея - поисковая система, которая полностью состоит только из платных объявлений типа директа, часть денег поисковик берет себе, остальное начисляется тем кто заходит на сайты... выдача 100% релевантная, за этим будут следить сами владельцы сайтов, ведь бабло из их кармана...
Оптимизайка: В директиве Host должен быть домен, т.е. без "/" в конце, ежели что.
xaxel3000: а вот компании, которая недавно провела сео-аудит сайта и указала, что robots.txt должен быть таким: User-agent: * Disallow: /mijireh-secure-checkout/ Disallow: /cart/ Host: luckyknife.ru
seo компания сделала как раз корректно ежели че ;)
очевидно не выкинуло те страницы, которые не задело. а те что получили 403 ошибку видимо все же выкинуло, иначе отчего бы траф упал...
ну я наверное неправильно выразился, будут не объявления, а сниппеты
ну похоже утопия достигла своего апогея - поисковая система, которая полностью состоит только из платных объявлений типа директа, часть денег поисковик берет себе, остальное начисляется тем кто заходит на сайты... выдача 100% релевантная, за этим будут следить сами владельцы сайтов, ведь бабло из их кармана...
В директиве Host должен быть домен, т.е. без "/" в конце, ежели что.
а вот компании, которая недавно провела сео-аудит сайта и указала, что robots.txt должен быть таким:
User-agent: *
Disallow: /mijireh-secure-checkout/
Disallow: /cart/
Host: luckyknife.ru
seo компания сделала как раз корректно ежели че ;)
гугл host игнорирует и за ошибку не считает, так что нет смысла из-за этой директивы делать отдельный раздел
мне нужно что бы он как то менее напористо индексировал сайт.
для этого как уже сказали есть Crawl-delay, также есть возможность в вебмастере вручную подать заявку на изменения скорости сканирования
реальной возможности полностью закрыть боту доступ нет?
это как бы совсем уже другой вопрос. определитесь - нужно снизить нагрузку или полностью закрыть?
ключи белые на белом фоне в гугле - сайт жив и в топе уже год по главному ключевику. адрес могу скинуть в личку всем любопытным
https://www.google.de/?gws_rd=ssl#q=down+for+me один из этих сервисов поможет в таких случаях
403 Forbidden выкидывает страницы быстро и надолго
это не редирект вовсе, это фрейм