- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте. Как можно забанить Гугла, чтоб мой сайт вообще не сканировал? В robots.txt я его закрыл, но он все равно сканирует сайт. Я так понимаю это нужно в .htaccess делать. Что там нужно прописать, чтоб сразу закрыть доступ всем ботам Гугла, а не прописывать по одному ip.
User-agent: Googlebot
Disallow: /
у меня тоже интересная ситуация произошла с гуглом...
Существовал заброшенный форум (phpbb) на поддомене основного сайта, был настроен на премодерацию, так что постов спамных не было, в профилях пользователей убраны строки с адресом сайта, но по любому автоматом за два года зарегистрировалось более 18к зверей.
В индексе Яндекса находилось ~160 страниц, в Гугле до сотни.
Так вот - с месяц назад решил полностью закрыть его от индексации, так как заметил переходы на него по именам пользователей (использовали порно имена).
13 февраля в роботсе прописал запрет для всех поисковиков, через несколько дней убрал все ссылки с основного сайта на форум.
На сегодняшний день в индексе Яндекса - 1 страница (морда) что и понятно, а вот в индексе Гугла - 22 500 страниц!
И вот что это означает - хоть стреляйте, не понимаю.
P.S. рунет...
в .htaccess пропиши
<IfModule mod_setenvif.c>
SetEnvIf User-Agent “Googlebot$” x_tag=yes
order allow,deny
allow from all
deny from env= x_tag
</IfModule>
в .htaccess пропиши
<IfModule mod_setenvif.c>
SetEnvIf User-Agent “Googlebot$” x_tag=yes
order allow,deny
allow from all
deny from env= x_tag
</IfModule>
А эта штука точно только для гугла? Просто я только Гугл забанить хочу, а остальные поисковики мне нужны :-)) Sorry за ламерский вопрос...
angr, Google не всегда показывает все проиндексированное.
можно в суд подать на него....))) уже кто то из голивуда делал:) помогло, забанен.
Google не всегда показывает все проиндексированное.
я это прекрасно знаю, вопрос в том почему он вдруг вывалил такое количество страниц в индекс именно после полного запрета индексации поддомена?
в .htaccess пропиши
<IfModule mod_setenvif.c>
SetEnvIf User-Agent “Googlebot$” x_tag=yes
order allow,deny
allow from all
deny from env= x_tag
</IfModule>
Прописал, но Гугл всеравно гуляет и, сука, сервер грузит
mamonic добавил 14.03.2009 в 14:51
User-agent: Googlebot
Disallow: /
Это тоже сделал
попробуй через панель вебмастера удалить сайт из результатов выдачи.
должно сработать.
mamonic, есть еще один вариант с помошью .htaccess, у меня работает без проблем:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} Googlebot
RewriteRule .* - [F,L]
</IfModule>
Если не работает, значит mod_rewrite отсутствует или не включен.