Да, о том, что халявный спайлог нафиг ненужен я уже писал в топике про бесплатные счетчики. Конечно это МОЁ ИМХО. Но как я вижу - с ним соглашаются ;)
Напишите в robots.txt например так
User-Agent: *
Disallow: /pub/
Disallow: /cgi/
Disallow: /cgi-bin/
Host: www.yarportal.ru
можно и без www - Яндекс выберет урл, указанный после директивы Host
Кстати, перед тем, как выкинуть окончательно из базы, приходил H (зеркальщик). Несколько раз цапал robots.txt и корневую страницу (других нет, по 404й редирект стоит на корневую).
Странно то, что это был "H", к тому же в субботу. На этот домен больше роботы яндекса не заходили. Хотя может просто совпадение (робот был раньше), но оставалось не выкинутых 3 страницы, а Н как раз 3 раза спрашивал домен. Короче, мне кажется енто он :)
Итого общий результат - 10 дней (2 раза по 3 страницы убирались, всего их было 6). Я думаю, если бы на сайт при посещении была другая квота (больше 3х страниц) - убралось бы всё из индекса после первого визита. А так - сайт ОЧЕНЬ давно не обновлялся и видимо поэтому так мало робот брал (хотя по идее 50% от сайта за один проход).
Короче - если робот ходит на ваши страницы достаточно часто - одной недели должно хватить для удаления ПРОВЕРЕННЫХ робоом страниц. Возможно воспользовавшись подсветчиком удастся ускорить этот процесс (конечно речь идет не о большом кол-ве страниц - умрешь искать свои страницы)
RAX.RU, товарищи ! :)
Не зря я эту тему недавно копал :(...
adob, Склонен согласиться, что Я НЕ игнорирует кейвордс, если такие же слова есть в тексте
Зенон (тьфу тфу) хоть и роняют периодически, но ломать пока не ломали (во всяком случае меня и моих клиентов)
Ну вот. Эксперимент закончился. Страницы из индекса убраны, т.е. можно утверждать, что после визита робота на убираемую страницу при ее отсутствии на сайте она пропадает из индекса не более чем через неделю. Такой вот у меня срок получился. Никакими подсветчиками не пользовался. Пользовался только removeurl
Присоединяюсь. Всего самого лучшего :))
Armen, чтоб не стыдно было показывать - ИЦ не важен и не нужен :) Нужно качество выполненной работы. Хотя может я не понял просто, кому и что показывать ;)
О. Мой сайт пересчитали :) (иц)
Тфу, уже до меня написали об обновлении .... торможу... :(
