- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В корне сайта имеется несколько рнр-файлов, предназначенных исключительно для сбора статистики. На них нет ссылок и они не используются при просмотре сайта, а вызываются админом сайта только для того, чтобы собрать сведения о посетителях и продажах. И когда я их писал, то мне и в голову не могло прийти, что поисковики их проиндексируют и они будут известны неопределенному кругу лиц, которые могут ими воспользоваться и, например, все стереть (имеется файл очистки).
Однако Яндекс и Гугль как-то их нашли.
И в этой связи у меня два вопроса:
1. Проштудировав сайт и инструкцию по составлению роботса, я понял, что в нем не предусмотрена возможность запретить к индексации все находящиеся в корне файлы с расширением рнр. Видимо, придется их перечислять в роботсе поименно и полностью, поскольку в их именах нет схожих элементов, кроме расширения рнр.
Так?
2. Вылетят ли файлы из индекса после запрета в роботсе? Или, поскольку они уже проиндексированы, там и останутся на неопределенный срок (месяцы, годы)?
(В яндексе можно ускорить их исключение, но не в других поисковиках).
Без доступа к ftp интересно каким образом?
Ещё их надо удалить тут http://webmaster.yandex.ru/delurl.xml
Гугл понимает выборочный запрет файлов с определённым расширением:
http://www.google.ru/support/webmasters/bin/answer.py?answer=40367&topic=8846
Яндекс вроде разрешает использовать директиву Allow: http://help.yandex.ru/webmaster/?id=996567
Но я не уверен в этом, так как в других местах пишут обратное.
Без доступа к ftp интересно каким образом?
Имеется файл, запуск которого очищает всю набранную статистику.
Сейчас роботс имеет такой вид:
User-agent: *
Disallow: /stat-pos.php
Disallow: /stat-pos-del.php
Disallow: /stat-pos-del2.php
Disallow: /stat-pos-podr.php
User-agent: Yandex
Host: site.ru
Проверяя его работу сервисом Яндекса, я получаю сообщение, что файл stat-pos.php будет проиндексирован, ибо яндекс работает только с двумя последними строками. Как я понимаю, это означает, что директива
User-agent: *
игнорируется.
Так?
Вы тут смотрели? http://www.yandex.ru/cgi-bin/test-robots
Да, смотрел. И сервис не дал запрещающих правил.
А вот так
User-agent: *
Disallow: /stat-pos.php
Disallow: /stat-pos-del.php
Disallow: /stat-pos-del2.php
Disallow: /stat-pos-podr.php
User-agent: Yandex
Disallow: /stat-pos.php
Disallow: /stat-pos-del.php
Disallow: /stat-pos-del2.php
Disallow: /stat-pos-podr.php
Host: site.ru
сервис перечислил 4 правила.
Вот я и думаю: неужели надо все строки писать в двух вариантах - один персонально для Яндекса и другой для User-agent: * ?
А может, и для гугля надо персонально?
Говорят этот сервис глючит, более точно видно через панель вебмастера. Мне кажется, что глюги из-за нижнего блока. У меня он один(я верхний имею ввиду) и его хватает. Для гугла не надо, ещё третий писать..
Однако Яндекс и Гугль как-то их нашли.
В корневом .htaccess включать директиву Options -Indexes . Всегда и везде.
Иначе когда-нибудь сделают "мучительно больно"...
Имеется файл, запуск которого очищает всю набранную статистику.
Вам бы лучше ограничить запуск этих файлов по паролю или IP. Нельзя же такие дыры оставлять. И robots.txt тут вообще ни при чем.
Сложите все такие файлы в папочку, а папочку закройте на пароль через тот же .htaccess и .htpasswd.
Владимир-C, если это из Вашего Хуиза
phone: +7 916 *******
e-mail: ******@list.ru
e-mail: ***@bk.ru
Обязательно свяжитесь с модером раздела, пусть посты Ваши поправит немного