- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот тут есть:
http://www.google.ru/support/webmasters/bin/answer.py?answer=35303
http://www.citforum.ru/internet/search/rbtspec.shtml
http://webmaster.yandex.ru/faq.xml?id=502499#robotstxt
http://www.rambler.ru/doc/robots.shtml
http://www.webalta.net/ru/about_webmaster.html
http://www.webmascon.com/topics/adv/8a.asp
Segey Не знаю, для кого вы выложили азы.
Теория не совпадает с практикой.
Особенно с полем Host:
Частые "немотивированные" заскоки роботов не дают спокойно спать профессионалам. Просто нужно знать то, о чем в статьях не пишут.
FlyAway
Могу только предположить, что у вас в файле Роботс , формат был неправильный или с ошибкой.
В результате главное зеркало Яша вычислил по полным внутренним ссылкам(если они были) или по умолчанию и засчитал без ВВВ.
Дальше... Через пол года у вашего хостера обновился сервис, и стал понимать неправильный Роботс. И все сьехало.
А вот на вопрос, стоит ли вам опять возвращаться к старому варианту без ВВВ, я ответить не могу.
Обратитесь в личку к профессионалу верхнего уровня, например к старичку с клюкой, у него статус - запридельщик.
Напутствие: Опишите ситуацию более подробно, у вас слишком много белых пятен.
Для вас, чтобы таких вопросов не было.
Теория не совпадает с практикой.
Да ну? Згачит писать нужно
Host: "Уважаемый гугл!"
URL: не индексируй мою гостевую!
Где они не совпадают?
Профессионалам? Профессионалы привыкли и никак не реагируют на эти заскоки.
Вопросик возник
Страница может быть открыта как http://www.****.ru/login/ и как http://www.****.ru/login
То есть без слеша на конце
Стоит ли прописывать оба этих варианта? Или ограничиться только со слешем. На сайте все урлы прописаны со слешем но поисковик мало ли где найдет упоминания без слеша.........
User-agent: *
Disallow: /usercp/
Disallow: /register/
Disallow: /login/
Disallow: /search/
Стоит ли прописывать оба этих варианта? Или ограничиться только со слешем.
В данном случае, должно быть только (!!!) без слеша:
закрываем и для http://www.****.ru/login/ и для http://www.****.ru/login
Disallow: /login
Стоит ли прописывать оба этих варианта? Или ограничиться только со слешем. На сайте все урлы прописаны со слешем но поисковик мало ли где найдет упоминания без слеша........./
Проблема отсутствующего завершающего слэша
Описание:
Каждый вебмастер может спеть песню о проблеме отсутствующих завершающих слэшей при использовании URL ссылающихся на каталоги. Если они отсутствуют, сервер выдает ошибку, потому что если вы пишете /~quux/foo вместо /~quux/foo/ сервер ищет файл foo. И поскольку этот файл является каталогом, происходит ошибка. В действительности, в большинстве случаев это исправляется само, однако, в некоторых случаях, нужно самим эмулировать этот механизм. Например, после того, как вы сделали массу сложных редиректов URL на CGI скрипты и т.д.
Решение:
Решение этой тонкой проблемы — это позволить серверу добавлять завершающий слэш автоматически. Чтобы сделать это правильно, мы должны использовать внешний редирект, для того чтобы браузер правильно запрашивал картинки и пр. В случае если бы мы сделали только внутренний редирект, это бы работало только для самой страницы каталога (страницы по-умолчанию), однако были бы проблемы при наличии любых картинок на этой странице с относительными URL, потому что браузер сделал бы запрос на вставку in-lined объекта. Например, запрос для image.gif на странице /~quux/foo/index.html без внешнего редиректа выглядел бы как /~quux/image.gif!
Поэтому, для того чтобы сделать это трюк, мы пишем в .htaccess:
RewriteEngine on
RewriteBase /~quux/
RewriteRule ^foo$ foo/ [R]
Сумашедший и ленивый может даже сделать следущее в файле .htaccess находящемся в корне веб-пространства своего сайта. Однако, следует отметить, что это создает некоторые накладные расходы.
RewriteEngine on
RewriteBase /~quux/
RewriteCond %{REQUEST_FILENAME} -d
RewriteRule ^(.+[^/])$ $1/ [R]
полный текст: http://www.egoroff.spb.ru/portfolio/apache/rewriteguide.html
Если мне надо запретить индексаци страниц forum/topic.php?forum=5&topic=71&v=#1155832652 , bad.php, bad2.html то я пишу в роботс:
User-agent: Googlebot
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad.php
Disallow: /bad2.html
Host: www.my.ru
User-agent: Yandex
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad.php
Disallow: /bad2.html
Host: www.my.ru
User-agent: *
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad.php
Disallow: /bad2.html
Host: www.my.ru
правильно?
и подскажите ещё пожалуйста где можно взять User-agent: других поисковиков.
User-agent: Yandex
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
Host: www.my.ru
User-agent: Googlebot
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
User-agent: *
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
-----------
Другие: StackRambler, Aport, msnbot, Slurp
AVV, можно ещё короче ;)
User-agent: Yandex
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
Host: www.my.ru
User-agent: *
Disallow: /forum/topic.php?forum=5&topic=71&v=#1155832652
Disallow: /bad
Disallow: /bad2
гугль не нужно писать отдельно, для него работает юзер-агент для всех - *
Спасибки за ответы =)
Если стрнаица уже запрещена для индексации в роботс нужно ли её заключат в тег ноиндекс или это уже масо масляное?