miba: Сейчас заглянул на 1 из своих сайтов и обнаружил там бот яндекса - у меня там стоит специальный мод, который высвечивает всех известных ботов при их посещении. До этого, яндекс на сайте вааще не удавалось увидеть, зато гугл с яху - постоянные гости, рамблер - реже. Вот и хотелось узнать у знающих людей, как часто Яшкины боты бывают на Ваших сайтах? ;)
Че то я там вообще никак не могу разобраться, может что-то другое есть? Или просто опишите как карта сайта должна выглядить? Тоесть как я понимаю, это страница на которой написаны все ссылки, моего сайта тоесть например услуги, вакансии и т.д. Но я тогда не понимаю зачем мне карта сайта у меня контент не сложный всего состоящий из 7 ссылок которые ведут только на одну страницу и больше никуда....
Сейчас заглянул на 1 из своих сайтов и обнаружил там бот яндекса - у меня там стоит специальный мод, который высвечивает всех известных ботов при их посещении. До этого, яндекс на сайте вааще не удавалось увидеть, зато гугл с яху - постоянные гости, рамблер - реже. Вот и хотелось узнать у знающих людей, как часто Яшкины боты бывают на Ваших сайтах? ;)
А че за мод, можете подсказать где скачать?
Vitiai, ну вот, этой ссылки нет: http://alfameds.ru/prices.htm
а вообще сделайте карту сайта, если страничек немного, то можно на онлайн серверах, например здесь: http://www.xml-sitemaps.com/
Удачи! ;)
Че то я там вообще никак не могу разобраться, может что-то другое есть? Или просто опишите как карта сайта должна выглядить? Тоесть как я понимаю, это страница на которой написаны все ссылки, моего сайта тоесть например услуги, вакансии и т.д. Но я тогда не понимаю зачем мне карта сайта у меня контент не сложный всего состоящий из 7 ссылок которые ведут только на одну страницу и больше никуда....
Кстати, хотел еще спросить, вот если я от роботов с помощью robots.txt закрыл стр. http://alfameds.ru/links.htm ее точно не проверит например яндекс
Vitiai, ну вот, этой ссылки нет: http://alfameds.ru/prices.htm а вообще сделайте карту сайта, если страничек немного, то можно на онлайн серверах, например здесь: http://www.xml-sitemaps.com/
Удачи! ;)
А ее и не должно быть, где вы ее нашли?!!!
ААА стоп все все все, все переделал теперь все правильно точно!!!
robots.txt выглядит сейчас так:
User-Agent: Yandex
Disallow: /links.htm
Host: www.alfameds.ru
User-agent: Yandex
Disallow: /links.htm
User-agent: Googlebot
Disallow: /links.htm
User-agent: StackRambler
Disallow: /links.htm
User-agent: Aport
Disallow: /links.htm
User-agent: Webalta
Disallow: /links.htm
User-Agent: Yahoo! Slurp
Disallow: /links.htm
И проверка пишет только это: Запрещена индексация всех URL, начинающихся с указанных префиксов:
/links.htm
а проверка на сайт alfamed.org это: Запрещена индексация всех URL, начинающихся с указанных префиксов:
/
Индексация сервера www.alfamed.org:80 запрещена полностью.
Теперь все правильно
Всем огромное спасибо!!! выручили
Мне то нужно чтобы яндекс индексировал этот сайт alfameds.ru, но не индексировал этот alfamed.org(это зеркало)
Когда все поменял вот что пишет проверка, блин значит не правильно
http://www.yandex.ru/cgi-bin/test-robots?host=www.alfameds.ru
Все щас поменял и сделал вот так
User-Agent: Yandex
Disallow: /
Host: www.alfameds.ru
User-agent: Yandex
Disallow: /links.htm
User-agent: Googlebot
Disallow: /links.htm
User-agent: StackRambler
Disallow: /links.htm
User-agent: Aport
Disallow: /links.htm
User-agent: Webalta
Disallow: /links.htm
User-Agent: Yahoo! Slurp
Disallow: /links.htm
Я еще просто не хочу делать для всех роботов, просто вдруг и роботы каталогов не будут видеть ссылки из-за robots.txt моего
Вот:
http://www.yandex.ru/cgi-bin/test-robots - Robots.txt глазами Яндекса
И еще вот тут почитай: http://robotstxt.org.ru/ - Все о роботсе :)
а что туда вводить URL? или что че то не получается...
вот оцените прописал робот.txt правда не знаю правильно ли все проверьте, и не знаю правильно ли я его запихнул
User-Agent: *
Disallow: /
Host: www.alfameds.ru
User-agent: Yandex
Disallow: alfameds.ru/links.htm
User-agent: Googlebot
Disallow: alfameds.ru/links.htm
User-agent: StackRambler
Disallow: alfameds.ru/links.htm
User-agent: Aport
Disallow: alfameds.ru/links.htm
User-agent: Webalta
Disallow: alfameds.ru/links.htm
User-Agent: Yahoo! Slurp
Disallow: alfameds.ru/links.htm