- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Отцы!
Растолкуйте еще раз про robots.txt и Host
Изначально яшка скушал сайт без ввв - как и надо.
но зачесались руки, почитал пару умных тем - решил усугубить, вот что написал в роботс:
User-agent: Mediapartners-Google*
Disallow:
User-agent: *
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
Host: site.ru
В итоге то что было проиндексировано без ввв все удалено, а теперь проиндексировалось с ввв, но надо то обратное.....
или лыжи не едут или я не там читал....
вообщем совсем запутался - чего делать-то чтоб индексирование без ввв вернуть?
поставить в хост сайт с ввв или просто убрать нафиг?
yuranich,
Похоже просто на глюк. С роботсом все нормально, можно проверить по
http://www.yandex.ru/cgi-bin/test-robots
хотя не сильно понятно зачем вписывать
User-agent: Mediapartners-Google*(хотя здесь звездочка чуть смущает)
Disallow:
Хотя ему ничего не запрещено.
Со временм все станет на свои места.
PS Вы еще раз подтвердили истину, что все нужно делать сначала и потом, желательно, не менять.
User-agent: *
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
Host: site.ru
Поставить вместо звездочки Yandex и ждать. Mediapartners вообще убрать. остальным написать тоже самое, но без хост.
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
Host: site.ru
User-agent: *
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
Тут у себя http://seo.vestblog.com/comments.php?id=149_0_1_0_C какраз темой насчет robots.txt тоже проникался и задался вопросом, а почему вариант такой не канает:
User-agent: *
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
Host: site.ru
😕
Тут у себя http://seo.vestblog.com/comments.php?id=149_0_1_0_C какраз темой насчет robots.txt тоже проникался и задался вопросом, а почему вариант такой не канает:
User-agent: *
Disallow: /admin.php
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /install/
Disallow: /themes/
Disallow: /blocks/
Disallow: /modules/
Disallow: /language/
Host: site.ru
:
Другие поисковики не поддерживают директиву Host и могут проигнорировать всю секцию
Другие поисковики не поддерживают директиву Host и могут проигнорировать всю секцию
как правило, не игнорирую, но все же, береженого бог бережет. лучше чтоб нестандартную дерективу хост видел только поддерживающий ее яндекс.
делайте, как сказал Ctulhu.
Может кто разъяснить такую ситуацию:
Зашел http://www.yandex.ru/cgi-bin/test-robots
Ввел домен, браузер мне выдал следующее:
/
Индексация сервера nfkglass.ru:80 запрещена полностью.
Host: www.nfkglass.ru
Правильно, здесь указано главное зеркало. Индексация остальных зеркал запрещена этой строчкой.
Host: www.nfkglass.ru
Правильно, здесь указано главное зеркало. Индексация остальных зеркал запрещена этой строчкой.
Понял, спасиб...;)
Директива Host, насколько знаю, исключительно яндексовская; её нужно отделять от остальных пустой строкой (не забываем про указание агента или маски).
Директива Host, насколько знаю, исключительно яндексовская; её нужно отделять от остальных пустой строкой (не забываем про указание агента или маски).
Вы бредите. Как Вы думаете, какова будет реакция парсера, на дерективу Host после пустой строки????
Эту директиву можно ставить в блок, только для яндекса, но это не является обязательным. Гугл прекрасно пропускает директиву Host, выполняя все остальное