- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Сразу скажу что прочитал все обсуждения по теме, факи яндекса и форума, и прошу совета т.к. немного запутался и хотелось бы чтобы кто-то просто подсказал - правильно ли я воспринял инфу.
Не поместил в "Вопросы новичков" т.к. по сути вопрос конкретно только по Яндексу.
Итак, ситуация
Имеется сайт по адресу subdomen.domen.ru
Сайт долго и упорно продвигался именно как subdomen.domen.ru, отображался в серпе Яндекса как subdomen.domen.ru и был в топ5 по нужным запросам. Роботса никакого вообще не было.
После последнего апа сайт в серпе как www.subdomen.domen.ru и свалился на 3 страницу серпа. Консоль вебмастера пишет что subdomen.domen.ru это зеркало www.subdomen.domen.ru и предлагает добавить именно вариант с www
Мой вывод: Яша раньше воспринимал сайт как 1 сайт, а теперь решил что это зеркала и мне надо показать Яше что зеркало без www главное.
вопрос 1: верный ли мой вывод?
Теперь что я решил сделать - прочитал все факи и обсуждения по роботсу, решил сделать вот такой роботс
Дело в том что запрещать к индексации мне абсолютно нечего.
И я почитав фак яндекса и вот этот материал понял что лучше пустой Disallow чем его отсутствие. Но потом вот это обсуждение сбило меня с толку.
Вопрос 2: действительно ли лучше пустой Disallow чем его отсутствие?
Ещё вызвала сомнения следующая фраза в факе яшки:
Отсутствие параметров у директивы трактуется следующим образом:
User-agent: Yandex
Disallow: # тоже что и Allow: /
User-agent: Yandex
Allow: # тоже что и Disallow: /
Вопрос 3: то есть пустой Disallow без использования Allow (как в моём роботсе) даёт яндексу команду что можно индексить всё? я правильно понял?
Вопрос 4: Роботс я правильный составил?
Ну и вот ещё какой момент: дело в том что у меня помимо subdomen.domen.ru есть ещё другие сайты, с совершенно другим дизайном, тематикой и контентом, располагающиеся по адресам subdomen1.domen.ru, subdomen2.domen.ru, subdomen3.domen.ru и так далее. Вопрос 5: для них тоже сделать подобный роботс и всё будет ОК? Или есть какие-то нюансы, связанные с тем что они поддомены одного домена? (повторюсь, сайты по сути совершенно разные)
2. Лучше пустой Disallow, чем его отсутствие.
3. Там вся фишка в слеше "/", который показывает на корневую директорию сайта
Disallow: == Allow: / (не запрещать ничего == разрешить всё)
Disallow: / == Allow: (запретить всё == разрешить ничего)
4. Правильно
5. Файл robots.txt нужно сразу помещать на сервер после создания сайта. Я дополняю это ещё 301-ым редиректом с без www на с www.
А если robots.txt вообще пустой и там ничего не написано?
kimberlit, огромное спасибо за помощь!
Средиректить нет техвозможности т.е. оба адреса (и с www и без) физически - один и тот же каталог. Ну я так понимаю просто директивы Host для Яши хватит - правильно?
FoxMulder123 добавил 15.03.2008 в 16:57
Boben, я насколько понял из изучения - тогда уж лучше вообще без него, чем пустой
FoxMulder123 добавил 15.03.2008 в 17:00
kimberlit, и ещё вопрос - падение в серпе в моём случае логично? или нужно искать причину не только в зеркалировании?
имхо логично, ссылки то стоят на без www
У меня было описано так
User-agent:*
Disallow:
Host: domen.ru
в факе яндекса написано тоже так
разумеется robots.txt маленькими буквами 3 сайта с это апа поклеило.
1 с топ 1 - 8 перетел на 2 стр.
Вот что меня беспокоит.
Правда его клеит во 2 раз. Сначала я никаких роботсов и 301 не писал был топ 10, поклеило его на www 1 ап - +- по позициям незначительный а со 2 улетел, но вернулся.
А может попробовать так?
FoxMulder123 добавил 15.03.2008 в 17:47
Я так понял что Яшка гордый и предпочитает когда ему персональную запись выделяют
А что становится с записью для всех, когда туда попадает фирменная яшина директива Host - вопрос очень туманный
Да ничего не может происходить если они её не учитывают.
Смелее надо юзать и не бояться.
Вдруг начнут они юзать хост и что Вам надо буде поменять его на *.
Зачем это нужно?
читател,
по идее и так и так должно работать. Но я изучив инфу понял что для Яндекса лучше отдельно писать.
FoxMulder123, роботс составлен правильно. Добавив сайт в панель вебмастера или воспользовавшись вот этим сервисом, вы можете узнать какие команды яндекс нашел для себя в вашем роботсе. Панель вебмастера дает более полную и адекватную информацию.
Боюсь показаться банальным, но на всякий случай скажу что роботс надо заливать в корень субдомена.
Для ускорения процесса, после написания роботса есть одно радикальное средство. Удалить из индекса все страницы с www. На какое-то время останетесь совсем без посетителей с яндекса.
ИМХО, Спасибо
Кстати вот этот сервис http://www.yandex.ru/cgi-bin/test-robots не выдаёт инфу по директиве Host, показывает только где и чего запретил. Это норма?
Проверил, тоже молчит про хост. Клеит, но молчит.
Хоть в сапорт пиши... эх яндекс яндекс.