- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Не стоит пугать всех ботов Allow`ом
последний вопрос:
User-agent: *
Allow: /
Host: www.сайт.ru - все хорошо - но мне не нужен сайт с WWW, можно ли в роботсе написать без него, вот так:
User-agent: *
Allow: /
Host: сайт.ru
? Заранее спасибо!
Вы можете указывать здесь хост с префиксом WWW, и без него. Лучше всего вводить в зависимости от того как сайт проиндексирован поисковой системой.
если все стало ясно может просвятите?:
1.какое отношение имеет www.сайт.ru к сайт.ru? это два совершеннно разных домена, не связанных друг с другом, поэтому, добавив www.сайт.ru, вы его проиндексируете, при этом сайт.ru останется зеркалом сайт.com.
2.зачем создавать robots.txt если на сайт.ru Я его просто не прочитает, даже если редирект снят (в базе Я сайт.ru так и висит зеркалом, поэтому не индексирует)? на www.сайт.ru его Я прочитает, но в итоге получиться цепочка зеркал заканчивающаяся сайт.com
ТС заливайте подготовленный сайт на домен сайт.ru и пишите челобитную Платону. пишите обстоятельно, продумайте аргументацию, чтобы в суппорте не посчитали, что вы что-то "химичите". только в этом случае имеет смысл создавать robots.txt, а если точнее, его нужно будет обязательно создавать
Ну ты понаписал. сам хоть понял? человеку требуется просто расклеить сайты, основные требования для данного действия:
1. убрать редирект с сайтов которые не нуждаются в склейке
2. прописать в robots.txt дерективу
Host: xxx.ru* - где сайт xxx.ru является основным сайтом.
при условие, что сайты xxx.ru и xxx.com не являются обсолютно идентичными, при обходе сайтов роботом склейщиком, робот увидит что сайты не являются зеркалами и расклеит их.
вот так
Большое спасибо за советы! Гугл у меня оказывается тоже выдает вот этот второй домен зеркалом старого первого ))
Так что написал в роботсе так:
User-agent: *
Allow: /
Host: сайт.ru
Google по составлению файла robots.txt дает ссылку на этот ресурс http://www.robotstxt.org/orig.html но тут ничего про диррективу Host не написано. Так что в данном случае нужно либо просто ждать, либо попробовать сделать для обоих сайтов SiteMap и скормить их Google.
Google по составлению файла robots.txt дает ссылку на этот ресурс http://www.robotstxt.org/orig.html но тут ничего про диррективу Host не написано. Так что в данном случае нужно либо просто ждать, либо попробовать сделать для обоих сайтов SiteMap и скормить их Google.
Host - директива только для яндекса и гуглом не учитывается, порой бывают такие вещи что в топе по нч попадается 2 сайта - с www и без, на разных позициях