- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Имеются ссылки на странице, которая запрещена к индексации в robots.txt. Об них нужно сообщить поисковикам, дабы всё попало в индекс. Поможет ли в этом случае добавление атрибута rel="dofollow", или робот и без моих подсказок перейдёт туда?
которая запрещена к индексации в robots.txt
Информация к размышлению: это запрет не только на индексацию, но и на скачивание этой страницы роботом.
Можете писать на этой странице что угодно, робот ничего не увидит.
Тогда как можно выйти из ситуации? Ту самую страницу, прописанную в robots.txt, в индекс пускать категорически нельзя (чтобы было понятнее - это категория с дублированным текстом)
Тогда как можно выйти из ситуации? Ту самую страницу, прописанную в robots.txt, в индекс пускать категорически нельзя (чтобы было понятнее - это категория с дублированным текстом)
а смысл тогда на ней ссылки держать🚬
а смысл тогда на ней ссылки держать🚬
Эти ссылки как бы на все остальные страницы сайта)) А страницы категорий - всего лишь для разбивания их по разделам.
Информация к размышлению: это запрет не только на индексацию, но и на скачивание этой страницы роботом.
Можете писать на этой странице что угодно, робот ничего не увидит.
т.е. на странице, закрытой в роботс можно вывешивать спамные линкаторы, и за это ничего не будет??
ТС, если смысл только в том, чтобы робот прочитал ссылки, то есть много других способов: поставить их на других, индексируемых, страницах или, к примеру, создать карту сайта и т.д.
т.е. на странице, закрытой в роботс можно вывешивать спамные линкаторы, и за это ничего не будет??
зачем это надо? Если от Вас нужна ссылка, то она, уж поверьте, будет проверена на доступность к индексации
Информация к размышлению: это запрет не только на индексацию, но и на скачивание этой страницы роботом.
Можете писать на этой странице что угодно, робот ничего не увидит.
Ставил партнерку на сайт, сразу запретил в роботс
User-Agent: *
Disallow: /p/
недавно увидел эту страницу в Гугл вебмастере в предложениях HTML (отсутствует title)
зачем это надо? Если от Вас нужна ссылка, то она, уж поверьте, будет проверена на доступность к индексации
Вопрос не про индексацию, а про санкции ....
Zarutskiy, Тег Noindex (для Яндекса) запрещает индексацию текста не запрещая индексации ссылок (если ни чего не перекрутили).
Ставил партнерку на сайт, сразу запретил в роботс
User-Agent: *
Disallow: /p/
недавно увидел эту страницу в Гугл вебмастере в предложениях HTML (отсутствует title)
В справках Google (здесь) написано:
Так что если не хотите, чтоб какие-то страницы сканировались Гуглом, нужно принять дополнительные меры.
Например можно добавить в .htaccess строки, выдающие роботу Гугла при обращении к некоторым страницам ответ 403 Forbidden (Запрещено).
Для страниц /p/ это будет так:
RewriteCond %{HTTP_USER_AGENT} .*Googlebot.*
RewriteRule ^p/.* - [F]