- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет.
Есть сайт. В индексе ПС находится около 10.000 страниц. В основном страницы представляют из себя мешанку состоящих из различных каталогов, файлов, папок, скриптов,дублированного контента и прочего не нужного хлама висящего в индексе. Так же на сайте есть около 500-600 действительно нужных страниц.
Удалять весь мусор руками проблематично и не охота. Хотелось бы составить такой роботс, который бы грохнул бы все левые страницы, но при этом оставил только те, которые действительно нужны.
Прокатит ли такая конструкция:
User-agent: *
Allow: /index.html
Allow: /product_1126.html
Allow: /category_77.html
Allow: /category_3030.html
Allow: /nasosy_i_pompy_aqua_medic_1.html
Allow: /big_foto/morskaya_sol/morskaya_sol_tropic_marine/tropic_marine_bio10.html
Allow: /big_foto/dobavki/dobavki_prodibio/bio_digest_12.html
Allow: /?show=articles&id=27
Allow: /FMGroup
Allow: /?show=articles&id=32
Allow: /?show=shop&item_id=809
Allow: /new_all
Allow: /catalog/cookers/
Allow: /catalog/hotwater/
Allow: /catalog/hotwater/92/
Allow: /catalog/conditioning/80/325/
Allow: /%C4%E6%E8%ED%F1%FB_%EE%E1%F2%FF%E3%E8%E2%E0%FE%F9%E8%E5_%F4%EE%F2%EE
Allow: /%C4%EB%FF_%EC%F3%E6%F7%E8%ED/%CE%E4%E5%E6%E4%E0/%C4%E6%E8%ED%F1%FB?page=6
Allow: /catalog/1685/page.aspx
Allow: /1.2027.FisherPrice
Allow: /katalog/products/stroitelnye-i-otdelochnye-materialy/mir-mozaiki-i
Allow: /katalog/products/mebel/pletenaja-mebel-iz
и т.д
Disallow: /
закрываем все те страницы, которые не указаны в параметре Allow
которые не указаны в параметре Allow
500-600 Allow?
Удалять весь мусор руками проблематично и не охота.
Вариантов несколько:
1. Можно нанять человека, который сделает всё это за вас.
2. Можно переделать сайт так, чтоб на нём остались только полезные материалы.
3. Можно запретить индексацию определённых файлов/каталогов/страниц
4. Можно придумать что-то своё...
Прокатит ли такая конструкция:
Без понятия: я читать чужие мысли не умею, а сайт вы не показываете; штатная гадалка в отпуске, хотя могла бы пролить свет на эту историю; ну а ясновидящие ваш сайт пока, к сожалению, разглядеть не смогли :(
Желаю вам успеха в продвижении вашего ресурса. 🤣
disallow и allow не должны противоречить друг другу
если пишите 500 allow, по придется писать 9500 disallow
disallow и allow не должны противоречить друг другу
если пишите 500 allow, по придется писать 9500 disallow
Сегодня магнитные бури что ли? Или смайликов не хватает?
а что, потом ссылку на этот роботс кинуть на форум, вирусняком беков наберет с разных сео блогов :)
Прокатит ли такая конструкция:
Насколько я знаю, команду Allow воспринимает Гугл. На счёт Яндекса не уверен.
Насколько я знаю, команду Allow воспринимает Гугл. На счёт Яндекса не уверен.
Да, хэлпы только для избранных пишут, а с советом каждый одарённый лезет.
Да, хэлпы только для избранных пишут, а с советом каждый одарённый лезет.
Откуда такой сарказм?
Если не верится про адекватность команды Allow, то вот пруф http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449
500-600 Allow?
я лишь привел пример задачи. На самом деле Allow будет не больше 10-20-30 строк.
Если не верится про адекватность команды Allow, то вот пруф
Для забаненных в Яндексе > Топ1
Может воздержаться от советов и умозаключений?
я лишь привел пример задачи. На самом деле Allow будет не больше 10-20-30 строк.
Ссылка выше.