Вопрос по robots.txt

BM
На сайте с 20.06.2006
Offline
50
645

Привет.

Есть сайт. В индексе ПС находится около 10.000 страниц. В основном страницы представляют из себя мешанку состоящих из различных каталогов, файлов, папок, скриптов,дублированного контента и прочего не нужного хлама висящего в индексе. Так же на сайте есть около 500-600 действительно нужных страниц.

Удалять весь мусор руками проблематично и не охота. Хотелось бы составить такой роботс, который бы грохнул бы все левые страницы, но при этом оставил только те, которые действительно нужны.

Прокатит ли такая конструкция:

User-agent: *

Allow: /index.html

Allow: /product_1126.html

Allow: /category_77.html

Allow: /category_3030.html

Allow: /nasosy_i_pompy_aqua_medic_1.html

Allow: /big_foto/morskaya_sol/morskaya_sol_tropic_marine/tropic_marine_bio10.html

Allow: /big_foto/dobavki/dobavki_prodibio/bio_digest_12.html

Allow: /?show=articles&id=27

Allow: /FMGroup

Allow: /?show=articles&id=32

Allow: /?show=shop&item_id=809

Allow: /new_all

Allow: /catalog/cookers/

Allow: /catalog/hotwater/

Allow: /catalog/hotwater/92/

Allow: /catalog/conditioning/80/325/

Allow: /%C4%E6%E8%ED%F1%FB_%EE%E1%F2%FF%E3%E8%E2%E0%FE%F9%E8%E5_%F4%EE%F2%EE

Allow: /%C4%EB%FF_%EC%F3%E6%F7%E8%ED/%CE%E4%E5%E6%E4%E0/%C4%E6%E8%ED%F1%FB?page=6

Allow: /catalog/1685/page.aspx

Allow: /1.2027.FisherPrice

Allow: /katalog/products/stroitelnye-i-otdelochnye-materialy/mir-mozaiki-i

Allow: /katalog/products/mebel/pletenaja-mebel-iz

и т.д

Disallow: /

закрываем все те страницы, которые не указаны в параметре Allow

kimberlit
На сайте с 13.03.2007
Offline
370
#1
big-m0ney:
которые не указаны в параметре Allow

500-600 Allow?

A
На сайте с 27.08.2011
Offline
53
#2
big-m0ney:
Удалять весь мусор руками проблематично и не охота.

Вариантов несколько:

1. Можно нанять человека, который сделает всё это за вас.

2. Можно переделать сайт так, чтоб на нём остались только полезные материалы.

3. Можно запретить индексацию определённых файлов/каталогов/страниц

4. Можно придумать что-то своё...

big-m0ney:
Прокатит ли такая конструкция:

Без понятия: я читать чужие мысли не умею, а сайт вы не показываете; штатная гадалка в отпуске, хотя могла бы пролить свет на эту историю; ну а ясновидящие ваш сайт пока, к сожалению, разглядеть не смогли :(

Желаю вам успеха в продвижении вашего ресурса. 🤣

Яндекс. Помощь вебмастеру. (http://help.yandex.ru/webmaster/for-webmasters/contents.xml)
dspu
На сайте с 10.05.2006
Offline
268
#3

disallow и allow не должны противоречить друг другу

если пишите 500 allow, по придется писать 9500 disallow

kimberlit
На сайте с 13.03.2007
Offline
370
#4
dspu:
disallow и allow не должны противоречить друг другу
если пишите 500 allow, по придется писать 9500 disallow

Сегодня магнитные бури что ли? Или смайликов не хватает?

dspu
На сайте с 10.05.2006
Offline
268
#5

а что, потом ссылку на этот роботс кинуть на форум, вирусняком беков наберет с разных сео блогов :)

anebilitsa
На сайте с 07.02.2012
Offline
167
#6
big-m0ney:


Прокатит ли такая конструкция:

Насколько я знаю, команду Allow воспринимает Гугл. На счёт Яндекса не уверен.

Отличный облачный майнинг (https://hashflare.io/r/D9BC3BC7) Аудит и продвижение сайтов (/ru/forum/935103) | Сервис для снятия позиций сайта (http://allpositions.ru/redirect/28240)
kimberlit
На сайте с 13.03.2007
Offline
370
#7
anebilitsa:
Насколько я знаю, команду Allow воспринимает Гугл. На счёт Яндекса не уверен.

Да, хэлпы только для избранных пишут, а с советом каждый одарённый лезет.

anebilitsa
На сайте с 07.02.2012
Offline
167
#8
kimberlit:
Да, хэлпы только для избранных пишут, а с советом каждый одарённый лезет.

Откуда такой сарказм?

Если не верится про адекватность команды Allow, то вот пруф http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

BM
На сайте с 20.06.2006
Offline
50
#9
kimberlit:
500-600 Allow?

я лишь привел пример задачи. На самом деле Allow будет не больше 10-20-30 строк.

kimberlit
На сайте с 13.03.2007
Offline
370
#10
anebilitsa:
Если не верится про адекватность команды Allow, то вот пруф

Для забаненных в Яндексе > Топ1

Может воздержаться от советов и умозаключений?

big-m0ney:
я лишь привел пример задачи. На самом деле Allow будет не больше 10-20-30 строк.

Ссылка выше.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий