Все вопросы по robots.txt - 2

Надо же быть настолько некомпетентным. А что по твоему вызывает 403?

У меня сервер Английский, может из за этого)))

Да причем тут английский сервер.

И да, если это именно сервер - идите в настройки.

Если хостер - пишите ему, а когда он пошлет далеко и надолго - настройте краул-делай для яндекса.

mainspy показывает

HTTP/1.1 200 OK

Date: Fri, 08 Jun 2018 09:58:54 GMT

Server: Apache

Last-Modified: Wed, 06 Jun 2018 20:28:49 GMT

Accept-Ranges: bytes

Content-Length: 60906

Cache-Control: max-age=0

Expires: Fri, 08 Jun 2018 09:58:54 GMT

Vary: Accept-Encoding,User-Agent

Connection: close

Content-Type: text/html

webseo365, да все будут показывать 200. Как уже советовал выше, почитайте, откуда 403 возникает.

пофиг что показывают сторонние сервисы, если яндексу отдаётся 403 код ответа

Да они просто не понимают, в чем смысл 403.

Добрый день.

Подскажите правильно ли делаю.

Есть раздел на несколько тысяч товаров.

Все товары раздела, кроме нескольких сотен нужно закрыть.

Все товары раздела начинаются с /item?id=

Товары которые ненужны после = имеют нумерацию от 0 до 9, товары которые должны быть открыты содержат в строке "wh-"

Вариант 1:

Disallow: /item?id=

Allow: /*item?id=wh-*

Вариант 2:

Disallow: */item?id=

Allow: */*wh-*

Вариант 3:

Disallow: */item?id=0*

Disallow: */item?id=1*

Disallow: */item?id=2*

Disallow: */item?id=3*

Disallow: */item?id=4*

Disallow: */item?id=5*

Disallow: */item?id=6*

Disallow: */item?id=7*

Disallow: */item?id=8*

Disallow: */item?id=9*

Allow: */item?id=wh-*

какой вариант правильный?

Покажите пример адреса который нужно закрыть (желательно пару) и пример адреса, который нужно оставить открытым для индексации.

вот есть сайт, у него есть 2 вида категорий

site.com/lol

и

site.com/lol?lang=ru

Это всё единая категория, но проблема в том что это создаёт дубль, гугл их видит.

Решения проблемы:

rel canonical

301

Эти варианты мне понятные, но меня интересует как заблокировать такую страницу чисто robots.txt, для меня этот вариант в данный момент более правильный, ибо структура сайта довольно сложная.

Буду очень рад за помощь!

---------- Добавлено 22.06.2018 в 16:21 ----------

Короче разобрался, сделал так

Disallow: *?lang=ru* роботс тхт показывает что всё ок, страницы закрыты ☝