Robots.txt

12
humbert
На сайте с 16.03.2006
Offline
527
1024

Поясните мне, новичку и чайнику

В robots.txt стоит

User-Agent: *
Disallow: /upload/
Allow: *.js
Allow: *.png
Allow: *.jpg
Allow: *.jpeg
Allow: *.svg
Allow: *.gif

Все картинки в /upload/ находятся.

Вопрос, проиндексируются ли? :)

Парсинг прайс-листов, наполнение интернет-магазина товаром. (https://humbert.ru) Любая CMS (Битрикс, OpenCart, Prestashop и даже Woo Commerce )
oxg
На сайте с 08.08.2011
Offline
218
oxg
#1

вроде вот так, допустим только для png

Allow:*.png

Allow: /upload/*.png

Disallow: /upload/

Прокси IPv6 Россия (http://proxy-ipv6.ru/proxy_ipv6.html) /32 сеть, каждый IP в отдельной /48 сети Прокси IPv4 (http://proxyk.ru/proxy-russia.html) более 160 подсетей А,B,C Прокси для Инстаграм (http://proxy-ipv6.ru/instagram-proxy.html)
humbert
На сайте с 16.03.2006
Offline
527
#2

Очень смешно :) Искал в поисках по картинкам на одном сайте инфу, а картинок и нет :)

p.s. в Гугл нет, а в Яндексе есть

S
На сайте с 01.12.2017
Offline
154
#3
humbert:
Поясните мне, новичку и чайнику

Ничего себе новичок 😮, про посудный инвентарь промолчу...

Как рыбак рыбаку скажу - все норм, проиндексируются

humbert
На сайте с 16.03.2006
Offline
527
#4

smurf, ну тут же на форуме видел описание, что Allow после Disallow не работает

Хотя по описанию Яндекса allow после disallow нормально работает - https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

Но вот в Гугле у данного сайта нет картинок почти, что очень странно

oxg
На сайте с 08.08.2011
Offline
218
oxg
#5
humbert:
Очень смешно :)

ну вооБще то вот https://yandex.ru/support/webmaster/robot-workings/allow-disallow.html

так что как и сказал будет скорее всего правильно если прописать для каждого формата фото вот так:

Allow: /upload/*.png

IL
На сайте с 20.04.2007
Offline
435
#6
humbert:
Но вот в Гугле у данного сайта нет картинок почти, что очень странно

https://www.google.com/webmasters/tools/robots-testing-tool?

https://developers.google.com/search/reference/robots_txt (в самом конце)

Порядок приоритетности для записей вне групп
На уровне группы, в частности для директив allow и disallow, самое строгое правило, учитывающее длину записи [path], будет важнее менее строгого и более короткого правила. Порядок очередности правил с подстановочными знаками не определен.

И пример оттуда же


http://example.com/page.htm
Allow: /page
Disallow: /*.htm

Verdict: undefined

Для чистоты эксперимента:

Robots (значимые строки):

Disallow: /upload

Disallow: /gg
Allow: *.jpg
Allow: *.txt
Disallow: /testload

Чекаем 2 URL-а:

upload/2.jpg

gg/2.jpg

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
humbert
На сайте с 16.03.2006
Offline
527
#7

oxg, я не про твой ответ, я про ситуацию - за сайт взялась какая-то крупная контора, от 300 тысяч рублей за продвижение в месяц вроде как. А в результате в Гугл нет картинок с сайта

В Яндексе картинки есть, так что Allow: *.jpg работает.

С другой стороны может Яндекс еще не успел применить правила из robots :)

---------- Добавлено 26.05.2019 в 09:20 ----------

ivan-lev:

Чекаем 2 URL-а:

upload/2.jpg


gg/2.jpg

Т.е. все работает как надо в Гугл?

Но почему тогда нет картинок? Не могу сделать поиск по картинкам в Гугл, нет их.

IL
На сайте с 20.04.2007
Offline
435
#8

Н

humbert:
Т.е. все работает как надо в Гугл?

Нет..

Т.е. технически я не вижу разницы между /gg/2.jpg и /upload/2.jpg в контексте строк файла:

Disallow: /upload

Disallow: /gg
Allow: *.jpg

Но в одном случае - разрешён к индексации, в другом - нет.

Как фишка ляжет... 🤪

---------- Добавлено 26.05.2019 в 09:26 ----------

humbert:
А в результате в Гугл нет картинок с сайта

Предлагаю убрать Disallow с upload, или уточнить подкаталоги или подмаски..

Disallow: /upload

Allow: /upload/*.jpg
Allow: *.jpg

В такой комбинации upload/2.jpg разрешён к индексации

---------- Добавлено 26.05.2019 в 09:29 ----------

p.s. Но, учитывая вышенаписанное про undefined - это не точно 🤪

Если сайт свой (есть доступ к вебмастеру гугла) и результат важен - имеет смысл сходить по первой ссылке из поста выше.. и самому "потыкать".

https://www.google.com/webmasters/tools/robots-testing-tool

humbert
На сайте с 16.03.2006
Offline
527
#9

Сайт не свой, чужой :)

D.iK.iJ
На сайте с 26.05.2013
Offline
225
#10

Более длинные URL в роботс имеют приоритет. И, как уже писали выше, хорошо бы добавить

Allow: /upload/*.js
Allow: /upload/*.png
Allow: /upload/*.jpg
Allow: /upload/*.jpeg
Allow: /upload/*.svg
Allow: /upload/*.gif
Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий