несуществующий disallow от яндекса

L
На сайте с 01.02.2011
Offline
163
246

пришло на почту оповещение, мол из поиска исключена страница:

site.ru/category/portfolio
причина - блокировка в файле robots.txt (хотя он статичен уже 4 года).

собственно само содержимое файла:

User-agent: * 
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/ 
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback 
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: /product-tag
Disallow: /page*
Allow: */uploads

User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Disallow: *utm=
Disallow: *openstat=
Allow: /product-tag
Disallow: /page*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: /wp/
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: */wlwmanifest.xml
Disallow: /xmlrpc.php
Allow: /product-tag
Disallow: /page*
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

стандартный вариант, который я использую на всех вордпрессах.
я либо в глаза сношаюсь, либо яндекс чудит. но я не вижу запрета в файле на скан этой страницы или ветки.

из плагинов присутствуют только  All In One SEO Pack  и WP Translitera
на дефолтных настройках.

Vladimir SEO
На сайте с 19.10.2011
Offline
1789
#1
в вебмастере проверьте урл и все
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
L
На сайте с 01.02.2011
Offline
163
#2
Vladimir SEO #:
в вебмастере проверьте урл и все

эм.. а что именно проверять связанное с урл?
все указано правильно.  https://site.ru
при клике на исключенную ссылку - открывается страница нормально.

может у яндекса свой отдельный роботс тхт есть? или типа того

Vladimir SEO
На сайте с 19.10.2011
Offline
1789
#3
просто засунь в проверку роботса урл

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий