Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 18.01.2019, 16:12   #1
Дипломник
 
Регистрация: 06.05.2016
Сообщений: 61
Репутация: -18

По умолчанию Запрет в robots.txt на индексацию сайта

Здравствуйте пришло письмо из яндекс веб мастер о том что у меня в роботсе стоит запрет на индексацию сайта. http://prntscr.com/m8w7p6

Не могу найти где?

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
Disallow: /catalogue/periferiynoe-oborudovanie/bunker-sushilki/bunker-sushilki-shini-serii-shd-u
Disallow: /676b9/
Disallow: /uploads/
Disallow: /forums/
Disallow: /hzyohlu/
Disallow: /index.php/
Allow: /index.php$
Disallow: /yxfiz/
Disallow: /user/
Disallow: /proekty/catalog/
Allow: /proekty$
Disallow: /sites/default/files/uploads/desc/
Disallow: /sites/default/files/styles/560x370/
Disallow: /taxonomy/
Disallow: /proizvoditeli/
Allow: /proizvoditeli$
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /INSTALL.sqlite.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
Disallow: /=$
Disallow: /akcii$
Disallow: /akcii-0$
Disallow: /akcii-1$
Disallow: /akciya-2$
Disallow: /akciya-3$
Disallow: /akciya-4$
Disallow: /akciya-4?page=1$
Disallow: /akciya-5$
Disallow: /akciya-6$
Disallow: /alfarobot$
Disallow: /algoritm-0$
Disallow: /articles$
Disallow: /articles/page/1$
Disallow: /articles/page/2$
Disallow: /articles?page=1$
Disallow: /cart$
Disallow: /dozator$
Disallow: /drobilki-s$
Disallow: /ekstruzionnye-linii$
Disallow: /haitian-shini-i-alfarobot-opravdannye-investicii-v-proizvodstvennye-resheniya$
Disallow: /linii-ekstruzii-profiley-pvh$
Disallow: /linii-granulirovaniya-i-kompaundirovaniya$
Disallow: /linii-granulyacii$
Disallow: /linii-kompaundirovaniya$
Disallow: /modal_forms/nojs/webform/290$
Disallow: /modal_forms/nojs/webform/290?page=1$
Disallow: /moretto-italiya-vysokotehnologichnye-resheniya$
Disallow: /news-8-steps-essay-writing-pro-under-hour$
Disallow: /news-algoritm-system-na-vystavke-interplastika-2017$
Disallow: /news-baking-cakes-contemporary-mixing-methods-just-baking-enthusiast$
Disallow: /news-bbh-kommentiruyut-padenie-sterlinga$
Disallow: /news-broken-heart-sayings-can-comfort-and-inspire-you$
Disallow: /news-build-epson-resetter-anyone-would-be-proud$
Disallow: /news-dvds-learn-poker$
Disallow: /news-email-and-spam-filters-how-be-able-them-part-i$
Disallow: /news-email-and-spam-filters-how-be-able-them-part-i$
Disallow: /news-find-suitable-nail-design-shop-ease$
Disallow: /news-general-information-weight-control$
Disallow: /news-getting-regarding-acne-done-affordably-best-natural-tips-revealed$
Disallow: /news-gucci-sunglasses-crme-de-la-crme-fashion$
Disallow: /news-myanmar-vote-ends-military-rule$
Disallow: /news-take-look-inside-1rebel-hipster-london-gym-live-music-and-alcohol-license-0$
Disallow: /news-undeniable-truth-about-buy-old-domain-name-no-one-telling-you$
Disallow: /news-us-accuses-chinese-citizens-hacking-law-firms-insider-trading$
Disallow: /nyuansy-vedeniya-del-s-podnebesnoy$
Disallow: /partneram$
Disallow: /periferiya-moretto-italiya$
Disallow: /pet-preforma-24gr$
Disallow: /pet-preforma-80gr$
Disallow: /plastron$
Disallow: /plastron-ekonomichnoe-reshenie-i-kachestvennyy-servis$
Disallow: /press-formy$
Disallow: /press-formy-0$
Disallow: /proekty-termoplastavtomat-algoritm-uj300s-i-periferiya$
Disallow: /projects$
Disallow: /pvh$
Disallow: /roboty$
Disallow: /shini-oborudovanie-ot-vedushchego-kitayskogo-brenda$
Disallow: /shini-periferiynoe-oborudovanie$
Disallow: /taxonomy/term/328$
Disallow: /tpa$
Disallow: /tst$
Disallow: /user$
Disallow: /proekty/catalogs$
Disallow: /%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%9F%D0%B5%D1%80%D0%B5%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0%20%D0%BF%D0%BB%D0%B0%D1%81%D1%82%D0%B8%D0%BA%D0%BE%D0%B2%D1%8B%D1%85%20%D0%B1%D1%83%D1%82%D1%8B%D0%BB%D0%BE%D0%BA%20%D0%BA%D0%B0%D0%BA%20%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81/oborudovanie-dlia-pererabotki-plastikovih-butilok1.jpg$
Disallow: /%D0%9A%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/%D0%9F%D1%80%D0%B5%D1%81%D1%81-%D1%84%D0%BE%D1%80%D0%BC%D1%8B/katalog-press-form-33.jpg$
Disallow: /%D0%9A%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/%D0%92%D1%82%D0%BE%D1%80%D0%B8%D1%87%D0%BD%D0%B0%D1%8F%20%D0%BF%D0%B5%D1%80%D0%B5%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0/pet-butylki-unit-73.jpg$
Disallow: /%D0%9A%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/%D0%A2%D1%80%D0%B0%D0%BD%D1%81%D0%BF%D0%BE%D1%80%D1%82%D0%B5%D1%80%D1%8B/vertikalnyy_trasporter11.jpg$
Disallow: /%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%9F%D0%B5%D1%80%D0%B5%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0%20%D0%BF%D0%BB%D0%B0%D1%81%D1%82%D0%B8%D0%BA%D0%BE%D0%B2%D1%8B%D1%85%20%D0%B1%D1%83%D1%82%D1%8B%D0%BB%D0%BE%D0%BA%20%D0%BA%D0%B0%D0%BA%20%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81/flex2.jpg$
Disallow: /%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%9F%D0%BB%D0%B0%D1%81%D1%82%D0%B8%D0%BA%D0%B8%20%D0%B1%D1%8B%D0%B2%D0%B0%D1%8E%D1%82%20%D1%80%D0%B0%D0%B7%D0%BD%D1%8B%D0%B5%20%D0%B1%D0%B5%D0%BB%D1%8B%D0%B5%2C%20%D1%81%D0%B8%D0%BD%D0%B8%D0%B5%2C%20%D0%BA%D1%80%D0%B0%D1%81%D0%BD%D1%8B%D0%B5/gidkoe-steklo1.jpg$
Disallow: /%D0%9A%D0%B0%D1%82%D0%B0%D0%BB%D0%BE%D0%B3/%D0%9B%D0%B8%D0%BD%D0%B8%D0%B8%20%D0%B3%D1%80%D0%B0%D0%BD%D1%83%D0%BB%D1%8F%D1%86%D0%B8%D0%B8/%D0%9B%D0%B8%D0%BD%D0%B8%D0%B8%20%D0%B3%D1%80%D0%B0%D0%BD%D1%83%D0%BB%D1%8F%D1%86%D0%B8%D0%B8%20%D0%BF%D0%BB%D0%B5%D0%BD%D0%BA%D0%B8/granulyator-plenki1.jpg$
Disallow: /%D0%A1%D1%82%D0%B0%D1%82%D1%8C%D0%B8/%D0%A0%D0%BE%D0%BB%D1%8C%20%D0%BC%D0%B8%D0%BA%D1%81%D0%B5%D1%80%20%D1%81%D0%BC%D0%B5%D1%81%D0%B8%D1%82%D0%B5%D0%BB%D0%B5%D0%B9%20%D0%B4%D0%BB%D1%8F%20%D0%BF%D0%BE%D0%BB%D0%B8%D0%BC%D0%B5%D1%80%D0%BE%D0%B2/Lopastnoi-smesitel1.jpg$
Disallow: /news/page/1$
Disallow: /news/page/4$
Disallow: /news/page/3$
Disallow: /news/page/2$
Disallow: /news-tom-kalili$
Disallow: /forum$
Disallow: /selector$
Disallow: /favicon.ico$
Disallow: /rss.xml$
Disallow: /ekstruder-dlya-proizvodstva-niti-dlya-3d-printera$
Disallow: /component/users/?view=reset$
Disallow: /blok-upravleniya-sistemoy-vpryska-tpa-algoritm$
Disallow: /katalog-0$
Disallow: /osobennosti-tpa-algoritm-0$
Disallow: /agenty-i-dilery$
Disallow: /filter/tips$
Disallow: /portfolio-masonry$
Disallow: /proporcionalnye-klapana-dlya-tpa$
Disallow: /kompleksnye-proekty$
Disallow: /content/steave-wokds$
Disallow: /uzly-tpa-algoritm$
Disallow: /blog-one-column$
Disallow: /nasos-s-servoprivodom-dlya-tpa$
Disallow: /content/steve-michael$
Disallow: /product/undercover$
Disallow: /blog-categories/cms-solutions$
Disallow: /content/first-post$
Disallow: /stanki$
Disallow: /1111111111111$
Disallow: /tipy-termoplastavtomatov-algoritm$
Disallow: /content/robert-clave$
Disallow: /otrasli$
Disallow: /otpravit-zapros$
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /filter/tips/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
Disallow: /user/logout/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=filter/tips/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /?q=user/logout/
Disallow: /*?page=
Disallow: /*image_captcha?sid=
Sitemap: http://east-plast.ru/sitemap.xml
Host: east-plast.ru
navik вне форума   Ответить с цитированием

Реклама
Старый 18.01.2019, 16:21   #2
xVOVAx
Kulinenko.com
 
Регистрация: 19.10.2011
Адрес: Kiev
Сообщений: 9,704
Репутация: 480761
Отправить сообщение для xVOVAx с помощью ICQ Отправить сообщение для xVOVAx с помощью Skype™
Социальные сети Профиль в ВКонтакте Аккаунт в Telegram

По умолчанию Re: Запрет в robots.txt на индексацию сайта

Кто вас надоумил на такой роботс вообще)))

В инструменте проверки в вебамстерах есть строки которые из-пользует пс
xVOVAx на форуме   Ответить с цитированием
Старый 18.01.2019, 16:36   #3
navik
Дипломник
 
Регистрация: 06.05.2016
Сообщений: 61
Репутация: -18

ТопикСтартер Re: Запрет в robots.txt на индексацию сайта

xVOVAx, назовем это ошибками молодости, хотя я и сейчас не особо лучше.)

Так яндекс веб мастер в проверке роботса не ругается ни на что. http://prntscr.com/m8wlr6 И я не пойму в чем дело, страшно из индекса вылететь, тем более на этот домен только вчера сделал редирект с другого, не правильно проведу смену доменов бизнес потеряет деньги на сео клиентах.
navik вне форума   Ответить с цитированием
Старый 18.01.2019, 16:39   #4
vold57
Академик
 
Регистрация: 01.10.2007
Адрес: Германия, Карлсруе
Сообщений: 1,594
Репутация: 326804

По умолчанию Re: Запрет в robots.txt на индексацию сайта

navik, запрета на индексацию сайта у вас нет. Но по инструменту проверки вам уже подсказали. Все можете сами спокойно проверить и это будет намного быстрее, чем создавать на форуме тему и ждать ответов.
vold57 вне форума   Ответить с цитированием
Сказали спасибо:
Старый 18.01.2019, 16:48   #5
xVOVAx
Kulinenko.com
 
Регистрация: 19.10.2011
Адрес: Kiev
Сообщений: 9,704
Репутация: 480761
Отправить сообщение для xVOVAx с помощью ICQ Отправить сообщение для xVOVAx с помощью Skype™
Социальные сети Профиль в ВКонтакте Аккаунт в Telegram

По умолчанию Re: Запрет в robots.txt на индексацию сайта

navik, глюк видимо у яндекса как всегда - последнее время зачастил
xVOVAx на форуме   Ответить с цитированием
Сказали спасибо 2 пользователей:
Старый 21.01.2019, 09:27   #6
navik
Дипломник
 
Регистрация: 06.05.2016
Сообщений: 61
Репутация: -18

ТопикСтартер Re: Запрет в robots.txt на индексацию сайта

Благодарю успокоили.
navik вне форума   Ответить с цитированием
Старый 21.01.2019, 10:04   #7
callidus
AdSense Maestro
 
Аватар для callidus
 
Регистрация: 18.07.2011
Сообщений: 3,949
Репутация: 534120
Отправить сообщение для callidus с помощью Skype™

По умолчанию Re: Запрет в robots.txt на индексацию сайта

navik, жесть а не роботс если честно.
__________________
Сбор семантического ядра (20 кластеров = 1000 трафика).
Инфо статьи от 150 рублей от контент-фермы.
Точная проверка позиций в сервисе Серпхант
callidus вне форума   Ответить с цитированием
Сказали спасибо 2 пользователей:
Старый 22.01.2019, 09:26   #8
navik
Дипломник
 
Регистрация: 06.05.2016
Сообщений: 61
Репутация: -18

ТопикСтартер Re: Запрет в robots.txt на индексацию сайта

callidus, да согласен, кустарный роботс ,в котором я каждую конкретную страницу от индексации закрывал, правда не только, группы страниц там тоже есть.
navik вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 19:10. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны