Проиндексировано, несмотря на блокировку в файле robots.txt

Vladimir
На сайте с 07.06.2004
Offline
427
#31
Балбесс #:

Подскажите нубу это где прописать надо? 

.htaccess

garry69 #:

Если на сайте нужны гет и не нужны только определенные, не лучший вариант. И почему 301, куда, зачем, как пс интерпритирует?

Какие проблемы исключить нужные? Например папка админ исключается
не нравится 301, пишите 404 какие проблемы?


Barnabas #:

Была идентичная проблема, у вас видимо сайт на WP и они спамят через строку поиска  site.com/?

Вам на хостинге надо собрать все страницы сгенерируемые  этим поиском и удалить, и поставить код ответа сервера 404

Потом закрыть уязвимость, через месяц уйдет из индекса.


Ну да спамер будет сидеть дальше молча, если у вас все открыто для инлексации?

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
ale sty
На сайте с 08.01.2011
Offline
175
#32
Насколько я помню, Гугл давно писал что robots.txt для него как-то не указ. Так что отправляйте эти страницы в 404 и не заморачивайтесь.
Vladimir
На сайте с 07.06.2004
Offline
427
#33
megaseo112 #:

Отправлял, бесполезно, их вроде было больше, одни удаляются, другие тут же появляются. Каждый день причем новые.

Так естественно, спамер тоже кушать хочет😂
А у всех один ответ, отправьте на переиндексацию....а закрыть совсем лень не позволяет?

PS поиск работать не будет? Вы наивны, кому он нужен на вашем сайте?
Крайнем случае, используйте яндекс поиск

D.iK.iJ
На сайте с 26.05.2013
Offline
198
#34
Правильный ответ был на первой же странице. Раз robots.txt Гуглу не указ, кроме него надо прописать  для поиска
<meta name="robots" content="noindex, follow">

И что, Вордпресс настолько прямой, что там нельзя сделать поиск через POST запрос, а не GET?

Ну ладно,  можно же проверить в скрипте реферрер обращения? Что-то вроде

if (substr_count(strtolower(getenv("HTTP_REFERER")), getenv("HTTP_HOST"))!==1){sleep (1); header("HTTP/1.0 301 Moved Permanently"); header("Location:/");die;}

И выкидывать нафиг (тут - на главную) если это не запрос с сайта или старый запрос. Заодно и страницы из индекса пропадут.

А еще, на PHP даже такой рукожоп как я может сделать список стоп-слов для поиска, добавить туда www. и проверять все запросы через цикл, массив и обычный strstr. И при совпадении слать всех лесом, полем и снова лесом.

Адаптивный дизайн в 2 строчки ( https://dikij.com/wm/adaptaciya-saytov.php ). + Принимаю заказы любой сложности ( https://searchengines.guru/ru/forum/926323 ). 💎 Еще я делаю классные кулоны с опалами ( https://mosaicopal.ru/ ).
sergey885
На сайте с 19.08.2002
Offline
248
#35
У меня сайты не на вордпресс. Часть страниц была закрыта в роботсе и с тегом noindex. В консоле гугл ругнулся. 
Начал гуглить и где-то прочитал чей-то коммент из гугла, мол, если страница закрыта в роботсе и ноиндексом, то это плохо, дайте мол роботу туда зайти, полноценно сожрать ноиндекс и делать там что он хочет. Ок, открыл в роботсе, послал валидейшен фикс, ждууу…
интернет-маркетинг. стратегии развития веб-проектов.
AR
На сайте с 21.03.2016
Offline
73
#36
sergey885 #:
У меня сайты не на вордпресс. Часть страниц была закрыта в роботсе и с тегом noindex. В консоле гугл ругнулся. 
Начал гуглить и где-то прочитал чей-то коммент из гугла, мол, если страница закрыта в роботсе и ноиндексом, то это плохо, дайте мол роботу туда зайти, полноценно сожрать ноиндекс и делать там что он хочет. Ок, открыл в роботсе, послал валидейшен фикс, ждууу…

Я кстати про это писал выше, удалил из роботса запрет на индексирование и отправил на проверку.

sergey885
На сайте с 19.08.2002
Offline
248
#37
Axa-Ru #:
Я кстати про это писал выше, удалил из роботса запрет на индексирование и отправил на проверку

И как? Все ок прошло?

AR
На сайте с 21.03.2016
Offline
73
#38
sergey885 #:

И как? Все ок прошло?

Все нормально, только проверка шла очень долго. Как я и выше писал не нужно запрещать через роботс, Гуглу на него пофиг. 

Y
На сайте с 08.08.2009
Offline
121
#39

Добрый день всем! 

На данный момент аналогичная проблема,  Проиндексировано , несмотря на блокировку в файле robots.txt

Сайт полностью вышел из индекса. Проверка показала что никаких блокировок в robots.txt и в тегах на страницах сайта не стоит.

Писать на форум google не вижу смысла, так как там уже куча таки вопросов со стандартными ответами((

Кто с таким сталкивался?

Виктор Петров
На сайте с 05.01.2020
Offline
226
#40
Yuji #:

На данный момент аналогичная проблема,  Проиндексировано , несмотря на блокировку в файле robots.txt

Сайт полностью вышел из индекса. Проверка показала что никаких блокировок в robots.txt и в тегах на страницах сайта не стоит.

Какая-то путаница, нет? Проиндексировано или деиндексировано?
Если сайт выкинуло из индекса - ищите причины, почему. От самых явных (блокировка по каким-то причинам - к примеру, у вас сайт госконторы, и Гугл решил её наказать) до проблем со сканированием сайта. Бывают ситуации, когда по какой-то причине Гугл кэширует устаревший robots.txt и не хочет видеть актуальный, или склеивает домен с какой-нибудь технической копией и т.п.

SEO-аудиты для интернет-магазинов ( https://textarget.ru/seo-audit-sajta/ )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий