Проиндексировано, несмотря на блокировку в файле robots.txt

12 3
R
На сайте с 15.11.2013
Offline
83
609
Проблемы в покрытии,  проиндексировано, несмотря на блокировку в файле robots.txt. Но проблема ещё в том что тех страниц на которые гугл ссылается у меня на сайте не существует. Подскажите пожалуйста как исправить?
G6
На сайте с 12.07.2007
Offline
160
#1
rodjers :
Проблемы в покрытии,  проиндексировано, несмотря на блокировку в файле robots.txt. Но проблема ещё в том что тех страниц на которые гугл ссылается у меня на сайте не существует. Подскажите пожалуйста как исправить?

Наверно страницы с GET параметрами в урле?

Виктор Петров
На сайте с 05.01.2020
Offline
240
#2
Как минимум стоит подумать, откуда эти страницы нарисовались. Я бы начал с анализа логов, там многое может вскрыться - плагины, генерирующие какие-то URL-прокладки, переходы по левым (или давно мёртвым) ссылкам, активность каких-то зловредных ботов - всё это может влиять на сканирование гуглоботом. И по фактам уже думать, как это утилизировать, или игнорировать, или исправлять. Что-то можно редиректнуть, что-то - заблокировать.
Ну а вообще проблема не очень важная чаще всего, если не индикатор реальных проблем с техничкой.
R
На сайте с 15.11.2013
Offline
83
#3

Когда у меня сайт был на http, в поиске появились похожие ссылки моего домена с несуществующими адресами при переходе по ним перекидывало на чужой сайт с продажей наркоты. Я перевёл сайт на https, стало переадресовывать на мой сайт. Некоторые ссылки исчезли из поиска. Я создавал топик там всё описанно https://searchengines.guru/ru/forum/969118

Перенаправление на не безопасный сайт - Безопасность - Сайтостроение - Форум об интернет-маркетинге
Перенаправление на не безопасный сайт - Безопасность - Сайтостроение - Форум об интернет-маркетинге
  • 2021.03.01
  • searchengines.guru
В яндексе в поиске забиваю название сайта и он выдаёт на первой позиции главную страницу моего сайта с перенаправлением на чужой сайт, пробую...
R
На сайте с 15.11.2013
Offline
83
#4
garry69 #:
страницы с GET параметрами в урле

Да  ?prefix_id=6&order=title

Vladimir
На сайте с 07.06.2004
Online
530
#5
rodjers #:

Да  ?prefix_id=6&order=title

На не существующие страницы, должно отдаваться 404
Тогда не надо будет писать такие топики

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
R
На сайте с 15.11.2013
Offline
83
#6
Vladimir #:

На не существующие страницы, должно отдаваться 404
Тогда не надо будет писать такие топики

Перебрал весь htaccess нашёл редирект

# Редиректы с index.php на сайт

RewriteBase /

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ / [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule . /index.php [L]

Если его убрать то при переходе на те адреса   Not Found. Но при чём тут  Редиректы с index.php на сайт не пойму, может htaccess показать? Но чёт не найду тут спойлера.

R
На сайте с 15.11.2013
Offline
83
#7

Вроде бы нашёл. В место выше показанного кода поменял на:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html)\ HTTP/

RewriteRule .* / [R=301,L]

petrov-I #:
Я бы начал с анализа логов

Я не знаю как их анализировать.

The WishMaster
На сайте с 29.09.2005
Offline
2543
#8
Роботс - это просто рекомендация. Все боты давно на неё чхали.
Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
Cuys
На сайте с 05.12.2016
Offline
195
#9
Голову не ломайте - по ahrefs в бесплатной версии проверьте, как бот пройдется увидите свои косяки.
R
На сайте с 15.11.2013
Offline
83
#10
Cuys #:
по ahrefs в бесплатной версии проверьте

Это как?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий