Проиндексировано, несмотря на блокировку в файле robots.txt

12 3
R
На сайте с 15.11.2013
Offline
63
591
Проблемы в покрытии,  проиндексировано, несмотря на блокировку в файле robots.txt. Но проблема ещё в том что тех страниц на которые гугл ссылается у меня на сайте не существует. Подскажите пожалуйста как исправить?
G6
На сайте с 12.07.2007
Offline
139
#1
rodjers :
Проблемы в покрытии,  проиндексировано, несмотря на блокировку в файле robots.txt. Но проблема ещё в том что тех страниц на которые гугл ссылается у меня на сайте не существует. Подскажите пожалуйста как исправить?

Наверно страницы с GET параметрами в урле?

Виктор Петров
На сайте с 05.01.2020
Offline
226
#2
Как минимум стоит подумать, откуда эти страницы нарисовались. Я бы начал с анализа логов, там многое может вскрыться - плагины, генерирующие какие-то URL-прокладки, переходы по левым (или давно мёртвым) ссылкам, активность каких-то зловредных ботов - всё это может влиять на сканирование гуглоботом. И по фактам уже думать, как это утилизировать, или игнорировать, или исправлять. Что-то можно редиректнуть, что-то - заблокировать.
Ну а вообще проблема не очень важная чаще всего, если не индикатор реальных проблем с техничкой.
SEO-аудиты для интернет-магазинов ( https://textarget.ru/seo-audit-sajta/ )
R
На сайте с 15.11.2013
Offline
63
#3

Когда у меня сайт был на http, в поиске появились похожие ссылки моего домена с несуществующими адресами при переходе по ним перекидывало на чужой сайт с продажей наркоты. Я перевёл сайт на https, стало переадресовывать на мой сайт. Некоторые ссылки исчезли из поиска. Я создавал топик там всё описанно https://searchengines.guru/ru/forum/969118

Перенаправление на не безопасный сайт - Безопасность - Сайтостроение - Форум об интернет-маркетинге
Перенаправление на не безопасный сайт - Безопасность - Сайтостроение - Форум об интернет-маркетинге
  • 2021.03.01
  • searchengines.guru
В яндексе в поиске забиваю название сайта и он выдаёт на первой позиции главную страницу моего сайта с перенаправлением на чужой сайт, пробую...
R
На сайте с 15.11.2013
Offline
63
#4
garry69 #:
страницы с GET параметрами в урле

Да  ?prefix_id=6&order=title

Vladimir
На сайте с 07.06.2004
Offline
449
#5
rodjers #:

Да  ?prefix_id=6&order=title

На не существующие страницы, должно отдаваться 404
Тогда не надо будет писать такие топики

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
R
На сайте с 15.11.2013
Offline
63
#6
Vladimir #:

На не существующие страницы, должно отдаваться 404
Тогда не надо будет писать такие топики

Перебрал весь htaccess нашёл редирект

# Редиректы с index.php на сайт

RewriteBase /

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ / [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule . /index.php [L]

Если его убрать то при переходе на те адреса   Not Found. Но при чём тут  Редиректы с index.php на сайт не пойму, может htaccess показать? Но чёт не найду тут спойлера.

R
На сайте с 15.11.2013
Offline
63
#7

Вроде бы нашёл. В место выше показанного кода поменял на:

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.(php|html)\ HTTP/

RewriteRule .* / [R=301,L]

petrov-I #:
Я бы начал с анализа логов

Я не знаю как их анализировать.

The WishMaster
На сайте с 29.09.2005
Offline
2526
#8
Роботс - это просто рекомендация. Все боты давно на неё чхали.
ПИШУ ТЕКСТЫ ДЛЯ ЛЮДЕЙ НЕДОРОГО. Тематики - туризм, СЕО, творчество, кулинария, шизотерика :) Лучший хостер и регистратор. Проверено. ( http://ukrnames.com/?ref_id=3599 )
Cuys
На сайте с 05.12.2016
Offline
151
#9
Голову не ломайте - по ahrefs в бесплатной версии проверьте, как бот пройдется увидите свои косяки.
Часть №1. 600 000$ за 4.5 года на скликивание без бана Google ADSense =>                 https://socpublik.ru/realnaya-istoriya- █▬██▀█▀-kak-zarabotat-na-sklikivanie-reklamy-za-4-goda-na-adsense-bolee-600-000-dollarov.php                 <= не нажимай на ссылку - а скопируй полностью!) 👈 Бесплатный пошаговый метод удаления сайта / страницы конкурента в Яндексе 👉 https://socpublik.ru/ (меню с правой стороны - раздел : 🧨2022🧨 Конкуренты) 👈 Реклама на 1 год за 350 руб: https://cuys.ru/banner.php?id=2 👈👉 Реклама на 3000 сайтах за 70 руб: https://cuys.ru/platnaya-reklama/
R
На сайте с 15.11.2013
Offline
63
#10
Cuys #:
по ahrefs в бесплатной версии проверьте

Это как?

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий