Александр

Александр
Рейтинг
371
Регистрация
17.07.2009
Ivan Glukhov:
открыть в роботсе, он их проиндексирует с ноуиндекс, затем закрыть в роботсе.

Потом он опять их заново проиндексирует. Было уже такое. Но за совет спасибо.

LazyBadger:
Шо, рили?!

Я имел в виду, что гугл показывает всего 5 страниц, т.е. 50 сайтов. И среди этих сайтов моего нет.

fliger:
Если у вас есть шаблон используемых на сайте URI, создайте переменную allow_uri:

SetEnvIf Request_URI ^ШАБЛОН_URI$ allow_uri

Order Deny,Allow
Deny from env=!allow_uri

Альтернатива - создать переменную по шаблону запрещенных URI, если не знаете, какие URL будут использоваться на сайте.

вот это точно отработает!

imasiter:
А почему бы не использовать и то, и другое одновременно?

Вроде как одновременно не выйдет. Т.е. если гугл проиндексирует страницу, а потом её закрыть в роботс, то она будет болтаться как г, в проруби.

---------- Добавлено 16.02.2020 в 20:45 ----------

Kenji:
Видимо, вы закрыли эти страницы в роботс уже после индексации. На форумах гугла говорят, что ничего страшного в "Indexed, though blocked by robots.txt" нет - это стандартное предупреждение, чтобы вы проверили, не случайно ли страница оказалась закрытой в роботс.

именно так и было.

tylatong:
страницы комментов - однозначно закрываю в роботах , т. к они не несут вообще никакой ценности

так гугл ругается, говорит открой, ведь я всё равно проиндексировал. Рекомендует использовать тег, а не файл.

tylatong:
По опыту, страницы noindex индексируются очень редко, поэтому они хоть и используют бюджет, но незначительно. К примеру, у меня пагинация закрыта noindex, робот видит полноту категории, сканирует ее и учитывает. Обычные страницы посещает ежедневно, там где noindex - 1 раз в 6-20 дней. Если закрыть роботом, то полноту категории робот не увидит.

А как быть с коментами. т.е. есть страница (site.ru/page) на ней 50 коменнтов, и у каждого ссылка "Ответить на этот коммент" (site.ru/page/comment1, site.ru/page/comment2 и т.д). Есть смысл закрывать в роботсе /comment* или использовать теги?

-= Serafim =-:
Ну так берете сервис типа серпстата или keys.so и смотрите какие страницы соотвествуют запросам, есть ли они физически.

Берете все файлы и на локале проверяете антивирусом, вполне возможно найдете шелл. А лучше отдайте специалистам.

сепстат левых запросов не показывает.

На локали проверяю регулярно, ничего подозрительного нет.

---------- Добавлено 16.02.2020 в 09:21 ----------

kmcon:
+100

Было подобное, когда взломали и сапу залили. Проявления такие же.
Яндекс ничего, а гугл на разные безобидные статьи ключи показывал от "трусики порно" до "голубые розы".
Я тогда еще в псевдонимах порнозвезд очень свои знания подтянул :D пока разбирался.

на такие вещи уже проверил.

---------- Добавлено 16.02.2020 в 09:22 ----------

Тарасов Роман:
Вроде все проверил, но что-то упускаешь. Если бы блогу было несколько месяцев, я бы проверил, что на домене до него было. Мне попадался туристический сайт, который показывался по финансовым запросам, но там буквально перед этим несколько лет висел финансовый сайт. Может и тут также? Хотя за два года по идее должно было все уйти.

история домена ясна, не было там ничего на нём.

---------- Добавлено 16.02.2020 в 09:25 ----------

timo-71:
В топ 500 есть по этим ключам?

по запросу "система мониторинга расхода топлива поездов" в гугле всего 5 страниц, моего бложика там нет.

---------- Добавлено 16.02.2020 в 09:26 ----------

Top for the good:
aleksandrbol, Сталкивались. Могу пояснить почему, но за деньги. Яша правда обогнал по качеству поиска гугл

спасибо, учту.

-= Serafim =-:
Потому что дорвей залит.


CMS к защите отношения не имеет. Могли взломать соседей по хосту, если права коряво настроены. 99%, что взломали и шелл залили.

Я на шареде, так что такое вполне возможно. Как можно проверить? Ну должны же в поиске (сохранёнки как вариант) хоть какие-то следы от этого быть?

artgateer:
Может тема взломана?
Может она Гуглю что-то своё подставляет?

Перепроверено 100 раз, все файлы темы знаю как свои пять пальцев. К тому же сайт на Друпале, там с безопасностью чуть лучше чем в Вордпрессе.

За наводку спасибо, перепроверю.

---------- Добавлено 15.02.2020 в 20:26 ----------

petrov-I:
Я бы начал с проверки безопасности. Продолжил бы анализом контента сайта (в том числе - с отключением css).
Да, Гугл не годится для коммерческих запросов. Да, он хуже понимает кириллицу. Но если страница имеет видимость по настолько левым запросам - это проблема, и надо искать причины.
Собственно, я предполагаю взлом с инклюдами, скрытыми средствами css. Тема старая, но ещё рабочая.

Безопасность проверяется регулярно, в том числе с помощью просмотра недавно сохранённых/изменённых файлов. Регулярно скачиваются все файлы на локаль и прогоняется через антивирь. Вот прямо сейчас ещё раз прогнал.

petrov-I:
Собственно, я предполагаю взлом с инклюдами, скрытыми средствами css. Тема старая, но ещё рабочая.

Если не сложно, дайте ссылку как работает этот метод, и как его выявить. В логах сервера вижу левые запросы, но на проверку они безобидные, так как скрипт сайта либо возвращает 404, либо 403.

Вообще-то всё что получается через get запрос фильтруется. Сайт на Друпале, само ядро регулярно обновляется.

---------- Добавлено 15.02.2020 в 20:34 ----------

Anamnado:
aleksandrbol, есть только одно мнение связанное c тизерами на вашем сайте.. - а так как они меняются... индекс гугля схватил то что моргнуло в момент обхода роботом а тизер сменился - вот вы и не находите этот текст...
(гугл уже давно видет все что выводится с помощью JS - если что)

и вот как раз не глупее
JS долгое время позволял проворачивать всякие махинации типа клоакинга за спиной ПС
вот у Гугля кончилось у Я не знаю. как вы горите похоже что не кончилось..

Рекламы на сайте нет, чужого кода тоже. Есть библиотека jQuery, но она последней версии.

---------- Добавлено 15.02.2020 в 20:36 ----------

AfterWar:
Я бы поискал скрытые ссылки и base64 код и "попереходил" на сайт с G поиска чтобы referer сохранялся.

html код проверяю регулярно, никаких левых ссылок не вижу. С поиска регулярно переходу, никаких редиректов нет.

petrov-I:
Взоржалъ.
Может, с сосайтом что не так?

Можете сказать/предположить что не так с сайтом, хотя бы предположение?

Заранее благодарен за ваши мысли.

Всего: 4095