senks777

igoreff,

проверяет хитро..

разношёрстная.. где-то - download, где-то - как, местами - смотреть..

полагаю, бан на взлёте "за компанию" с трафикодающими, юный дор может поймать по каким-то общим признакам в коде,

или методе исполнения который(ые) гугл может расценивать к примеру иначе..

..поиск в пс навёл на мысль, что гугл представляясь таким способом проверяет на клоаку..

Можно ли считать клоакой ajax, get, post подгрузку файла (до каких либо действий пользователя)?

Если, к примеру, в div подгружается файл с одинаковой информацией на все страницы (дабы исключить повторение текста в коде)..

или блок в сайт-бар..

Ребят, вам знаком такой финт гугла?

какой-то гугло-софт IMXO, на движке Trident заходит на главную (редко в пост) с IP принадлежащего гуглу,

подгружает связанные файлы как браузер (а так-же файлы подгружаемые из JS методами $.post, или $.get, или $.ajax)..

затем (обычно, но не обязательно) повторно бьет в один или несколько файлов, подгруженных через js, к примеру:

результат: в течении 30 минут - 1 часа бан с любым количеством трафа (1-2к или 2 хоста безразницы).

банит пачками в течении 2-3 часов, на разных IP с разным сроком жизни (мин. 7, макс. 250 дней)

Эта беда прицепилась с 9 сентября, никак не осилю в одиночку. Ребят, Подсобите Разобраться?

p.s. с 9.09 по 31.10 так ушли более 40 с хорошим трафом. Пусть мэил, яху, бинг им будет пухом.

p.s.s В своём анализаторе логов даже обозвал его Google-Trident-66:. Как только появляется это чудо - сразу бан.

бот яндекса регулярно обращается к забаненным урлам,

и к слову, так-же обходит урлы забаненных доменов, вплоть до отключения домена и после..

если домен дропнут и стал доступен - видимо "через нехочу".

попробуйте ежедневно мониторить логи по "yandex" - откроете для себя много полезного :)

Не говорите, что мене делать и я вам не скажу куда идти (с).

VHS, пожалуйста читайте внимательнее.. для вас повторюсь..

в большинстве случаев достаточно просто добавить новые url в адурл яндекса (гугл сам найдет)..

бот прибегает сразу с проверкой на 200 ОК (адурлим и смотрим лог, убеждаемся)

далее в течении двух-десяти дней, бот обычно повторно обращается к этим страницам (обращается - индексирует)..

(смысл вам искать "ересь" :) там, где её просто нет.. и снова логи)

верю.. да сам наблюдал.. да вот только у ТС яндекс уже выплюнул

чтож, спасать 301-м редиректом вместо устранения источника проблемы по вашему VHS, верное решение 🙄

Видимо тема исчерпала себя.

VHS

Яндекс сделал уже это за ТС.

Убитым урлам уже разноцветно, огромная или не очень эта гадость :)

Что делать? ТС

и снова индексация ... обычно гуглу достаточно за 1-3 дня, яндексу 2-10-....

Страницы имеют все шансы вернутся в выдачу по новым урлам.

Трафик по НЧ, если он был и страницы не изменялись, потихоньку восстановиться.

А главное навсегда избавились от запятой! Но помним, что есть и другие спец-символы.

urlencode().

Надеюсь количество и порядок выполнения задач ТС сможет определить себе сам ;)

Просто навело на мысль:

Боты теперь ежедневно копят ответы 404 по этим url-ам..

А тут вдруг!! Спустя время по некоторым кривым урлам появляется 200 OK и та-же страница что была и до ломки урла.

Для бота сломаный url стал новым url-ом на ту-же страницу, которая уже есть на его сервере..

Был битый 404 -> он-же стал новый 200 ОК ))

Смысл делать двойную работу?

Может проще для начала:

1. запретить/преобразовать сторонние символы в url для новых страниц?

Другими словами, поправить код в местах, где формируем||получаем url страницы

добавив в нужном месте urlencode(), или просто подменять налету запятую точкой (в месте формирования).

2. пытаться отловить ломаный url и перенаправлять 301-м редиректом "куда-то",

или подставлять "какой-то" - видимо пустая трата времени..

По сути, тоже самое, как просто сформировать и отдать новый url.

Лучше время "отлова" потратить на скармливание ПС новых url страниц..

хотя со временем боты и сами их найдут бегая по ссылкам сайта :).

на всякий случай для картинок с 1-2 запятыми в урле

RewriteRule ^(.+?)(,|%2C)(.+?)\.(jpg|jpag|png|gif)$ /$1.$3.$4 [L,QSA]
RewriteRule ^(.+?)(,|%2C)(.+?)(,|%2C)(.+?)\.(jpg|jpag|png|gif)$ /$1.$3.$5.$6 [L,QSA]

проверил на сервере - работает, с учетом того, что

Однозначно!!! Желательно на стороне сервера и все вытекающие проблемы - пуфф.. :)

А ловить каждый, неизвестно как, модифицированный/обрезанный url конечно можно,

но хлопотно 😒

вопрос не совсем ясен.. что точно вам нужно?

приведите примеры:

1. url - который хочу видеть в адресной строке для about

2. реальный url about

на вскидку:

RewriteEngine On

RewriteBase /

#склеить

RewriteRule ^index\.php/(.+)/$ /$1 [R=301,L]

#перенаправить

RewriteRule ^(.+)/$ index.php/$2 [L,QSA]

explode("\n", stripslashes(join("\n", $array)));

есть вероятность снижения затраченного времени на обработку массива, зависит от его величины,

такие моменты встречаются в php, тестируйте ;)

$n = 237;
function zeroN($n, $z) {
	if(!preg_match("~^[0-9]+$~", $n)) return $n;
	return str_repeat('0', $z-strlen($n)).$n;
}
echo zeroN($n, 6);

или просто без проверок:

echo str_repeat('0', 6-strlen($n)).$n;

или как Mad_Man

echo str_pad($n, 6, "0", STR_PAD_LEFT);

результат 000237