- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Всем здравствуйте!
Коллеги, имею следующий воспрос:
Однажды на мой сайт "напал" Яндекс... :)
прошелся по нему, причем, ходил по ссылкам подставляя кругом конструкцию вроде -
_ttp://www.mysite.com/path/to/file/my_id?SNS=f3a56ae5d2b3cddea9851c1c180896b3
Что же это за выделенная конструкция ? :confused:
Похоже на какой-то яндексовский session id или что-то в этом роде...
Информации о нем что-то я нашел очень немного.
Где-то посоветовали поставить в .htaccess:
# Anti Yandex SNS !!!
php_flag session.use_trans_sid off
php_flag session.use_only_cookie on
php_flag session.auto_start on
#
Ставил...
Сейчас пока(?) не могу сильно оценить эффект, но в результатах поиска на Яндексе у меня сейчас стоит множество УРЛ-ов в этим "SNS".
Все бы ничего, но подобные посещения генерят в моей CNStats кучу "посетителей" по "уникальным" страницам, которые таковыми, естественно не являются и со статистикой у меня сейчас полнейший бардак.
Подскажите, плиз, во что же я вляпался :rolleyes: и что делать в таких случаях...?
Спасибо.
Сейчас пока(?) не могу сильно оценить эффект, но в результатах поиска на Яндексе у меня сейчас стоит множество УРЛ-ов в этим "SNS".
И они будут всегда стоять, т.к. будут отдавать код 200, если вы не запретите эти урлы.
Добавьте в robots.txt на сервере такую запись:
P.S. надеюсь правильно написал.
или при запросе таких страниц отдавайте код 404, 403 или 301
Однажды на мой сайт "напал" Яндекс...
прошелся по нему, причем, ходил по ссылкам подставляя кругом конструкцию вроде -
Это не он подставляет, а твой движок
И они будут всегда стоять, т.к. будут отдавать код 200, если вы не запретите эти урлы.
Добавьте в robots.txt на сервере такую запись:
P.S. надеюсь правильно написал.
или при запросе таких страниц отдавайте код 404, 403 или 301
Ух ты, robots.txt научился понимать wildcards ?:) Не надо говорить неправду..
А товарищу надо сделать две вещи:
- настроить у себя на сайте чтобы не генерился этот SID
- и поставить счётчик например liveinternet, в котором есть функция отрубания любой фигни в url
Ух ты, robots.txt научился понимать wildcards ? Не надо говорить неправду..
Ну для начала, скажите, что такое wildcards?
Так же, я сейчас прочитал несколько статей про robots.txt, и помоему я все таки был прав.
и если имелись ввиду поддериктории, то посмотрите http://www.w3.org/robots.txt
а если имелся ввиду знак вопроса, то посмотрите http://www.yandex.ru/robots.txt
- настроить у себя на сайте чтобы не генерился этот SID
Этого не достаточно, т.к. те урлы которые уже есть в Яндексе, так там и остануться. Т.к. будут отдавать 200 код.
- и поставить счётчик например liveinternet, в котором есть функция отрубания любой фигни в url
Да и при чем тут счетчики, если человек уже пользуется CNStats, к тому же платной.
Ух ты, robots.txt научился понимать wildcards ?:) Не надо говорить неправду..
А товарищу надо сделать две вещи:
- настроить у себя на сайте чтобы не генерился этот SID
- и поставить счётчик например liveinternet, в котором есть функция отрубания любой фигни в url
1) Читаем описание на формат robots.txt - он анализирует СОВПАДЕНИЕ части URL. Сработает.
2) Если сайт отдает наружу ссылки с SID -это очень плохо. Советую убрать и для пользователей.
1) Читаем описание на формат robots.txt - он анализирует СОВПАДЕНИЕ части URL. Сработает.
Спасибо, что подтвердили. А то после фразы DjOnline, начал перерывать всю документацию по robots.txt
albion, угу, wildcards зло. Почти такое же как глюки кеширования...
;) BigBrother
1) Читаем описание на формат robots.txt - он анализирует СОВПАДЕНИЕ части URL. Сработает.
Небольшое дополнение - части, с которой начинается URL:
Disallow
The value of this field specifies a partial URL that is not to be visited. This can be a full path, or a partial path; any URL that starts with this value will not be retrieved.
http://www.robotstxt.org/wc/norobots.html#format
my_id - это не слово, это цифры, которые всё время разные.
Именно поэтому нельзя написать Disallow: /path/to/file/my_id?SNS - это правило никогда не сработает, потому что такого url именно с текстом my_id в url в чистом виде не бывает.
Именно поэтому нельзя написать Disallow: /path/to/file/my_id?SNS - это правило никогда не сработает, потому что такого url именно с текстом my_id в url в чистом виде не бывает.
ну для начала - вы уверены, что my_id это не текстовая часть url, а изменяющаяся переменная?
Был показан пример, URL - где my_id идет чистым текстом.
_ttp://www.mysite.com/path/to/file/my_id?SNS=f3a56ae5d2b3cddea9851c1c180896b3
и соответственно в данном случае Disallow: сработает.
А если это действительно так, то можно поступить так, как ниже написал wolf.