- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть у меня на сайте раздел инструкций к различной технике, и под каждой из них есть ссылочка "Сообщить об ошибке", если на ней кликнуть, то на e-mail отсылается письмо с id-шником косячной инструкции. Прихожу утром на работу, а у меня 252 сообщения об ошибках в инструкциях. Думаю -- ну не лень кому-то было долбаться, трафик гонять. Смотрю ip-шник (он также с письмом приходит), а там вот этот паук:
a-lot-of-crowlers-of-an-amateur-search-engine-live-on-this-host.com.ua
Так собственно сам вопрос. Как мне его отучить делать такие гадости? Другие пауки так не делают.
Запрети эту ссылку в robots.txt. Если не помогает - выруби боту доступ через .htaccess (как в iis - не в курсе).
Miha Kuzmin, спасибо. В robots.txt наврядли, а вот про .htaccess и не подумал. Еще раз благодарю.
А это что - обычная ссылка, при нажатии на которую происходит действие, а не форма с POST?
Тогда паук вообще-то прав, а вернее, не виноват. :)
Да -- обычная ссылка. Но у других пауков я такого не замечал.
Да -- обычная ссылка. Но у других пауков я такого не замечал.
Скорее всего - пока не замечал. Робот честно думает, что по ссылке просто следующая страница.
Действия, приводящие к изменению чего-то, лучше на GET не делать.
Я бы переделал на сабмит с POST.
Probe, я пока делать этого не буду, дождусь Гугла, Рамблера или Яндекса, а потом проверю как они себя вели. О результатах обязательно сообщу.
Probe, я пока делать этого не буду, дождусь Гугла, Рамблера или Яндекса, а потом проверю как они себя вели. О результатах обязательно сообщу.
Сообщите... Если мыло еще работать будет :)
Шутник???
Да нет, тут скоро будет не до шуток :) гугль, slurp, рамблер, яндекс, апорт - и этот неполный список множим на 250 (или сколько там было) - нерадостная картина...
Да уж, прийдется почту на сервере прибивать. Благо он в метре от меня :)