- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Извините за ругательства, без них просто не могу, поэтому буду по возможности шифроваться и использовать аглицкий :(
Рассказываю историю.
Жил был на моём сайте скрипт, который был не совсем корректно написан.
Дело в том, что плюс ко скрипту использовался mod_rewrite, а разделителем служил "/" и если передать на один параметр меньше/больше, то результирующая страница содержала заведомо неверные ссылки на тот же скрипт, причём исходные параметры суммировались - в итоге получалась бесконечная конструкция. И всё было хорошо до текущей недели (скрипт просуществовал около года) - никому из посетителей и поисковиков добавить/удалить параметр (директорию) в голову не приходило.
Но чёрт меня дёрнул проверить ситуацию, а что будет, если передать на один параметр меньше. Получилось то, что описано выше.
И всё было бы хорошо (рано или поздно я скрипт в любом случае поправил бы), но я пользуюсь баром от Яндекса. И бар спионерил эту кривую ссылку, после чего бот её исправно проиндексировал.
Но и на этом история не закончилась - один деятель опубликовал эту ссылку на форуме (за что ему отдельное большое спасибо). После чего я счёл необходимым _немедленно_ скрипт переделать и закрыть на всякий случай уже не существаующий путь через robots.txt. Тем не менее, с указанного IP вчера попёрла куча обращений к несуществующим документам. Я не долго думая запретил в ту директорию этому IP доступ. На какое-то время этот бот отсох, но в промежутке с 23 до 1 (сегодня) на меня обрушилась новая волна. Причём отлуп по полной программе этого дебильного бота не останавливает. Что самое обидное в этой ситуации - служба whois даёт что-то мало вразумительное (для меня) при попытке определить что это за шит на меня свалился :(
В общем пока не знаю что делать... О продолжении истории обязательно расскажу здесь же.
Ну, из сетки Looksmart`а ломится, как я понял.
Сетка AboveNet.
А что ты хотел в whois увидеть?
Да собственно то, что увидел ты. Я же получил вот такую фигу:
Блин, про nslookup я как-то забыл. Да это из looksmarta.
Mozilla/4.0 compatible ZyBorg/1.0 (wn.zyborg@looksmart.net; http://www.WISEnutbot.com)
Тупой бот. Я у кого-то в логах видел настойчивые попытки забрать robots.txt из поддиректории :)
Отписал разработчикам. Надеюсь, что они уймут своёго тупого бота.
Да собственно то, что увидел ты. Я же получил вот такую фигу:
Гм... Неудобно как-то...
Для получения информации о блоке ip сущетвует три базы, каждая охватывает свой диапазон.
whois.arin.net - Америка
whois.ripe.net - Европа
whois.apnic.net - Азиатско-Тихоокеанское дело
В данном случае запрашивать надо arin.
209.249.67.107.looksmart.net
Interitus
Сенькаю. Я почему-то думал, что ripe всех должон обслуживать.
Вобщем отписал я им, и они довольно оперативно отреагировали - за час придушили бота и прислали письмо с извинениями.
-сам ты деятель :) Сознаваться сразу надо было :)
В плане изысканий внутри whois крайне рекомендую вот эту машинку:
http://geektools.com/cgi-bin/proxy.cgi
В нее вводишь запрос и не заботишься, где искать результат. ;)
А мне больше нравится сервис Watson [Whoiz] на http://www.leader.ru/secure/
А мне больше нравится сервис Watson [Whoiz]
Ватсон - тоже хорошая система, но у Whois Proxy есть одно преимущество: если я ничего не пропустил, Ватсон предоставляет свой сервис только через web-интерфейс, в то время как Whois Proxy может выступать как whois-сервер, что крайне полезно для разработки какой-либо автоматики. ;)
Ладно, что-то я уже в оффтоп ушел...