- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую. В дорвеях, я можно сказать новичек, но некоторый опыт имеется.
Сегодняшний АП принес некоторые неприятные для меня известия, которые я хотел бы обсудить с более опытными дорвейщиками.
Итак, после сегодняшнего апа несколько новых доров (еще не успели попасть в индекс) попало в бан (адурилка говорит, что сайт запрещен к индексации). На одном доре увеличелось количество страниц в индексе.
На всех забаненых дорах стояла прямая ссылка на тдс-ку. На том доре который из индекс не выпал - ссылка стоит через яваскрипт.
Вопрос №1, который я задал сам себе - палит ли яндекс прямую ссылку на тдс-ку, редирект с нее?
Проанализировав логи веб-сервера обнаружил из интересного вот такого бота:
77.88.58.241 - - [01/Sep/2009:07:19:42 -0500] "GET /tds.php?id=x HTTP/1.1" 302 - "-" "YandexSomething/1.0"
77.88.58.241 - - [01/Sep/2009:12:27:17 -0500] "GET /tds.php?id=x HTTP/1.1" 302 - "-" "YandexSomething/1.0"
Погуглив ходит информация, что это "индексирующий новостные потоки партнеров Яндекс-Новостей". Как видим - это не совсем так. Т.к. моя тдс-ка не является новостным потоком =).
Возможно что так яндексоиды обозначают группу ботов, предназначение которых разнообразно (даже название намекает - Яндекс.Что-то) =).
Ходил он через тдс-ку за 2 недели примерно 300 раз.
И что еще интересно, этот же бот (YandexSomething и с этим же айпишником) заходил на 2 сайта на который льется траф с тдс-ки.
Конечно это может быть совпадением, поэтому спрашиваю - замечал ли кто-то что-то подобное за этим ботом?
Что интересно, этот же YandexSomething отметился на некоторых дорах которые вылетели, а на некоторых - нет.
На том доре который в индексе - тоже он был.
В общем одни вопросы =).
GrOm! добавил 17.09.2009 в 23:01
Вот еще нашел про этот бот: http://habrahabr.ru/blogs/yandex/62731/
Смысл:
4. User-Agent отдавался «YandexSomething» и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы забыли изменить дефолтное представление. Ошибку исправили, спасибо, робота поставили в угол.
Конкретно что за поисковый бот - не сообщается.
Возможно в моей ситуации у хитробота юзерагент отвалился или еще у какого-то нестандартного бота.
YandexSomething
не связан с баном доров ну никак. имхо
Бегает до сих пор по сайтам
он и по белым сайтам бегает, обычный бот.
В тот раз о котором написано на Хабре, I-bot представлялся как YandexSomething. В последнее время действительно заметил, что на многих моих дорах он бывает где-то 1-2 раза в день. Раньше он любил заходить после добавления дора в адурилку для блогов, сейчас приходит без приглашения =). С вылетом доров из индекса он точно не связан, ибо где он был, все в индексе.
И что удивляться? У дора судьба такая - вылететь, день, год... вопрос во времени...
Конкретно что за поисковый бот - не сообщается.
Возможно в моей ситуации у хитробота юзерагент отвалился или еще у какого-то нестандартного бота.
а вы экспериментируйте, сделайте парочку сайтов, проведите эксперименты, к примеру такие:
1) заблокируйте всех ботов яндекса, кроме D, I бота (причем D бота тоже можно заблокировать сразу после того как в аддурлилку добавите):
- в одном варианте выдавайте 404
- в другом варианте дропайте коннект
- в третьем варианте выдавайте страничку без ссылки\редиректа на TDS
2) многие считают, что доры палятся через Яндекс.Бар, ну так в UserAgent'е у браузеров дописывается элемент YB, который означает присутствие этого яндекс бара, следовательно всем юзерам у которых в UserAgent'е есть такие буковки, выдавайте страничку без ссылок\редиректов на TDS
сделайте пару доров, в которых всегда будет выдаваться страничка заглушка в стиле 404 всем, кроме:
1) проверенных по UserAgent'у адекватных юзеров и ботов
2) проверенных по referer'у (т.е. отсеиваем всех, кто пришел не с поисковой выдачи)
3) проверенных по таким элементам как "Accept-Encoding: gzip,deflate", просто смешно выглядит бот прикинувшись FF 3.5, а при этом не поддерживающий gzip :D
и поэкспериментировав придете к ответам на многие свои вопросы :D
И что удивляться? У дора судьба такая - вылететь, день, год... вопрос во времени...
Да вылетел он до того как в выдачу попал, сразу 10 штук примерно.
Правда на одном IP.
Да не удалят. На моих СДЛ"ах тоже бегает...
он и по белым сайтам бегает, обычный бот.
Да бегает, но это не значит что это один и тот-же бот.
Как вариант (просто мои размышления, о которых я выше написал уже), что так могут представляться разные Яндекс боты (новостной, индексирущий, еще какой-то).
Не паронойте, обычный бот который забрел на ваш дор.
Не паронойте, обычный бот который забрел на ваш дор.
Не просто на дор, на тдс-ку и прошел по ней дальше -> на конечный сайт.