- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Банят ли они, как Яндекс? Прокси отлавливают?
В их robots.txt всё запрещено-
User-agent: *
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalog_list
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
[This message has been edited by euhenio (edited 14-01-2002).]
Вообще-то, насколько я понимаю, robots.txt делает запрет на индексацию, а не на посещение страницы роботом. Это Яндекс у нас такой распальцованный. Так что я думаю, если твой робот не будет генерить огромный траффик (т.е. не будет использоваться в промышленных масштабах), то претензий к нему быть не должно.
Почитав внимательно A Standard for Robot Exclusion обнаружил, что все-таки robots.txt делает запрет на посещение роботом страниц сайта:
...
Disallow
The value of this field specifies a partial URL that is not to be visited.
...
[This message has been edited by wolf (edited 15-01-2002).]
[This message has been edited by wolf (edited 15-01-2002).]
Проще говоря, на фоне аоловских и прочих проксей он будет просто незаметен![]()
Спасибо!