- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
mlu, если бот поменяет сервер прописки, то бан по ip станет бесполезным.
Я прекрасно понимаю, что это не выход из ситуации и что сменить айпи очень легко, про прокси вообще молчу :) Я просто глянул логи десятка сайтов на 4 серверах. Под своим юзер-агентом в прошлом году они ходили с айпи 85.17.82.87, в этом году с айпи 95.211.81.86
А как Вы определили, что без юзер-агента зашёл именно соломоновский паук? Только по ip?
Бот зашёл на www.site.ru под своим UA, потом он же зашёл без UA на корневую страницу у домена с www и без www, а после бот уже начал обходить все страницы сайта
а что с ним?
Solomono добавил 16.04.2011 в 00:26
уточните, пожалуйста
пишет "Сохраненная копия данной страницы сейчас недоступна. Попробуйте зайти позже."
Solomono, прочитал топик. Вам задавали вопросы по поводу запрета индексации, Вы как-то вполне успешно их игнорируете.
Сегодня забанил в фаерволлах бота с айпишкой, 95.211.81.86, прикидывающегося solomono. Есть ли способ цивилизованно отключить индексацию через robots.txt?
Указания в robots.txt роботом пока не учитывается. "пока", потому что есть прекрасное понимание вебмастеров, которые по тем или иным причинам не хотят раскрывать информацию по внешним ссылкам, и есть устойчивое желание учесть их мнение.
Solomono добавил 18.04.2011 в 11:13
пишет "Сохраненная копия данной страницы сейчас недоступна. Попробуйте зайти позже."
Сохраненная копия страницы не показывается с прошлой осени. Вы не могли бы уточнить путь, по которому вы ее нашли?
http://solomono.ru/ :)
На главной странице вашего сайта это показывалось - почистил кеш браузера и прошло
http://solomono.ru/ :)
спасибо :)
есть устойчивое желание учесть их мнение
Т.е., вы выбрали "белый" путь?
Следует понимать, что с таким подходом сервис потеряет привлекательность для многих пользователей (если не для большинства).
Т.е., вы выбрали "белый" путь?
Следует понимать, что с таким подходом сервис потеряет привлекательность для многих пользователей (если не для большинства).
Похоже, что так. Доводы за и против, в том числе приведенный вами, склоняют скорее к индексации по приемлемым всеми правилам. Если ничего не изменится, в ближайшее время я укажу в данной ветке нужную директиву для SolomonoBot.
а когда базу будете обновлять? и какая у нее сейчас актуальность?
а когда базу будете обновлять? и какая у нее сейчас актуальность?
сейчас идет постепенное обновление.примерно через 3 недели актуальность должна составить в среднем для всех документов 2 недели, и впредь будем ее придерживаться.
по разным причинам сейчас показываются данные 1-6 месячной давности. В среднем 3 месяца.
класс :))))