Во блин! Склероз =) +1 Львиному Сердцу!
http://robotstxt.org.ru/ - читаем стандарт.
Рубите нафиг роботс до правильного размера.
Allow, как и Disallow, не является обязательной директивой
Жесточайший роботс =) Но работать будет, подтверждаю предыдущий ответ =)
Хотя копаться лень, возможно, что в таком обилии запретов появился какой-то файл, который отвечает за весь сайт. ☝
Рамблер - это первый и крупнейший каталог сайтов РУнета. Это не поисковая система в привычном понимании.
На месте создателей рамблера я бы вообще отказался от любого ранжирования, кроме как ответ на запрос (релевантность) + возраст в каталоге + клики (ну раз уж по молодёжи кликают, то наверное интересный сайт, поднимаем)
Тогда это была бы действительно качественная система поиска по базе каталога. И на сервера нагрузка меньше.
Берем нужный нам движок.
открываем базы сдл для внешних подключений
создаем каркас на движке и нужные таблицы тянем со всех сайтов.
бидебиде закрыли это после того, как кольца сайтов попали в черный список приемов раскрутки.
Подумай сам - это разве ссылки для пользователя? Их и видно-то только с подсветкой ноиндекса =), я бы не додумался даже смотреть выше, чем за 40 пикселей страницы - ибо там всегда (☝ дизайнеры всего мира, убейтесь) либо шапка, либо продажные ссылки, либо баннеры. По одному размещению уже можно сказать, куплена ссылка или нет. Не зря же в сапе ввели плюшку "сцылько в футере, насяльника, будима брати или в шайтан-чиэс?"
Согласен, нет ничего проще, чем дизассемблировать Хрумера и встроить в него поддержку яваскрипта. Ключевое слово там подчеркнуто.
Где моя табличка "сарказм"? 😂
Как говорится, хорошие идеи приходят в умные головы одновременно. Давно пользуюсь самодельными вопросами (типа "Динамо-ЦСКА 5:0. Кто победил?"). Вопрос подразумевающий логику мышления, чего у ботов пока нет и не будет ближайшие сто лет.
Такой антиспам можно ломать только постфактум, составив базы вопросов-ответов.
А другие места это где?
Да вот где! 😂Так вот чем дорвейщики на жизнь зарабатывают! То-то я думаю, что это вы порногейфорумами тут спамите 🍻😎
А смысл бесплатности? То есть не бесплатности, а отсутствия прямой платы за в принципе элементарный скрипт, который даже на Код.Гугл.Ком есть?
На сёрче я в альтруизм не верю 🙅
На 12000 показов (4 площадки по играм, музыке, компьютерам) 67 кликов за неделю.
Что-то не то... Было гораздо больше. Прочистил фильтры, попробую вытравить нерелеватную гадость (даже такое появилось)
Сейчас 5000+ полностью содранных страниц. И такой не один.
Удачно провел эксперимент по массовому тырингу.
За последний ап сожрало свыше 100 неуникальных страниц (созданы ... дней/недель/месяцев назад). Всего при организации очередной пачки неуникальных страниц (прямо раздел создавался) в течение ... планомерно закуплены ссылки. Закладки ориентированы на обладателей я.бара.
В индексе третий год. По очень многим запросам переклеилась выдача "слишком похожие страницы" на мой как первоисточник.
Одно ограничение: ГС юзер-френдли.
Всё реально.
Можете покурить это сообщение, чтобы понять, что должно отличаться у сайтов, чтобы их не "зоофилировали"
