Хоть это и за деньги - а все же Direct.Yandex - неплохой способ, тем более не очень дорого, а CTR можно хороший получить. А ссылками можно меняться не только с мебельными сайтами, но и с сайтами, посвященными, например, ремонту или домашнему хозяйству - ну то есть близкими по тематике, потому что мебельные сайты - это Ваши конкуренты.
Более-менее прояснилась. Спасибо. Будем думать дальше.
Ну хорошо, этот конкретный случай - maillist.ru , запрос - "рассылка"
Вот еще несколько ссылок:
Homepage Slurp: http://www.inktomi.com/slurp.html
Homepage Fast:
http://fast.no/support/crawler.asp
И еще ссылки на списки всяческих разнообразных роботов с robotstxt.org:
http://www.robotstxt.org/wc/active/html/index.html
http://www.robotstxt.org/wc/active/html/type.html
http://www.robotstxt.org/wc/active/html/contact.html
Это просто праздник какой-то!
Спасибо за список
И еще отдельное спасибо Vyacheslav Tikhonov за подсказку искать запросы robots.txt.
Во всяком случае, в нашем логе я нашла некоего "Yandex/1.03.000", который ходит с IP яндекса, сразу вглубь базы, и никакого запроса robots.txt я не нашла. Насколько я понимаю, он его должен запрашивать непосредственно перед проходом по сайту? Не запрашивает. Заранее - тоже не нашла (смотрели логи примерно за неделю). Будем искать дальше(уже интересно становится).
Может, этот Yandex/1.03 не есть робот Яндекса? А тогда как его зовут?
Ой, да, sorry...
У яндекса другой робот. Кстати, у меня сложилось впечатление, что вот он НЕ ЗАПРАШИВАЕТ robots.txt, а сразу по какому-то непонятному критерию идет вглубь каталога. Может, я чего-то не понимаю?
Прикольно!
У этих роботов вообще есть что-нибудь постоянное? Или имя, или IP? А то я пошла логи смотреть, и отловила Яндексовых роботов, именуемых Scooter и ia_archiver - кто-нть знает, чем они отличаются? А как звать Рамблеровских роботов? А то кого только не было - и Гугл, и Инктоми, и Аскдживс (никуда не сабмитились), а вот Рамблера не нашла
У нас время сессии - 20 минут. Это много?
