А зачем вам столько доменных имен?) ИМХО вам хватит - http://www.expire.biz/
deap, а вы работали в качестве оптимизатора? В связи с большим количеством поступающих заявков получается реальный мусорник, в котором не возможно найти подходящую площадку. В связи с ограничением количества отправляемых заявок стоит задуматься кому отправлять заявки, что в конечном счете положительно скажется на Вашем сайте, в ввиду уменьшения количества размещений не тематических ссылок.
Собствено, если проверять надо много, то регайте много ip в xml, проблем меньше, если же требуется разово, то скрипт не сложный, нужно только задержку правильную поставить (промахнетесь будите капчи получать, как показала практика 15 минутные, если после 1-й же остановится).
запрос к яндексу: inurl="site.ru\page.html"|inurl="www.site.ru\page.html" (без http, без / на конце, даже если есть).
В результате получаем страницу вида: http://yandex.ru/yandsearch?text=inurl%3D%22site.ru%5Cpage.html%22%7Cinurl%3D%22www.site.ru%5Cpage.html%22&lr=35
Качаем страницу, не хитрым регулярным выражением выдергиваем все ссылки, сравниваем все и исходной (с 2-мя исходными, www и без). Аналогичные дейсвия с xml, даже запрос тот же. Стоит учесть символы не записанные в RFC)
Тематику определить совсем не проблема, и никаких больших вычислений делать не надо. Учтем, что страницы сайта и так все есть в базе, значит и содержание есть (слова т.е.), достаточно применить ко всему этому доверительную сеть Байса и тематика определена.
alex_f, этот вариант совершенно не подходит, редиректа вообще нет, а какой склейке может идти речь, не говоря уже о доступности файла robots.txt
Buc, в моем случае этот вариант не подходит, но согласен, что он более корректный :) Вариант подходит для маленьких сайтов, даже для среднего сайта, вариант слишком накладный, слишком уж много страниц создавать прийдется.
Пищу для размышления получил. Все будет сделано:)
Boyan08, сие бред. Страницы эти вообще удалить проще)
Harter, 3-й пункт это завуалированное предложение забанить сайт окончательно?)
Все таки в гугле он есть и ладно, платонов все равно доконаю) относительно скоро откроется биржа заточенная под гугл, туда и запихну.
AlMul, Согласен только на счет порядка страниц) остальное бред. Если бы вы работали с друпалом, знали бы что это тип «Book», не сложно догадаться как переводится. А теперь вопрос. Книги пишутся для кого?
alesty, зря вы так пессимистично.
Я то знаю, что пишу. Вы бы лучше проверили, прежде чем нападать :)
Собственно скрывать не чего, дабы устранить сомнения, вот пример:
http://terem-online.ru/
http://terem-online.ru/robots.txt
Могут возникнуть сомнения, вроде того, что обрабатываются txt файлы, попробуйте что-нибудь вроде:
http://terem-online.ru/lkjlkjlkjklj.txt или http://terem-online.ru/robot.txt
Не суть важно как клиенты обрабатывают, хотя опера, мозила и IE корректно. Важно чтобы робот получил доступ, а он его получит, ибо тут не в php файле дело, а в htaccess.
У меня аналогичная ситуация, тоже интересно :)
Правда я использовал другой метод редиректа, суть таже, только для поисковиков я оcтавил rotobs.txt. В описанном выше варианте редирект будет всегда.
Вот мой вариант:
Раз уж спросили :)
Раньше зеркал не было. Сайт Б был и есть самостоятельный сайт, в индексе полно страниц :)
Какая разница, что там было, главное что там щас :)
