Как самому собрать базу сайтов для размещения бесплатных ссылок

1 тиц50, як, домен 2006 г.

2 тиц120 як 2006 г

3 тиц240 2006г (Оо опять)

нашел по одному запросу в яндексе, я правильно понял стратегию?

Вот только этот сайт нормальный, у остальных профили закрыты

IndigoMan добавил 29.11.2010 в 08:28

Закрыты они я так понимаю через robots.txt ?

IndigoMan добавил 29.11.2010 в 08:35

А почему, например, этот не подходит?

robots.txt - там у ничего не закрыто от индексации.

в исходнике HTML я не нашел ни noindex, ни nofollow, каким образом профили закрыты от индексации у них?

Да ошибся он подходит, но так же там не все профили в индекс попадают, надо их скармливать

Второй посмотрел - тоже нету в роботс запрета, но есть сам файл роботс, вы проверяете его наличие и за счет этого сразу отбрасываете?

Скармливание я так понимаю второй этап какой-то? Добавление в аддурилку - это оно?

Запрета нет, но Яндекс там не индексирует профили

Пример профиля один

Пример профиля два

Значит запрос не тот, иди лучше для теста и набивания руки в яндекс каталог.

Там бери любую тему и смотри сайты, так же ссылку на профиль пробую в ящу или сразу в аддурилку. Пробуй так с любым профилем, а потом уже смотри на ноиндекс

Как же так, а это тогда что ?

IndigoMan, Не знаю, я занят сам базу собираю