Спасибо за ссылку, но это немного не то. Мне нужен не сколько сам парсер, а генератор robots.txt по результатам парсинга. Чтобы вручную не забивать в robots.txt исключенные для индексации страницы.
Точно такая же проблема. Было добавлено несколько уникальных статей на молодой сайт, тематика строительство, выдача региональная. Плотность ключевиков 4-5%, еще были прописаны адекватные метатеги для каждой страницы отдельно без поискового спама в них, проведена перелинковка. Больше не делалось ничего. После индексации контента и последующего апа позиции упали, но тоже не все, а как-то выборочно. Ссылки на сайт пока еще вообще не покупались, по каталогам прогона не было. Проанализировал конкурентов, у них существенных изменений и перемещений в SERP не заметил.
Молодой сайт, тематика строительство. Пару недель назад были добавлены уникальные статьи для людей, но и с учетом ПС, заточенные под 1-2 геозависимых ВЧ каждая статья, плотность 4-5 % и произведена перелинковка и мета-теги были прописаны для каждой страницы. До этого был только один текст на главной с ключами, но не портянка. Ссылки не покупались. Результат страницы проиндексированы, но падение после этого апа большинства продвигаемых запросов на которые были добавлены статьи - 10 -50 позиций и больше. У меня первый раз идет падение позиций после добавления довольно качественного контента.
Может снизить плотность ключевиков?
