- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Необходимо собрать список страниц которые есть в индексе Яндекса, сравнить с нужным списком страниц, отфильтровать страницы ошибок, дубли и прочую чепуху, тем самым отдавать Яндексу только правильные и нужные странички. Отсюда вопрос >>>
Как можно вытянуть из индекса яндекса свыше 1500 страниц сайта?
При использовании обычного поиска - он не выдаёт свыше 1000 страниц.
При использовании XML, запросом вида "site:http://www.site.ru", он сообщает, что найдено 1597 по моему сайту, но отдаёт только 1 ссылку. Если же вбить просто любое слово, то возвращает нормальный результат по 10 ссылок на страницу.
Спарсить страницы сайта, и чекать каждую на индекс. Я больше 1к (ну чуть больше) не даст, даже если парсить страницы при различных поисковых запросах в пределах одного домена.
поищите слова вариаторы для парсинга
Белый Ум добавил 09.02.2011 в 15:53
Спарсить страницы сайта, и чекать каждую на индекс
Вариант
Я больше 1к (ну чуть больше) не даст, даже если парсить страницы при различных поисковых запросах в пределах одного домена.
как это не даст? допустим слово ложки есть только на 1 странице сайта они и покажется. Осталось найти много таких слов, и объединить их выдачу.
Можно парсить по разделам на сайте, например
http://yandex.ru/yandsearch?text=http://newsland.ru/news&site=newsland.ru&lr=46
http://yandex.ru/yandsearch?text=http://newsland.ru/page&site=newsland.ru&lr=46
подойдет, но ограничение на 1000 ссылок в результатах поиска по 1 запросу и здесь не обойти.
Можно парсить по разделам на сайте, например
http://yandex.ru/yandsearch?text=http://newsland.ru/news&site=newsland.ru&lr=46
http://yandex.ru/yandsearch?text=http://newsland.ru/page&site=newsland.ru&lr=46
подойдет, но ограничение на 1000 ссылок в результатах поиска по 1 запросу и здесь не обойти.
Это нужно в ручную настраивать а автоматом можно например по дате.
По дате автоматом с разницей в 1 день можно даже с вики вытащить огромное количество за день 300 за день 100