- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Итог 18.09.15
Проггер за штуку баксов в час запилил мне паука, чтобы страницы доров закешировались (потому как я ранее говорил, контент распарсивается в момент захода на страницу). Думаю, кол-во индекса значительно увеличится. Сейчас средний индекс на новый дор = 1 стр.
extruder, купил пачку аккаунтов, примерно 300шт., программа автоматически после 8 урлов перелогинивается под другой аккаунт, если аккаунт под лимитом, снова перелогиниваемся. Вот и все.
что за прога ?
Итог 15.09.15
Долго разбирался сегодня с партнерками. Поставил прогон софтом X. Как ни крути, доры в индекс заходят, но заходят на малое число паг. Нужно что-то, чтобы забивать их в индекс.
Софт X - это то самый чудо софт от ботмастера который здесь не принято упоминать ?
Так,
по-моему я почти ничего не делаю. Что-то я расслабился.
+ Вопрос с кешем почти решен
+ Доры прогнаны
Буду дальше пилить, ничего не остается :)
Итог 18.09.15
Проггер за штуку баксов в час запилил мне паука, чтобы страницы доров закешировались (потому как я ранее говорил, контент распарсивается в момент захода на страницу). Думаю, кол-во индекса значительно увеличится. Сейчас средний индекс на новый дор = 1 стр.
Вы забиваете гвозди микроскопом!
Дор должен самокешироваться, но боты должны видеть только сгенеренные страницы.
Вы забиваете гвозди микроскопом!
Дор должен самокешироваться, но боты должны видеть только сгенеренные страницы.
смотря сколько стоит генерация контента. если дорого (бегать за контентом в интернет), то конечно закешировать.
а если быстро и легко сгенерить на сервере, то кеш нафег не нужен..
сгенерил на лету и забыл.
Кто-нить в теме?
1) Больше скольки запросов в секунду при парсинге снипетов Bing не выдает результат?
2) Есть ли какая то прога для сервака для туннелирования запросов (к Bing'у), которая меняла бы прокси автоматически?
да бинг вроде не банановый, надо давать ему куки для его записей а потом удалять их и менять юзер агент
Кто-нить в теме?
1) Больше скольки запросов в секунду при парсинге снипетов Bing не выдает результат?
2) Есть ли какая то прога для сервака для туннелирования запросов (к Bing'у), которая меняла бы прокси автоматически?
http://www.bing.com/toolbox/bingsearchapi
нарегай акков и парсь текст сколько надо.
http://www.bing.com/toolbox/bingsearchapi
нарегай акков и парсь текст сколько надо.
без акков этих хотите сказать банит бинг?????
Get-запросами в Zennoposter без эмуляции браузера в 200 потоков так и не словил капчи за час. Тоже не вижу смысла в API. Правда парсил релевантные страницы в пределах сайта а не обычную выдачу.