LEGOLEG: Вот вы говорите, надо юзать неспаленные прокси. А что если юзать жестко спаленные прокси? например работать через трафик компрессор и иже с ним? ;)
Очень правильная мысль!
Кстати, отпадает проблема прокси серверов, которые не поддерживают POST запросы.
Он лучше всего работает как дор под гуглю :). Шучу. Но в каждой шутке есть доля шутки.
Тут надо сделать поправку на то, что я живу в Украине, как следствие к гуглу больше внимания... А вот для индексации в гугле или перенаправления трафика с гугла на нужный сайт лучше всего работает вонг - наверное как самый трастовый для Гоши. Но это опять-же глазами браконьера... все зависит от методов работы, под одни методы лучше один сервис, под другие - другой.
solnikolay: Какая разница регулярки/не регулярки? Можете хоть стандартными функциями обработки строк парсить. Главное алгоритм пока толковый не спалили. А по шаблонам - это не совсем авто:o Хотя функционал у парсера VipRaskrutka приятный :)
Разница есть. Особенно когда есть гора неуникальных элементов и будет гора уникальных, значение которых мы предсказать не можем.
Впрочем мой пост сводился больше к тому, что если нужен чистенький текст - то нужно затачивать под конкретный сайт/сайты - не будут универсальные решения красиво работать.
По поводу алгоритма толкового под универсальный парсер - я уверен что даже если его спалят, то ТС просто не сможет его реализовать.
EVGENIY22: Вылетело 5 сайтов, 1 продающий в сапе ссылки, по схеме - 4-3-3 и остальные нулевые, проиндексинные не быстророботом, жесть)
Незабываем о том, что сапу в последнее время сильно таращило. Если код был установлен стандартными методами, то вполне возможен вылет сайта из-за часто лежащих диспенсеров сапы. Сайт при этом тупит 6 секунд, соответственно вечно торопящийся яшко считает что сайт лежит.
Опробовал работу с tor. В принципе все работает, вот только назвать это работой язык не поднимается - это больше на СЕО ананизм похоже. В общем смысла в этом не вижу. Если юзать прокси, то серьезные - с гарантированной скорость и не спаленные в инете...
BrokenBrake: glumworks, золотые слова! Жаль, что не все это понимают. Макс Крайнов вот понимает... (интервью Memori.ru)
Хм, оно-то, конечно, да, особо ежели... но вот интересно как повел бы себя Вонг при подобном поведении Макса :). А Вонг сейчас самый мерзкий и , пожалуй, самый нужный сервис. а как повел бы себя Вонг я в принципе представляю :)
В чем приятность - в качестве проксей выступают юзерские машины.
Что это дает по сравнению с обычными прокси, которых за пол часа можно напарсить ведро? Не исключено, что точно так-же парсят эти прокси и сервисы класса вонга. Конечно банить юзера по признаку "он зашел через прокси" никто не станет, но начислить за это штрафных баллов могут.... При достижении определенного порога штрафных баллов - бан юзера.
BrokenBrake: Сейчас, на то, чтобы сделать проверку, нужно время (моё), потому что у каждого модуля проверка будет разной. Пока что времени на это нет, более приоритетные задачи решаю.
Важно принципиальное согласие :).
Если при тестах постинга через ТОР все пройдет нормально, то проверки для модулей я сделаю - у меня они готовы, надо только отшлифовать . Важно чтоб не пришлось после каждого апдейта Закладочника их перекраивать :).
BrokenBrake:
P.S. Как отдохнул на курорте? :)
Отдохнул хорошо... одно плохо - сейчас немогу заставить себя работать :-( .
З.Ы.
Заглянул в пару акков мистера Вонга, в которые постил по своей схеме 3 недели назад - все живы, все нормально... правда в них всего 1-2 ссылки.
LEGOLEG: Получается что вонг не любит когда с одного ай-пи идет постинг в несколько акков Тогда напрашивается какая стратегия? правильно, добавлять в настройки этого сервиса всего один аккаунт, и постить в него.. через недельку делать передышку, убирать старый аккаунт пока он живой, и постить в следующий. Вообще я думаю надо с какой-то периодичностью акки обновлять ;) См подпись :)
Думаю тактика должна быть несколько иной.
Регистрировать аккаунты нужно через ТОР, тут-же под тем-же ИП активировать и постить. ТОРом менять ип ("Использовать другой ним") и повторять всю операцию (по необходимости).
Частая смена ИПов например при регистрации один, при активации другой, при постинге третий нежелательна.
Постинг с одних и тех-же ИПов нежелателен. Использование бесплатных проксей нежелательно :).
Вот только никак не соберусь проверить связку Закладочник+ТОР. Но я сделаю над собой усилие :) обещаю :)
З.Ы.
BrokenBrake, в свете возможной необходимости пользования прокси весьма желательно достоверно определяnm запостилось сообщение или нет. Заготовку под это дело я в коде видел, понимаю почему это отключено... но может сделать эту опцию задаваемой через конфиг файл? Хотите знать достоверно - напишите true , хотите побыстрей - оставьте false ...
PS да, согласен, кладбище ничего не нарушает... я вообще это говорил к тому что в ксапе есть говноссылки, которые к сожалению удовлетворяют правилам... и проходят эту "предварительную модерацию"... качество ссылок с модерацией по крайней мере такое же как и у вашего конкурента из четырех букв БЕЗ модерации...
Ссылки с гавноанкорами есть везде. И будут они ровно до тех пор, пока есть гавнооптимизаторы.
Большой плюс ксапы в том, что модерацию не пройдут доры. ИМХО по последствиям для сайта-донора ссылка на дор на порядок хуже чем ссылка с гавноанкором.
Очень жду от сапы фарма списка стоп слов, но не уверен что дождусь. Так что пополняю потихоньку ручками.
eXtravert:
Устройство и структура у конкурента из 4-х букв лично для меня как для вебмастера кажется более удобной.
Вообще-то кспа это не тупой клон другой биржи (как стало популярно в последнее время). В ней есть свои фишечки.
Дя ВМ это продажа внутренних дальше УВ3. Ведь очень мало СДЛ с 4800 страниц до УВ3 :).
Хорошо это или плохо, а также о качестве реализации можно спорить долго, но суть не в том.
Вот вы говорите, надо юзать неспаленные прокси.
А что если юзать жестко спаленные прокси?
например работать через трафик компрессор и иже с ним? ;)
Очень правильная мысль!
Кстати, отпадает проблема прокси серверов, которые не поддерживают POST запросы.
VadoZ, ну почему самый нужный-то?
Он лучше всего работает как дор под гуглю :). Шучу. Но в каждой шутке есть доля шутки.
Тут надо сделать поправку на то, что я живу в Украине, как следствие к гуглу больше внимания... А вот для индексации в гугле или перенаправления трафика с гугла на нужный сайт лучше всего работает вонг - наверное как самый трастовый для Гоши. Но это опять-же глазами браконьера... все зависит от методов работы, под одни методы лучше один сервис, под другие - другой.
Какая разница регулярки/не регулярки? Можете хоть стандартными функциями обработки строк парсить. Главное алгоритм пока толковый не спалили. А по шаблонам - это не совсем авто:o Хотя функционал у парсера VipRaskrutka приятный :)
Разница есть. Особенно когда есть гора неуникальных элементов и будет гора уникальных, значение которых мы предсказать не можем.
Впрочем мой пост сводился больше к тому, что если нужен чистенький текст - то нужно затачивать под конкретный сайт/сайты - не будут универсальные решения красиво работать.
По поводу алгоритма толкового под универсальный парсер - я уверен что даже если его спалят, то ТС просто не сможет его реализовать.
А чего тема в дорвееводстве-то?
Если ТС сплог хочет - то этого валом и читабильность там совершенно не обязательна.
Если нужна читабельность и красиво выдранные статьи , то это не в дорвееводство писать надо :). Тогда лучше почитать про регулярки.
Вылетело 5 сайтов, 1 продающий в сапе ссылки, по схеме - 4-3-3 и остальные нулевые, проиндексинные не быстророботом, жесть)
Незабываем о том, что сапу в последнее время сильно таращило. Если код был установлен стандартными методами, то вполне возможен вылет сайта из-за часто лежащих диспенсеров сапы. Сайт при этом тупит 6 секунд, соответственно вечно торопящийся яшко считает что сайт лежит.
Опробовал работу с tor. В принципе все работает, вот только назвать это работой язык не поднимается - это больше на СЕО ананизм похоже. В общем смысла в этом не вижу. Если юзать прокси, то серьезные - с гарантированной скорость и не спаленные в инете...
glumworks, золотые слова! Жаль, что не все это понимают. Макс Крайнов вот понимает... (интервью Memori.ru)
Хм, оно-то, конечно, да, особо ежели... но вот интересно как повел бы себя Вонг при подобном поведении Макса :). А Вонг сейчас самый мерзкий и , пожалуй, самый нужный сервис. а как повел бы себя Вонг я в принципе представляю :)
Кстати, а что такое ТОР?
Это я поленился язык переключить :)
https://www.torproject.org/
В чем приятность - в качестве проксей выступают юзерские машины.
Что это дает по сравнению с обычными прокси, которых за пол часа можно напарсить ведро? Не исключено, что точно так-же парсят эти прокси и сервисы класса вонга. Конечно банить юзера по признаку "он зашел через прокси" никто не станет, но начислить за это штрафных баллов могут.... При достижении определенного порога штрафных баллов - бан юзера.
Только чур параноиком не обзывать :).
Сейчас, на то, чтобы сделать проверку, нужно время (моё), потому что у каждого модуля проверка будет разной. Пока что времени на это нет, более приоритетные задачи решаю.
Важно принципиальное согласие :).
Если при тестах постинга через ТОР все пройдет нормально, то проверки для модулей я сделаю - у меня они готовы, надо только отшлифовать . Важно чтоб не пришлось после каждого апдейта Закладочника их перекраивать :).
P.S. Как отдохнул на курорте? :)
Отдохнул хорошо... одно плохо - сейчас немогу заставить себя работать :-( .
З.Ы.
Заглянул в пару акков мистера Вонга, в которые постил по своей схеме 3 недели назад - все живы, все нормально... правда в них всего 1-2 ссылки.
Получается что вонг не любит когда с одного ай-пи идет постинг в несколько акков
Тогда напрашивается какая стратегия?
правильно, добавлять в настройки этого сервиса всего один аккаунт, и постить в него..
через недельку делать передышку, убирать старый аккаунт пока он живой, и постить в следующий.
Вообще я думаю надо с какой-то периодичностью акки обновлять ;)
См подпись :)
Думаю тактика должна быть несколько иной.
Регистрировать аккаунты нужно через ТОР, тут-же под тем-же ИП активировать и постить. ТОРом менять ип ("Использовать другой ним") и повторять всю операцию (по необходимости).
Частая смена ИПов например при регистрации один, при активации другой, при постинге третий нежелательна.
Постинг с одних и тех-же ИПов нежелателен. Использование бесплатных проксей нежелательно :).
Вот только никак не соберусь проверить связку Закладочник+ТОР. Но я сделаю над собой усилие :) обещаю :)
З.Ы.
BrokenBrake, в свете возможной необходимости пользования прокси весьма желательно достоверно определяnm запостилось сообщение или нет. Заготовку под это дело я в коде видел, понимаю почему это отключено... но может сделать эту опцию задаваемой через конфиг файл? Хотите знать достоверно - напишите true , хотите побыстрей - оставьте false ...
PS да, согласен, кладбище ничего не нарушает... я вообще это говорил к тому что в ксапе есть говноссылки, которые к сожалению удовлетворяют правилам... и проходят эту "предварительную модерацию"... качество ссылок с модерацией по крайней мере такое же как и у вашего конкурента из четырех букв БЕЗ модерации...
Ссылки с гавноанкорами есть везде. И будут они ровно до тех пор, пока есть гавнооптимизаторы.
Большой плюс ксапы в том, что модерацию не пройдут доры. ИМХО по последствиям для сайта-донора ссылка на дор на порядок хуже чем ссылка с гавноанкором.
Очень жду от сапы фарма списка стоп слов, но не уверен что дождусь. Так что пополняю потихоньку ручками.
Устройство и структура у конкурента из 4-х букв лично для меня как для вебмастера кажется более удобной.
Вообще-то кспа это не тупой клон другой биржи (как стало популярно в последнее время). В ней есть свои фишечки.
Дя ВМ это продажа внутренних дальше УВ3. Ведь очень мало СДЛ с 4800 страниц до УВ3 :).
Хорошо это или плохо, а также о качестве реализации можно спорить долго, но суть не в том.
Она просто другая :).