ziliboba0213: Никакой программист в здравом уме вам бесплатно не будет выискивать и вычитывать как там и что сделано...
Для того, кто может это реализовать, беглого взгляда достаточно, чтобы понять масштаб задачи и справится или нет. Для того, кто не в теме какой смысл писать ТЗ, если я сам не сильно в теме, о чем написал ьтак же сразу.
Если человеку сложно посмотреть на сайт, на котором все максимально лаконично написано и разжевано специалистами, владеющими конкретным работающим продуктом, то думаете ему будет быстрее и проще почитать на досуге многостраничное ТЗ?
---------- Добавлено 10.06.2018 в 18:54 ----------
ziliboba0213: Прямое, т.к. к каждому сайту может нужен свой парсер, а может и не нужен, смотря как договориться с поставщиком, отсюда и цена вопроса.
Я делал парсеры застройщиков, некоторые делали шаблоны под нас, некоторые не делали и приходилось писать под каждого свой - а это время (и деньги).
Никто из поставщиков ничего не делает. Все делают работники парсера. И парсить могут без всяких договоренностей.
ziliboba0213: Так там база сайтов есть. Они договариваются с поставщиками. Кто этим заниматься будет?
А зачем обсуждать этот вопрос вообще в рамках этой темы? Какое отношение к созданию парсера он имеет. Обсуждать такие вопросы точно будет не программист.
Скажите откровенно (здесь все свои), этот ваш сайт наверняка был сделан на базе чужого контента? Правильно?
Не правильно. Копирайт там был.
---------- Добавлено 10.06.2018 в 18:18 ----------
melkozaur: В каком виде? В группу постит? Или как? Куда размещает-то? Вы за 50 лет занятия бизнесом не научились спрашивать так, чтобы вас хотя бы было понятно?
Я дал ссылку на сайт, который является именно тем, что мне нужно сделать. На сайте умные люди уже пару лет как максимально подробно все описали и видео даже сняли https://turboparser.ru/about/kak-nachat-polzovatsya
Если у вас всех, кто пишет всякую чепуху, не хватило времени зайти на сайт, котогрый я сразу показал и прочитать что это такое, но хватает времени написать всякий бред от нечего делать про 100 рублей и т.п., ну что тут скажешь? На таких форумах 90% ванг и "экспертов". Можно бы было просто промолчать.
---------- Добавлено 10.06.2018 в 18:21 ----------
borisd: Ответ простой и однозначный - ЭТО реализовать НЕВОЗМОЖНО.
https://turboparser.ru/about/kak-nachat-polzovatsya Вот этот невозможный парсер. Его донастраивают под каждый сайт но это парсер который реализован. И таких десяток уже существует, просто этот самый хороший на мой взгляд.
BooblikBBW: Не надо изобретать велосипед!
Content Downloader в помощь вам!
Да вот и хочется без изобретений многомиллионных обойтись. Сам думаю, что стоит взять что-то уже готовое и программиста нанять и пусть мучается. Может выйдет что или по крайней мере пойму где подводные камни и что это вообще такое.
---------- Добавлено 09.06.2018 в 11:37 ----------
Gooroo-vs: Самое главное, чтобы можно было найти людей для реализации - написать очень четкое и грамотное ТЗ. В случае подобного парсинга не обойдешься тем, что показать сайт конкурентов и написать - хочу также.
Нужно расписывать каждую функцию и каждую кнопочку пункт с подпунктом в какой-то из категорий. Это нужно как разработчику, так и Вам, чтобы вы могли потом все по пунктам проверять. Одна лишь проверка - это ужасная, кропотливая работа, которую никто почему-то не считает за работу. Протестить одну лишь функцию можно 10 способами, чтобы найти на каком этапе вылезет баг.
Затем уже с четким техническим заданием Вы отправляетесь абсолютно на все биржи и доски, какие только можно и рассылаете его разработчикам. Разошлете 100 студиям - они вам средний ценник на подобное выбьют. Из тех кто выставит ценники люди отсеются после проверки подобных выполненных проектов у них.
На подобные задачи нужно нанимать человека, которому под стать такая работа, чтобы до Вас в итоговом варианте доходило как можно меньше правок.
Студии берут тем, что они выполняют за Вас работу по поиску и фильтрации фрилансеров на адекватность, проф. пригодность, составление технического задания, проверки после выполнения, внесение правок, тесты. А в Вашем случае Вы можете заняться этим сам, либо нанять человека
Вы очень правильно говорите, но я за 15 уже лет занятия бизнесом ни разу не имел четкого бизнес плана и т.п. И знаю, что многие или большинство предпринимателей такие же. То есть сделал получилось - хорошо. Нет, сломал и еще раз или новое. Я не технарь вообще ни разу. Мало того, что не представляю как делать все по пунктам, мне еще это и неприятно, так как если бы я так делал мне бы стало скучно и смысл вообще чем-то заниматься, если тебе это не нравится? Поэтому у меня метод научного тыка преобладает.
---------- Добавлено 09.06.2018 в 11:44 ----------
fliger: Народ, блокируйте ушлепков:
IP SELECTEL
82.202.198.186
82.202.207.37
82.202.207.38
82.202.207.42
Deny from 82.202.198.0/23
Deny from 82.202.200.0/21
А вы хоть поняли суть проекта? К этим парсерам владельцы сайтов сами обращаются, чтобы их спарсили. И деньги за это ежемесячно еще платят.
_SP_: Вам нужны профи в it с гарантированным результатом :), опытом 10+ лет итп ? Ну сами-то оцените задачу хоть примерно... пусть она потребует всего-лишь 1000 часов, ок ? Профи по 10$ в час не возьмет, он возьмет по 50, "с гарантией" еще раза в 2 больше. 100.000$ на разработку имеете :) ? И это - вершина айсберга.
На самом деле всё зависит от задач. Яб больше беспокоился не о том, как вы будете парсить, а о том, как будете в социалки заливать...
Вы понимаете, вот такого рода ответы мне как раз и не нужны. Из своего опыта - сайты с посещалкой в десятки тысяч может сделать школьник, нанявший еще одного двух школьников за пару сотен рублей в день.
Мой сайт самый большой с посещанкой 300+ тыс уников в сутки (сейчас не работающий уже) когда-то был сделан дешевле чем за миллион. Поэтому я вот эти 100 миллионов триллионов долларов воспринимаю как спам, извините.
Так же и парсеры. В студии Артемия Лебедева делают и хорошие вещи и откровенное говно, но все за миллионы. То же самое делают дешево те, кто потрудились сами найти команду.
---------- Добавлено 08.06.2018 в 23:39 ----------
strilok: Чем не устраивают подобные продукты на рынке? Собственно это и есть ответ на ваши вопросы
Я очень плохо разбираюсь с тем, что уже есть на рынке. Другие парсеры, которые я видел, не уверен что будут решать мои задачи без доработки.
---------- Добавлено 08.06.2018 в 23:41 ----------
_SP_:
На самом деле всё зависит от задач. Яб больше беспокоился не о том, как вы будете парсить, а о том, как будете в социалки заливать...
В социалки заливатся все должно через виджет, удобно и с настройкой параметров заливки. Поэтому и говорю, что дети не сделают. Это все уже реализовано, мне нужно скопировать грамотно у конкурентов.
У меня эксель табличка с доменами подгружается. В ней ссылки на другие сайты, она вся из ссылок. Она воспринемается страницей поисковиками? И эти ссылки внешние учитываются как-то?
WSairus: Имхо в текущих реалиях вхождение ключа в URL уже имеет меньший вес, но я стараюсь избегать повторения ключей в полном URL: т.е. если ключ есть в домене, то его не должно быть в категории; если есть в категории, не должно быть в подкатегориях.
Не знаю насчет меньшего веса, я что-то когда вижу статью по запросу, так у нее урл со 100% вхождением обычно, если трафиковая. Тоже думаю делать ссылки без ключа, который в домене не дублировать.
Добрый день. Давно не делал сайты. Сейчас запустил несколько на вордпрессе и оставил для индексации только нужные страницы и форум на IPB запустил. Вот думаю нужно в роботсе Disallow прописывать для кучи мусорных страниц форума или лучше не трогать?
Почему есть сомнения - потому, что раньше без этого форумы нормально индексировались, поисковики знают движок и думаю представляют что это такое. Вот думаю как бы хуже не наделать и может не торогать его?
Там в видео 5к магазинов. Вы представляете сколько это кодить? 🤪
Как я понимаю их больше 30 000 сейчас уже спаршено и полностью настроено под выгрузку в соц сети + они обновляются.
Но что-то дорабатывается ручками при выгрузке специалистами парсера в первый раз как я понимаю и все.
Никакой программист в здравом уме вам бесплатно не будет выискивать и вычитывать как там и что сделано...
Для того, кто может это реализовать, беглого взгляда достаточно, чтобы понять масштаб задачи и справится или нет. Для того, кто не в теме какой смысл писать ТЗ, если я сам не сильно в теме, о чем написал ьтак же сразу.
Если человеку сложно посмотреть на сайт, на котором все максимально лаконично написано и разжевано специалистами, владеющими конкретным работающим продуктом, то думаете ему будет быстрее и проще почитать на досуге многостраничное ТЗ?
---------- Добавлено 10.06.2018 в 18:54 ----------
Прямое, т.к. к каждому сайту может нужен свой парсер, а может и не нужен, смотря как договориться с поставщиком, отсюда и цена вопроса.
Я делал парсеры застройщиков, некоторые делали шаблоны под нас, некоторые не делали и приходилось писать под каждого свой - а это время (и деньги).
Никто из поставщиков ничего не делает. Все делают работники парсера. И парсить могут без всяких договоренностей.
Так там база сайтов есть. Они договариваются с поставщиками. Кто этим заниматься будет?
А зачем обсуждать этот вопрос вообще в рамках этой темы? Какое отношение к созданию парсера он имеет. Обсуждать такие вопросы точно будет не программист.
Скажите откровенно (здесь все свои), этот ваш сайт наверняка был сделан на базе чужого контента? Правильно?
Не правильно. Копирайт там был.
---------- Добавлено 10.06.2018 в 18:18 ----------
В каком виде? В группу постит? Или как? Куда размещает-то?
Вы за 50 лет занятия бизнесом не научились спрашивать так, чтобы вас хотя бы было понятно?
Я дал ссылку на сайт, который является именно тем, что мне нужно сделать. На сайте умные люди уже пару лет как максимально подробно все описали и видео даже сняли https://turboparser.ru/about/kak-nachat-polzovatsya
Если у вас всех, кто пишет всякую чепуху, не хватило времени зайти на сайт, котогрый я сразу показал и прочитать что это такое, но хватает времени написать всякий бред от нечего делать про 100 рублей и т.п., ну что тут скажешь? На таких форумах 90% ванг и "экспертов". Можно бы было просто промолчать.
---------- Добавлено 10.06.2018 в 18:21 ----------
Ответ простой и однозначный - ЭТО реализовать НЕВОЗМОЖНО.
https://turboparser.ru/about/kak-nachat-polzovatsya Вот этот невозможный парсер. Его донастраивают под каждый сайт но это парсер который реализован. И таких десяток уже существует, просто этот самый хороший на мой взгляд.
Не надо изобретать велосипед!
Content Downloader в помощь вам!
Да вот и хочется без изобретений многомиллионных обойтись. Сам думаю, что стоит взять что-то уже готовое и программиста нанять и пусть мучается. Может выйдет что или по крайней мере пойму где подводные камни и что это вообще такое.
---------- Добавлено 09.06.2018 в 11:37 ----------
Самое главное, чтобы можно было найти людей для реализации - написать очень четкое и грамотное ТЗ. В случае подобного парсинга не обойдешься тем, что показать сайт конкурентов и написать - хочу также.
Нужно расписывать каждую функцию и каждую кнопочку пункт с подпунктом в какой-то из категорий. Это нужно как разработчику, так и Вам, чтобы вы могли потом все по пунктам проверять. Одна лишь проверка - это ужасная, кропотливая работа, которую никто почему-то не считает за работу. Протестить одну лишь функцию можно 10 способами, чтобы найти на каком этапе вылезет баг.
Затем уже с четким техническим заданием Вы отправляетесь абсолютно на все биржи и доски, какие только можно и рассылаете его разработчикам. Разошлете 100 студиям - они вам средний ценник на подобное выбьют. Из тех кто выставит ценники люди отсеются после проверки подобных выполненных проектов у них.
На подобные задачи нужно нанимать человека, которому под стать такая работа, чтобы до Вас в итоговом варианте доходило как можно меньше правок.
Студии берут тем, что они выполняют за Вас работу по поиску и фильтрации фрилансеров на адекватность, проф. пригодность, составление технического задания, проверки после выполнения, внесение правок, тесты. А в Вашем случае Вы можете заняться этим сам, либо нанять человека
Вы очень правильно говорите, но я за 15 уже лет занятия бизнесом ни разу не имел четкого бизнес плана и т.п. И знаю, что многие или большинство предпринимателей такие же. То есть сделал получилось - хорошо. Нет, сломал и еще раз или новое. Я не технарь вообще ни разу. Мало того, что не представляю как делать все по пунктам, мне еще это и неприятно, так как если бы я так делал мне бы стало скучно и смысл вообще чем-то заниматься, если тебе это не нравится? Поэтому у меня метод научного тыка преобладает.
---------- Добавлено 09.06.2018 в 11:44 ----------
Народ, блокируйте ушлепков:
IP SELECTEL
82.202.198.186
82.202.207.37
82.202.207.38
82.202.207.42
Deny from 82.202.198.0/23
Deny from 82.202.200.0/21
А вы хоть поняли суть проекта? К этим парсерам владельцы сайтов сами обращаются, чтобы их спарсили. И деньги за это ежемесячно еще платят.
Вам нужны профи в it с гарантированным результатом :), опытом 10+ лет итп ?
Ну сами-то оцените задачу хоть примерно... пусть она потребует всего-лишь 1000 часов, ок ?
Профи по 10$ в час не возьмет, он возьмет по 50, "с гарантией" еще раза в 2 больше.
100.000$ на разработку имеете :) ?
И это - вершина айсберга.
На самом деле всё зависит от задач.
Яб больше беспокоился не о том, как вы будете парсить, а о том, как будете в социалки заливать...
Вы понимаете, вот такого рода ответы мне как раз и не нужны. Из своего опыта - сайты с посещалкой в десятки тысяч может сделать школьник, нанявший еще одного двух школьников за пару сотен рублей в день.
Мой сайт самый большой с посещанкой 300+ тыс уников в сутки (сейчас не работающий уже) когда-то был сделан дешевле чем за миллион. Поэтому я вот эти 100 миллионов триллионов долларов воспринимаю как спам, извините.
Так же и парсеры. В студии Артемия Лебедева делают и хорошие вещи и откровенное говно, но все за миллионы. То же самое делают дешево те, кто потрудились сами найти команду.
---------- Добавлено 08.06.2018 в 23:39 ----------
Чем не устраивают подобные продукты на рынке? Собственно это и есть ответ на ваши вопросы
Я очень плохо разбираюсь с тем, что уже есть на рынке. Другие парсеры, которые я видел, не уверен что будут решать мои задачи без доработки.
---------- Добавлено 08.06.2018 в 23:41 ----------
На самом деле всё зависит от задач.
Яб больше беспокоился не о том, как вы будете парсить, а о том, как будете в социалки заливать...
В социалки заливатся все должно через виджет, удобно и с настройкой параметров заливки. Поэтому и говорю, что дети не сделают. Это все уже реализовано, мне нужно скопировать грамотно у конкурентов.
В роботсе запретил индексацию этих эксель таблиц. Надеюсь поможет.
У меня эксель табличка с доменами подгружается. В ней ссылки на другие сайты, она вся из ссылок. Она воспринемается страницей поисковиками? И эти ссылки внешние учитываются как-то?
Имхо в текущих реалиях вхождение ключа в URL уже имеет меньший вес, но я стараюсь избегать повторения ключей в полном URL: т.е. если ключ есть в домене, то его не должно быть в категории; если есть в категории, не должно быть в подкатегориях.
Не знаю насчет меньшего веса, я что-то когда вижу статью по запросу, так у нее урл со 100% вхождением обычно, если трафиковая. Тоже думаю делать ссылки без ключа, который в домене не дублировать.
Добрый день. Давно не делал сайты. Сейчас запустил несколько на вордпрессе и оставил для индексации только нужные страницы и форум на IPB запустил. Вот думаю нужно в роботсе Disallow прописывать для кучи мусорных страниц форума или лучше не трогать?
Почему есть сомнения - потому, что раньше без этого форумы нормально индексировались, поисковики знают движок и думаю представляют что это такое. Вот думаю как бы хуже не наделать и может не торогать его?