SergijKo

Рейтинг
111
Регистрация
13.06.2005

Наконец в системе появилась долгожданная возможность - добавление страницы сайта на постоянную проверку и аддурл всех новых ссылок

После добавления страницы на регулярную проверку раз в час система проверяет эту страницу на новые ссылки. Все найденные новые ссылки автоматически добавляются на аддурл, благодаря чему они появляются в индексе очень быстро.

Страница может быть в любом из видов:

  • HTML-страница, например главная страница сайта. Максимально просто и эффективно, если у вас новые страницы автоматически появляются на главной странице (например сайт в формате блога). Ссылкой считается все в теге <a href= .
  • Текстовый файл. В каждой новой строчке должна быть одна ссылка.
  • Карта сайта в формате sitemap.xml. Описание формата: http://www.sitemaps.org/protocol.html.
  • RSS-фид сайта.

Тип страницы сервис определяет автоматически.

Для зарегистрированных пользователей доступен по ссылке Карты

А зачем это?

Типичный пример. Допустим у вас есть сайт. В который вы изредка пишите статьи. И они понемножку попадают в гугль, но как-то не быстро как хотелось бы...

Тогда эта новая фича - как раз решение проблемы. Один раз добавьте в сервис любую страницу сайта, где есть ссылки на все его содержимое (если блог - главная или rss-фид, если есть карта сайта в любом виде - ее), и после этого система начнет автоматически искать все новые страницы и добавлять их все на аддурл.

Система наконец достаточно разогнана, пробки рассосались, и суточных задержек больше быть не должно. Так что можно спокойно продолжать удобно добавлять новые страницы в гугль :)

В связи с большой нагрузкой системы много задач уже висят больше суток. Пользователи - извините. Всем таким пользователям сделал подарок - 10% от цены задержанных задач. Надеюсь немножко сгладит ожидание :)

Причина задержки была в том в том, что было добавлено много больших задач в очередь в тот момент, когда система была не разогнана. Аддурлить такое количество ссылок в срок меньше суток раньше небыло возможности (сама реализация система такая, что идет 100% работа именно с браузером, а это разогнать чрезвичайно сложно).

Но уже вторые сутки усиленно разгоняю систему, и наконец есть ощутимый результат - как раз сейчас раза в 2 быстрее аддурлить система начала. Наконец очередь начала рассасываться. Максимум через недельку по планам смогу скорость обработки значительно увеличить, и тогда все задачи за пару часов максимум будут выполняться.

Ну а пока - еще немножко терпения пожалуйста :)

Если интересует индексация в гугле, потестируйте и мой сервис bulkaddurl.com , его ветка на серче /ru/forum/915195

Есть и новое :)

shargaev:
Если нужно загнать в индекс страницу сайта которого нет в Search Console, можно попробовать добавить урл сюда https://www.google.com/webmasters/tools/submit-url

/ru/forum/915195 - тут тема по моему сервису bulkaddurl.com , который как раз и занимается автоматическим аддурлом страниц в гугль через https://www.google.com/webmasters/tools/submit-url.

Опыт показывает что страницы с сайта без фильтров гугля попадают в индекс гугля после аддурла через часик-другой. Так что заходите на тест :)

r-prom:
Первое задание из 77 страниц было выполнено в течении минут 10 примерно. проверил кэш выборочно 10 страниц, 8 из 10 проверенных кэш от вчерашней даты, то есть от 8 ноября, что совпадает с датой выполнения задания. Результат радует.

Спасибо за отзыв. Да, результат аддурла страниц сайтов незафильтрованных гуглем у нас тоже обычно такой, стабильно-хороший.

r-prom:
Остальные 8 заданий висят почему-то уже часа 2 без движения.

Очередь задач она такая... А движение есть. Просто перед как раз перед вашими кто-то появился с очень большим списком урлов (странно, но в воскресенье вечером был наплыв). Ну и пока его список не обработается - к вашим следующим очередь не дойдет.

Система пока не разогнана (аддурлить очень быстро пока не получается, там идет 100% работа именно с браузером). Поэтому сейчас иногда приходится и подождать. Но я работаю над этим, через недельку-другую по планам смогу скорость обработки значительно увеличить.

Между прочим о алгоритме очереди.

Сначала делаются совсем маленькие задачи, до 20 урлов. Это было сделано после ситуации, когда человек добавил 1500 урлов, а после него появилось 5 штук заданий с 10 урлами. Ну и я рассудил, что ему на фоне суток исполнения его задания 10 минут на обработку этих мелких совсем не почувствуются. А вот этим мелким быстрое исполнение даст быстрое понимание системы... И принял решение выставлять мелкие задачки поверх всех. Мне кажется именно так удобно для пользователей.

Но опять же, скоро скорость увеличится и всё станет еще приятней.

r-prom:
Было не плохо иметь опцию проверки индексации страниц в Google (платно естественно). Допустим добавили задание на проверку и после выполнения в отдельном окне выводились страницы, которые не находятся в индексе Google. Берем этот список и добавляем уже другое задание - добавить в индекс.

Таким образом не тратим лишние средства на то, что уже есть в индексе.

По работе сервиса отпишу чуть позже, добавил задание примерно на 800 страниц в общей сложности.

По проверке индексации идея интересная, спасибо. После реализации всего запланированного именно по аддурилке постараемся реализовать.

По работе - конечно ждем отзывов. Эффективность, юзабилити, идеи - все интересно.

Dodge Bros:
Нужно, чтобы ссылки сами добавлялись из фида. Сделаете такое - буду постоянно пользоваться:)

Эта фича как раз в процессе разработки :) Но получите бонус за хорошую идею - дайте вашу почту на сервисе, вышлю.

По деталям. Будет формочка - добавляем урл фида (или карты сайта, или просто страницы), и сервис раз в час проверяет его. Все найденные ссылки будут добавляться автоматически. Вы тоже так это видите?

Уважаемые пользователи - еще предложения?

Petruho:
не пишите 0,75 центов, воспринимаеться как 0,75 бакса напиши просто 0,0075 бакса всем понятно будет)

Принимается. Тогда уточню тут еще раз - сейчас аддурл одного адреса стоит 0.0075 $, т.е. меньше цента, т.е. около пол рубля. И на сайте тоже написал. Надеюсь теперь всем всё стало понятно :)

Petruho:
SergijKo, 50 рубл написано у вас

Мистические 50 рублей... А где написано? Вроде и сайт просмотрел, и тему - не вижу ничего от себя о 50 рублях. Подскажите пожалуйста где.

Всего: 202