Tobbot - многофункциональный инструмент вебмастера

подскажите а как проверить потом есть ли мои страницы лдобавленные в яндексе??

Если речь идет о модуле Add URL Yandex, то Яндекс не гарантирует попадание в индекс добавляемых страниц, т.к. на это могу быть объективные причины.

В любом случае проверить индексацию страниц можно модулем SE Check Index (Pages).

TOBBOT, Как зайти на страницу и выпарсить все ссылки начиная с http содержащие нужный ключ в себе?

kxk, уточнил в аське, что речь идет про парсинг адресов страниц с выдачи Google с небольшой фильтрацией.

Процесс создания модуля для решения озвученной задачи:

1. Открываем директорию /modules программы и создаем директори с названием нового модуля, например: /Google Parser (URLs with filter)

2. Переходим в созданную директорию и создаем в ней файл columns.txt с текстом:

keyword    Например: <i>форум Москва</i>

filter    Например: <i>forum</i>

file    Например: <i>D:/urls.txt</i>

3. Создаем директорию /actions

4. Переходим в созданную директорию и создаем в ней файл Parse.txt с текстом:

// устанавливаем User-Agent как у древнего браузера

VAR    http_header_useragent, "Mozilla/5.0 (Windows; U; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)"



// формируем URL страницы с выдачей поиска по кею (столбец keyword)

VAR_URL    url

    "https://www.google.com/search?"

    "hl", "en"

    "q", row_keyword

    "start", "0"

    "num", "100"



// открываем URL

URL_GET    url



// парсим нужные адреса страниц

SCRIPT

    // начинаем цикл поиска с ипользованием регулярного выражения

    urls = [];

    re = /<h3 class="r"><a href="(?:|.url.q=)((http|https):.*?)(?:"|&amp;sa=U)/img;

    while ((match = re.exec(http_body)) != null) {

        url = unescape(match[1]);

        // запоминаем адрес если в нем есть требуемое значение (столбец filter),

        if (url.contains(row_filter)) {

            urls.push(url);

        }

    }

    // если нашли подходящие строки, то добавляем их в указанный файл (столбец file)

    if (urls.length > 0) {

        urls = urls.join(crlf) + crlf;

        return 'FILE    row_file, urls, "a"';

    }

    

// завершаем задание (меняем статус строки на +)

DONE

Все файлы нужно сохранить в кодировке UTF8 без BOM и можно пользоваться 🍾

Полный справочник разработчика.

TOBBOT, Крайне сложные регулярные выражения, если такое знать можно программы на С++ писать.

Подумайте над упрощение парсинга!

Не так страшен чёрт, как его малюют.

20 строк и 1000 все же разница ☝

Поздравляю всех вебмастеров с Новым годом и Рождеством!

И желаю вам:

Мгновенной индексации,
Отсутствия фильтрации,
Высокой конвертации,
За счет автоматизации! 🍻

Вышла версия TOBBOT 1.6.1

• Добавлены API функции HEADER и HEADER_DELETE, которые позволяют изменять заголовки HTTP запросов.
• Добавлены API функции для работы с файлами и директориями: DIR, DIR_DELETE, FILE_DELETE, VAR_FILE_SIZE.
• Добавлен бесплатный модуль Download File для массового скачивания файлов по ссылкам на них.
• Добавлен бесплатный модуль Accounts Yandex для регистрации и проверки аккаунтов Яндекс.
• Доработан бесплатный модуль Add URL Yandex.

Также опубликован план развития программы на 2016 год.

Ваша помощь и предложения приветствуются!

Топботик не работает. Не добавляет Add URL Yandex. В статусе "-", хотя капчи в сервис распознаваня приходят и распознаются.

Проверил - все ОК. Модуль работает исправно.

Покажите (можно в личку) примеры адресов, которые не получается добавить, и я скажу вам в чем у вас проблема. Либо попробуйте добавить вручную https://webmaster.yandex.ru/addurl.xml и обратите внимание на ответ сервиса.

чего бы это могло значить?