Форум Поисковые системы Google

Google открывает исходный код парсера robots.txt

LEOnidUKG
На сайте с 25.11.2006
Offline
1723
LEOnidUKG
529

Собственно сам код:

https://github.com/google/robotstxt

Сегодня компания Google анонсировала черновик RFC стандарта Robots Exclusion Protocol (REP), попутно сделав доступным свой парсер файла robots.txt под лицензией Apache License 2.0. До сегодняшнего дня какого-либо официального стандарта для Robots Exclusion Protocol (REP) и robots.txt не существовало (ближайшим к нему было вот это), что позволяло разработчикам и пользователям интерпретировать его по-своему. Инициатива компании направлена на то, чтобы уменьшить различия между реализациями.

Полная статья тут:

https://habr.com/ru/post/458428/

забавный момент, что гугл учитывает даже описки сделанные людьми: 

bool ParsedRobotsKey::KeyIsDisallow(absl::string_view key) {

  return (

      absl::StartsWithIgnoreCase(key, "disallow") ||

      (kAllowFrequentTypos && ((absl::StartsWithIgnoreCase(key, "dissallow")) ||

                               (absl::StartsWithIgnoreCase(key, "dissalow")) ||

                               (absl::StartsWithIgnoreCase(key, "disalow")) ||

                               (absl::StartsWithIgnoreCase(key, "diasllow")) ||

                               (absl::StartsWithIgnoreCase(key, "disallaw")))));

}

https://github.com/google/robotstxt/blob/59f3643d3a3ac88f613326dd4dfc8c9b9a545e45/robots.cc#L691-L699

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий