Google открывает исходный код парсера robots.txt

LEOnidUKG
На сайте с 25.11.2006
Offline
1572
493

Собственно сам код:

https://github.com/google/robotstxt

Сегодня компания Google анонсировала черновик RFC стандарта Robots Exclusion Protocol (REP), попутно сделав доступным свой парсер файла robots.txt под лицензией Apache License 2.0. До сегодняшнего дня какого-либо официального стандарта для Robots Exclusion Protocol (REP) и robots.txt не существовало (ближайшим к нему было вот это), что позволяло разработчикам и пользователям интерпретировать его по-своему. Инициатива компании направлена на то, чтобы уменьшить различия между реализациями.

Полная статья тут:

https://habr.com/ru/post/458428/

забавный момент, что гугл учитывает даже описки сделанные людьми:

bool ParsedRobotsKey::KeyIsDisallow(absl::string_view key) {

return (
absl::StartsWithIgnoreCase(key, "disallow") ||
(kAllowFrequentTypos && ((absl::StartsWithIgnoreCase(key, "dissallow")) ||
(absl::StartsWithIgnoreCase(key, "dissalow")) ||
(absl::StartsWithIgnoreCase(key, "disalow")) ||
(absl::StartsWithIgnoreCase(key, "diasllow")) ||
(absl::StartsWithIgnoreCase(key, "disallaw")))));
}

https://github.com/google/robotstxt/blob/59f3643d3a3ac88f613326dd4dfc8c9b9a545e45/robots.cc#L691-L699

✅ Трастовых площадок под размещение статей и ссылок. Опыт 12 лет! ( https://searchengines.guru/ru/forum/675690 ) ⭐ Купить вечные трастовые ссылки для сайта ( https://getmanylinks.ru/?srh ) ⭐ Ускорение ваших сайтов (WP, Opencart и др.) + Настройка сервера ( https://searchengines.guru/ru/forum/997205 )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий