Google открыл исходный код ряда проектов, связанных с robots.txt

В прошлом году Google открыл исходный код парсера robots.txt на C++, который используется в его продакшн-системах. Увидев, как разработчики создают инструменты на его основе и делают свой вклад в open-source библиотеку, Google выпустил ещё несколько проектов в этой области с открытым исходным кодом.

  • Robots.txt Specification Test

Для тех, кто создаёт свой собственный парсер, компания открыла исходный код фреймворка для проверки парсера robots.txt. Он используется для обеспечения того, чтобы результаты парсера соответствовали официальной спецификации robots.txt. С помощью этого фреймворка можно проверять парсеры, написанные на разных языках.

  • Java robots.txt парсер

Google также перевёл в разряд open-source проектов Java-библиотеку парсера robots.txt. Этот язык более популярен, чем C++.

Команды Google уже планируют использовать Java robots.txt парсер в продакшн-системах. В компании также надеются, что сторонние разработчики тоже найдут его полезным.

Подробнее об этих проектах можно узнать в блоге Google.

Источник: Google
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Google о взаимодействии с SEO-сообществом

Google о взаимодействии с SEO-сообществом

И популярных мифах в этой области
preview Google обновил документ о влиянии отзывов на ранжирование в локальном поиске

Google обновил документ о влиянии отзывов на ранжирование в локальном поиске

Поисковик изменил одну из формулировок
preview Google не ранжирует выше сайты с хостингом в Google Cloud

Google не ранжирует выше сайты с хостингом в Google Cloud

Об этом заявил сотрудник поиска Джон Мюллер
preview Optimization 2020: топ-5 секций, которые нельзя пропустить

Optimization 2020: топ-5 секций, которые нельзя пропустить

И промо-код для читателей
preview Google выпустил плагин Web Stories для WordPress

Google выпустил плагин Web Stories для WordPress

Теперь создавать публикации этого формата будет проще
preview Google запускает видеовстречи и онлайн-классы в бизнес-профилях компаний

Google запускает видеовстречи и онлайн-классы в бизнес-профилях компаний

Новые функции пока доступны в ограниченном масштабе