В прошлом году Google открыл исходный код парсера robots.txt на C++, который используется в его продакшн-системах. Увидев, как разработчики создают инструменты на его основе и делают свой вклад в open-source библиотеку, Google выпустил ещё несколько проектов в этой области с открытым исходным кодом.
- Robots.txt Specification Test
Для тех, кто создаёт свой собственный парсер, компания открыла исходный код фреймворка для проверки парсера robots.txt. Он используется для обеспечения того, чтобы результаты парсера соответствовали официальной спецификации robots.txt. С помощью этого фреймворка можно проверять парсеры, написанные на разных языках.
- Java robots.txt парсер
Google также перевёл в разряд open-source проектов Java-библиотеку парсера robots.txt. Этот язык более популярен, чем C++.
Команды Google уже планируют использовать Java robots.txt парсер в продакшн-системах. В компании также надеются, что сторонние разработчики тоже найдут его полезным.
Подробнее об этих проектах можно узнать в блоге Google.
