Web crawler

Translation web crawler into russian

The web crawler indexes websites for search engines.

Веб-краулер индексирует сайты для поисковых систем.