Crawling na dużą skalę nie musi kosztować fortuny. Pokazujemy jak. Kiedy stajemy przed zadaniem zebrania setek milionów stron, pierwsze pytanie brzmi zawsze tak samo: ile to będzie kosztować? Standardowe instancje cloud — czy to GCP, AWS czy Azure — szybko generują rachunki, które skutecznie ograniczają apetyt na skalę. Dlatego przy projekcie indeksowania 400 milionów stron… czytaj więcej