https://www.ux-republic.com/guide-complet-comprendre-le-fonctionnement-des-crawlers/