با سلام
طبق افزونه Wordefence که ترافیک رو به صورت Live نشون میده متوجه شدم که Goolebot صفحاتی که من اصلا روی سایتم ندارم رو Crawl میکنه و با ارور 404 مواجه میشه... من Sitemap سایت رو مدتهاست اصلاح کردم و در سرچ گوگل فقط 124 صفحه ایندکس شده.. ولی اینهمه آدرس فیک که وجود نداره از کجا اومده؟ که ربات گوگل داره مدام براش Request میفرسته؟
راهی داره که کلا جلو ارور 404 گرفته بشه و وقتی صفحه ای وجود نداره بجای ارور 404 هیچ صفحه ای باز نشه؟ اینکار باعث میشه که دیگه پهنای باند سایت مصرف نشه؟