گوگل می گوید می توانید از Robots.txt تنها برای همه سایت های بین المللی خود استفاده کنید

گری ایلیز از گوگل گفت لینکدین که اگر بخواهید می توانید از یک فایل robots.txt برای تمام سایت های بین المللی خود استفاده کنید. او اضافه کرد که نمی‌گوید این ایده خوبی است، بلکه از نظر فنی، می‌توانید robots.txt خود را از این طریق پیاده‌سازی کنید.

گری نوشت: «از لحاظ فنی می‌توانید یک robots.txt مرکزی برای همه سایت‌های بین‌المللی خود (de.example، ch.example، at.example، و غیره) داشته باشید که در CDN شما (cdn.example/robots.txt) میزبانی می‌شود. “