یہ ٹول کیسے کام کرتا ہے
robots.txt فائل کرالنگ کو قابو کرتی ہے، انڈیکسنگ کو نہیں۔ اس فائل سے ہونے والا زیادہ تر نقصان اسی فرق سے پیدا ہوتا ہے: یہاں روکا گیا صفحہ پھر بھی تلاش کے نتائج میں آ سکتا ہے، بغیر کسی تفصیل کے، کیونکہ کرالر سے کہا گیا تھا کہ اسے پڑھے نہیں، یہ نہیں کہا گیا تھا کہ اسے چھوڑ دے۔
چار تیار سانچے عام صورتیں سنبھال لیتے ہیں — سب کچھ کھلا، WordPress کی ترتیب، ای کامرس کی ترتیب، اور سب کچھ بند۔ WordPress والا سانچہ /wp-admin/ بند کرتا ہے مگر admin-ajax.php کھلا رکھتا ہے، جسے تھیمز اور پلگ انز سامنے کی طرف سے پکارتے ہیں۔ سائٹ میپ کا URL شامل کرنے سے فائل میں وہ واحد ہدایت آتی ہے جو پابندی لگانے کے بجائے دریافت میں مدد دیتی ہے۔
اپ لوڈ کرنے سے پہلے
- صفحے کو نتائج سے باہر رکھنے کے لیے noindex استعمال کریں: robots.txt اس کام کا آلہ نہیں۔ اس سے بھی برا یہ کہ صفحہ روک دینے سے کرالر اُس پر لگا noindex ٹیگ پڑھ ہی نہیں پاتا، چنانچہ صفحہ غیر معینہ مدت تک انڈیکس میں رہتا ہے۔
- اس کی جگہ ڈومین کی جڑ ہے: /robots.txt پر دستیاب ہو اور کہیں نہیں۔ کسی ذیلی فولڈر میں رکھی فائل کبھی نہیں پڑھی جاتی، اور ہر ذیلی ڈومین کو اپنی الگ فائل چاہیے۔
- CSS یا JavaScript کبھی نہ روکیں: سرچ انجن صفحات کو پرکھنے سے پہلے رینڈر کرتے ہیں۔ اثاثے روکنے سے چلتا ہوا صفحہ کرالر کو ٹوٹا ہوا دکھائی دیتا ہے۔
- یاد رکھیں کہ یہ سب کے لیے کھلی ہے: آپ کی فائل کوئی بھی پڑھ سکتا ہے۔ وہاں کسی نجی فولڈر کا نام لکھنا اس کی حفاظت نہیں، تشہیر کرتا ہے۔