Robots.txt بلڈر

استعمال کا طریقہ 3 مراحل
  1. CMS پری سیٹ حکمتِ عملی منتخب کریں میں پری سیٹ چنیں۔
  2. اگر ہو تو اپنا Sitemap URL شامل کریں۔
  3. Robots.txt بنائیں دبائیں، پھر robots.txt ڈاؤن لوڈ کریں دبا کر اسے اپنی سائٹ کی جڑ میں اپ لوڈ کریں۔
تیار کردہ robots.txt ترتیب

ٹول لوڈ ہو رہا ہے… 3 میں سے 0 حصے

ٹول تیار کیا جا رہا ہے۔ سست کنکشن پر اس میں چند سیکنڈ لگ سکتے ہیں۔

یہ ٹول کیسے کام کرتا ہے

robots.txt فائل کرالنگ کو قابو کرتی ہے، انڈیکسنگ کو نہیں۔ اس فائل سے ہونے والا زیادہ تر نقصان اسی فرق سے پیدا ہوتا ہے: یہاں روکا گیا صفحہ پھر بھی تلاش کے نتائج میں آ سکتا ہے، بغیر کسی تفصیل کے، کیونکہ کرالر سے کہا گیا تھا کہ اسے پڑھے نہیں، یہ نہیں کہا گیا تھا کہ اسے چھوڑ دے۔

چار تیار سانچے عام صورتیں سنبھال لیتے ہیں — سب کچھ کھلا، WordPress کی ترتیب، ای کامرس کی ترتیب، اور سب کچھ بند۔ WordPress والا سانچہ /wp-admin/ بند کرتا ہے مگر admin-ajax.php کھلا رکھتا ہے، جسے تھیمز اور پلگ انز سامنے کی طرف سے پکارتے ہیں۔ سائٹ میپ کا URL شامل کرنے سے فائل میں وہ واحد ہدایت آتی ہے جو پابندی لگانے کے بجائے دریافت میں مدد دیتی ہے۔

اپ لوڈ کرنے سے پہلے

  • صفحے کو نتائج سے باہر رکھنے کے لیے noindex استعمال کریں: robots.txt اس کام کا آلہ نہیں۔ اس سے بھی برا یہ کہ صفحہ روک دینے سے کرالر اُس پر لگا noindex ٹیگ پڑھ ہی نہیں پاتا، چنانچہ صفحہ غیر معینہ مدت تک انڈیکس میں رہتا ہے۔
  • اس کی جگہ ڈومین کی جڑ ہے: ‏/robots.txt پر دستیاب ہو اور کہیں نہیں۔ کسی ذیلی فولڈر میں رکھی فائل کبھی نہیں پڑھی جاتی، اور ہر ذیلی ڈومین کو اپنی الگ فائل چاہیے۔
  • CSS یا JavaScript کبھی نہ روکیں: سرچ انجن صفحات کو پرکھنے سے پہلے رینڈر کرتے ہیں۔ اثاثے روکنے سے چلتا ہوا صفحہ کرالر کو ٹوٹا ہوا دکھائی دیتا ہے۔
  • یاد رکھیں کہ یہ سب کے لیے کھلی ہے: آپ کی فائل کوئی بھی پڑھ سکتا ہے۔ وہاں کسی نجی فولڈر کا نام لکھنا اس کی حفاظت نہیں، تشہیر کرتا ہے۔

اکثر پوچھے گئے سوالات

خاص طور پر Robots.txt بلڈر کے بارے میں۔ اس زمرے سے متعلق عمومی سوالات کے جواب زمرے کے صفحے پر موجود ہیں۔

نہیں، اور اس فائل کے ساتھ سب سے عام غلطی یہی ہے۔ روکے گئے صفحات پھر بھی فہرست میں آ سکتے ہیں، عموماً بغیر تفصیل کے، اگر کوئی چیز اُن سے جُڑی ہو۔ کسی صفحے کو نتائج سے ہٹانے کے لیے noindex ٹیگ یا تصدیق طلب جواب استعمال کریں، اور اسے کرال ہونے دیں تاکہ ہدایت پڑھی جا سکے۔
یہ محض ایک مشورہ ہے۔ شائستہ کرالر اس کا احترام کرتے ہیں؛ سکریپر اور بدنیت لوگ اسے سرے سے نظرانداز کرتے ہیں اور کچھ تو اسے پڑھتے ہی دلچسپ راستے ڈھونڈنے کے لیے ہیں۔ یہ کوئی حفاظتی انتظام نہیں۔
ویب روٹ میں، سادہ عبارت کے طور پر، بالکل robots.txt کے نام سے چھوٹے حروف میں۔ یہ اُسی پروٹوکول، ہوسٹ اور پورٹ پر لاگو ہوتی ہے جہاں سے پیش کی جائے، اس لیے تصریح کی حد تک https اور http نسخے الگ الگ ہیں۔
WordPress ایک مجازی فائل پیش کرتا ہے جو ڈسک پر موجود ہی نہیں۔ حقیقی فائل اپ لوڈ کرنے سے وہ مکمل طور پر منسوخ ہو جاتی ہے، اُن سطروں سمیت جو آپ کا SEO پلگ ان شامل کر رہا تھا، اس لیے بدلنے سے پہلے دیکھ لیں کہ /robots.txt اِس وقت کیا لوٹاتی ہے۔
برسوں یہی معیاری مشورہ رہا اور اب اس کی ضرورت نہیں۔ یہ نقصان بھی پہنچا سکتا ہے، کیونکہ وہاں سے آنے والی سکرپٹس اور اسٹائلز کرالر کے لیے صفحے کو درست رینڈر کرنے کے لیے ضروری ہیں۔

نئے ٹولز، خصوصیات اور کارکردگی بڑھانے کے مشوروں کی اطلاع پانے کے لیے سبسکرائب کریں۔