درباره فایل Robots.txt

فایل Robots.txt  یکی از موارد مهم  و ضروری قوانین سئو تکنیکال است که با به کارگیری آن می توانیم، صفحات سایت خود را بهینه سازی کنیم. کلیه فعالیت ها و  بهینه سازی هایی که توسط ما صورت می گیرد  به وسیله ربات های گوگل ایندکس می شود. به واسطه این عملکرد آن ها می توانند صفحه سایت ما را رتبه بندی کنند.

بنابراین فرصت خوبیست که با انجام یکسری از فعالیت ها کاری کنیم که گوگل برای رتبه بندی صفحات سایت به ایندکس صفحاتی بپردازد که بر اساس اصول سئو طراحی کرده ایم. در واقع با استفاده از فایل Robots.txt  فعالیت ربات های گوگل را جهت رتبه بندی سایت هدایت میکنیم.

فعال سازی و تنظیم این فایل بسیار مهم و ضروری است گرچه با استفاده از عملکردهای دیگری مانند noindex نیز می توان برای جلوگیری ایندکس صفحات سایت استفاده کرد اما این تگ توانایی جلوگیری از ایندکس یک دسته از صفحات را ندارد و امکان استفاده از آن برای صفحات به صورت جداگانه نیز وجود ندارد.

به همین دلیل در چنین مواردی باید از فایل Robots.txt  استفاده کنید. نکته قابل توجه در استفاده از این فایل این است که تنظیمات حتما به صورت دقیق انجام شود. زیرا در صورت اشتباه در تنظیمات، ربات های گوگل صفحات را به درستی ایندکس نخواهند کرد.

به همین دلیل توصیه میکنم که در صورت آغاز یک سئو جدید به برسی فایل Robots.txt  و هماهنگی آن با ابزار نوشتاری ربات های گوگل بپردازید.

چگونه از Robots.txt استفاده کنیم؟

قابلیت های فایل Robots.txt بسیار زیاد هستند. اما مهم ترین کاربردی که این فایل دارد استفاده از آن برای جلوگیری از ایندکس شدن صفحات مختلف سایت بدون اینکه به کد هر صفحه به صورت جداگانه نیاز باشد می پردازد. برای استفاده از این تگ ابتدا یک فایل متنی بسازید‌. سپس از ۳ دستورالعمل زیر استفاده کنید:

در قسمت ابتدایی فایل بدون اینکه مورد دیگر را وارد کنید عبارت User_agent را بنویسید(با این اقدام مشخص میکنید که هدفتان از دستور دهی کدامیک از ربات های خزنذه در وب سایت است) سپس در جلوی آن دو نقطه بگذارید و در قدم بعدی نام ربات مورد نظر که هدف اصلی شما برای دستور مورد نظر است را بنویسید.

نکته ی ظریفی که وجود دارد این است که در صورت هدف گیری تمامی ربات های خزنده وب سایت در جلوی عبارت User_agent یک* قرار دهید. بعد از اینکه ربات مورد نظر جهت جلوگیری از ایندکس شدن صفحه مشخص شد.

نوبت به تعیین صفحه مورد نظر می رسد در این مرحله، شما مشخص میکنید که ربات هدف کدامیک از صفحات را می تواند ایندکس کند و کدامیک اجازه ایندکس ندارند.

اگر بخواهید اجازه ایندکس را به ربات بدهید از دستور Allaw و در غیر این صورت از دستور disallow استفاده کنید. در این مرحله پس از نوشتن هرکدام از دستورات ذکر شده از دونقطه استفاده کنید سپس صفحه یا صفحاتی که قصد ایندکس توسط ربات گوگل دارید را وارد کنید.

در این قسمت نیازی به وارد کردن url به صورت کامل نیست فقط قسمتی که بعد از اسلش(/) است را وارد کنید. نیازی به وارد کردن دامنه نیست.

چگونگی بهینه سازی فایل Robots.txt  در وروپرس

همانطور که بیان کردیم فایل Robots.txt یک فایل ضروری و کاربردی در سئو است که برای محدود سازی فعالیت ربات های گوگل جهت جلوگیری از ایندکس صفحاتی است که مد نظر ما نیستند.

اما در این قسمت قصد برسی روش هایی را داریم که به وسیله آن می توان فایل Robots.txt  را بهینه سازی کرد. با  این کار می توان سئو وردپرس را بهبود بخشید. برخی وبمسترها می گویند که با استفاده از فایل Robots.txt می توان بسیاری از آرشیوها، دسته بندی ها و صفحات دارای کیفیت پایین را برای جلوگیری از دسترسی ربات های خزشی و جستجوگر گوگل محدود کرد. اما این یک باور کاملا غلط است.

زیرا آرشیوها و صفحات بی کیفیت به عنوان یک دایرکتوری یا پوشه خاص نیستند. که بتوان با استفاده از این فایل دسترسی به آن ها را محدود کرد.

زیرا دیتابس این آدرها را تعیین کرده است. در واقع چنین پوشه ای با نام تگ در سیستم هاست شما وجود ندارد که بخواهید به وسیله آن میزان دسترسی را تعیین یا محدود کنید.

در صورتی که قصد محدود سازی صفحات خاصی را برای جلوگیری از دسترسی ربات های گوگل دارید. باید از افزونه هایی مانند سئو وردپرس که تمامی قابلیت های noindex را دارد استفاده کنید.

بیشتر بخوانید : طراحی سایت اقساطی

برای مشاوره رایگان با ما تماس بگیرید

09218495036

instagram-seotehran  Telegram-seotehran  whatsapp-seotehran