فایل Robots.txt چیست و چگونه می توان آن را ساخت؟

مقاله امروز را می خواهیم با یک مثال ساده شروع کنیم. حتما برایتان پیش آمده است که برای انجام کاری به اداره و یا سازمان بزرگی مراجعه کرده باشید و به دلیل عدم آشنایی با بخش های مختلف آن، مستقیما از بخش اطلاعات سازمان مربوطه کمک گرفته باشید.

در واقع بخش های اطلاعات در سازمان ها و ادارات مختلف با هدف راهنمایی مراجعه کنندگان و پاسخ به سوالات آن ها ایجاد شده اند.

اما چرا ما باید از این مثال در مقاله خود استفاده کنیم؟

پاسخ آن بر می گردد به ماهیت اصلی فایل robots.txt. در واقع این فایل نیز مانند بخش اطلاعات سازمان و ادارات، وظیفه هدایت و راهنمایی دارد، اما راهنمایی چه کسانی یا بهتر بگوییم چه چیزی؟

فایل robots.txt وظیفه ی هدایت و راهنمایی ربات های خزنده گوگل در هنگام بررسی صفحات سایت ها را به عهده دارد، اما بهتر است جزئیات بیشتر درباره ی این فایل و کاربرد آن در سئو سایت را در ادامه ی همین مقاله با هم بررسی کنیم. 

پس همراه ما باشید!

فایل Robots.txt چیست؟

Robots.txt در واقع یک فایل متنی بوده که اجازه دسترسی به صفحات سایت را به ربات های خزنده گوگل می دهد.

البته خاطرتان باشد که شما با نوشتن دستوراتی در این فایل می توانید به ربات ها بفهمانید که کدام قسمت های سایت را بررسی کنند و کدام قسمت را نمی توانند بررسی کنند. 

از آنجاییکه در سئو مهم ترین ربات ها مربوط به موتور گوگل هستند، پس منظور ما از واژه ربات ها همان خزنده های گوگل است.

اهمیت فایل Robots.txt برای سایت

بد نیست برخی از دلایل اهمیت این فایل را بدانیم تا ارزش وجود این فایل در ذهن ما دو چندان شود:

 🔹 مدیریت ترافیک سایت

در قسمت قبلی به این نکته اشاره شد که ربات ها به صورت پی در پی در حال خزش صفحات سایت ها بوده و آن ها را بررسی می کنند. پس لزوم توجه به ترافیک سایت و عدم پردازش پهنا باند توسط ربات های گوگل، راهی برای کنترل ترافیک سایت و بهبود کیفیت آن در نتایج و افزایش کلیک گوگل است.

 🔹 مدیریت Crawl Budget

یکی از موارد با اهمیت در زمینه بهینه بودن یک سایت، Crawl Budget است. این مورد بسیار شبیه به قسمت قبل بوده، چرا که ربات های موتور جستجو روزانه تعداد زیادی صفحه را بررسی می کنند و شما می توانید با کمک فایل ربات مقدار کراول باجت سایت خود را بهینه کنید. در واقع می توان صفحاتی که نیاز به خزیدن ندارند را در فایل robots.txt مشخص کنید و از این طریق مقدار بودجه ی خزش سایت خود را بهینه کنید.

 🔹 جلوگیری از نمایش صفحات در نتایج گوگل

 شاید برخی از صاحبان سایت و وبمستران علاقه نداشته باشند برخی از صفحات و فایل های موجود در سایت خود را نمایش دهند. به همین دلیل با اعمال دستوراتی در فایل ربات سایت می توان از این امر جلوگیری کرد.

کاربرد های فایل Robots.txt

همواره دلایلی وجود دارد تا یک متخصص سئو با استفاده از فایل Robots.txt و اعمال دستوراتی از خزش بی رویه ربات های گوگل به سایت خود جلوگیری می کنند. بد نیست تعدادی از این موارد را با هم بررسی کنیم:

🔹 عدم اهمیت یکسان تمامی صفحات سایت

قطعا سایت هایی که دارای صفحات پرتعدادی هستند به این امر واقف هستند که نمی توان تمامی صفحات را مشابه دانست، بنابراین وبمستران همواره در تلاش هستند تا صفحاتی از سایت را به گوگل نشان دهند که از دید خود دارای اهمیت بالایی هستند.

🔹 عدم ایندکس شدن پنل وب سایت در موتور جستجو

درج تمامی اطلاعات و صفحات یک سایت قطعا اتفاق خوب و ایده آلی برای وبمستران نیست. به همین دلیل با اعمال دستوراتی در فایل ربات می توان این مورد را اصلاح کرد.

🔹 عدم ایندکس صفحات با محتوا نا مناسب

باز هم به اصلی ترین مورد در صفحات می رسیم. محتوا در صفحات حرف اول را می زند. طبیعتا تولید محتوا عالی برای همه صفحات یک سایت کاری سخت و زمانبر است. به همین جهت با دستورات داده شده به فایل ربات می توان از بررسی صفحات با محتوا بی کیفیت توسط گوگل جلوگیری کرد.

🔹 محدود کردن درخواست بیش از حد صفحات

پهنای باند و سرعت سایت دو المان مهم در بحث بهینه سازی و قرار گرفتن در صفحه اول گوگل است. اگر سایتی با تعداد صفحات زیاد داشته باشید که ربات ها همواره در حال بررسی این صفحات هستند، طبیعتا با مشکل سرعت و ترافیک بالا پهنا باند مواجه خواهید شد، لذا وجود این فایل برای کنترل این درخواست ها ضروری است.

محدودیت های Robots.txt چیست؟

شاید جالب باشد که بدانید با اینکه فایل robots.txt دارای کارایی بسیاری است، اما با محدودیت های جزئی مواجه است که به صورت مختصر به آن ها اشاره می کنیم:

🚩 دستورات برای همه ربات ها یکسان نیست.

🚩 امکان درک متفاوت دستورات توسط ربات ها وجود دارد.

🚩 امکان ایندکس شدن صفحه با وجود جلوگیری از آن در فایل robots.txt وجود دارد.

اجزا تشکیل دهنده Robots.txt چیست؟

دستور User-agent: برای مشخص کردن رباتی که دستورات برای آن نوشته شده است. 

دستور Disallow: بخش‌هایی که ربات اجازه درخواست یا بررسی آن را ندارد.

دستور Allow: بخش‌هایی که ربات ها مجاز به درخواست و بررسی هستند.

دستور Sitemap: برای نشان دادن آدرس فایل نقشه سایت به ربات‌ها استفاده می شود.

مشخص کردن ربات با User-agent 

از این دستور برای هدف گیری یک ربات خاص استفاده می‌شود و از آن می‌توان به دو شکل در فایلrobots.txt  استفاده کرد.

اگر قصد دارید به تمام ربات‌های خزنده یک دستور مشابه بدهید، کافی است بعد از عبارت User-agent از علامت ستاره (*) استفاده کنید. علامت ستاره به معنای «همه چیز» است. مانند مثال زیر:

دستور بالا به این معنی است که دستورات بعدی، برای همه ربات‌های جستجوگر مشابه است.

اما اگر می‌خواهید تنها به یک ربات خاص مانند ربات گوگل (GoogleBot) دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته می شود:

کد بالا به این معنی است که اجرای دستورات فایل، تنها برای ربات گوگل الزامی است.

مشخص کردن صفحات و بخش‌های غیرمجاز با Disallow 

همانطور که از اسم آن مشخص است با این دستور شما به ربات ها می فهمانید که به کدام قسمت ها در سایت مراجعه و آنها را بررسی نکنند. به مثال زیر توجه کنید:

فرض کنیم که تمام این تصاویر را به درون فولدری به نام pictures منتقل کرده‌اید. برای آنکه به گوگل بگویید که این تصاویر را ایندکس نکند، باید دستوری مانند زیر را بنویسید:

مشخص کردن بخش‌های مجاز برای ربات‌ها با  Allow

این حالت در واقع عکس حالت بالا بوده و بیان می کند که ربات اجازه دارد به کدام قسمت ها در سایت دسترسی داشته باشد و آن ها را مورد بررسی قرار دهد. 

فرض کنید در فولدر pictures تصویری وجود دارد با نام anizlogo.png که می خواهیم ربات های خزنده آن را ایندکس کنند. در این حالت دستوری که باید در فایل ربات نوشته شود به صورت زیر خواهد بود:

نقشه سایت (sitemap)

گوگل برای سئوکارها چند راه برای دسترسی به نقشه سایت گذاشته است. یکی از این راه‌ ها نوشتن آدرس سایت مپ در فایل Robots.txt است. 

هرچند ما اعتقاد داریم بهترین راه برای معرفی نقشه سایت با استفاده از ابزار سرچ کنسول به گوگل است. 

با استفاده از آدرس زیر می توانید نقشه سایت هر وب سایتی را مشاهده کنید:

محل قرار گیری فایل Robots.txt کجاست؟

اگر به دنبال این فایل هستید خیالتان راحت کار چندان پیچیده ای برای پیدا کردن آن ندارید.

فقط کافیست از حالت دستوری زیر استفاده کنید:

چگونه فایل ربات robots.txt بسازیم؟

اگر فکر میکنید نوشتن فایل ربات کار پیچیده  و سختی است باید بگوییم که اشتباه فکر کردید، زیرا بسیار ساده و کوتاه می توانید این فایل با ارزش را بنویسید.

فقط کافیست نرم افزاری مانند Notepad که فایل ها را با پسوند txt ذخیره می کند را در سیستم خود داشته باشید. برای ساخت فایل robots.txt فقط یک فایل txt جدید ایجاد کنید. فرمت یا انکودینگ فایل حتماً باید UTF-8 باشد. 

در این فایل طبق دستوراتی که در بالا گفته شد، محدودیت و دسترسی ها را برای ربات ها مشخص کنید. 

حال که با ساختن آن آشنا شدید باید آن را داخل هاست خود بارگذاری کنید.

بارگذاری فایل Robots.txt چگونه است؟

برای اینکار فقط کافیست فایل ها را در Root قرار دهید و اصلا نباید آن ها را در صفحات یا دایرکتوری ها قرار دهیم.

همچنین می توانید با استفاده از دستور زیر فایل ربات خود را تست کنید:

برای این منظور ابتدا وارد سایت Google Search Console شوید.

روی بخش robots.txt Tester کلیک کنید.

گزینه Test را انتخاب کنید.

اگر فایل به درستی بارگذاری شده باشد گزینه قرمز رنگ تست به رنگ سبز تغییر خواهد کرد.

تاثیر Robots.txt بر سئو سایت

 🔹 جلوگیری از محتوا تکراری

اگر صفحاتی با محتوا یکسان در سایت خود داشته باشید بلافاصله ربات ها تشخیص می دهند و برای شما شناسایی می شود.

 🔹 پنهان سازی قسمت هایی از سایت

بسیاری از متخصصان سئو علاقه ای به افشا شدن قسمتی از سایت خود در نتایج گوگل ندارند، به همین جهت با استفاده از فایل ربات آن را مخفی می کنند. مانند بخش رزومه ی افراد در سایت

 🔹 بهینه سازی Crawl Budget

در این خصوص در قسمت قبل توضیحات کاملی ارائه شد.

 🔹 بهبود سرعت سایت

یکی از موارد مهم در سئو سایت بحث سرعت سایت است. فایل ربات با بهینه کردن خزش ربات های گوگل در سایت به سرعت سایت کمک کرده و آن را بهبود می دهد.

جمع بندی

در این مقاله سعی شد تا دید کلی و جامعی را نسبت به مفهوم فایل ربات Robots.txt ارائه دهیم. در قسمت اول به صورت کاملا جامع در خصوص مفهوم فایل ربات پرداختیم و در ادامه سعی کردیم به صورت تخصصی تر این مقوله را موشکافی کرده و موارد مبهم آن را کامل توضیح دهیم.

همچنین در قسمت پایانی مقاله به منظور کاربردی تر کردن بیشتر مقاله سعی کردیم برخی از مواردی که فایل ربات در بهینه کردن سایت و تاثیر بر سئو سایت دارد را برای شما بازگو کنیم. امیدواریم که ماحصل این مقاله توانسته باشد اطلاعات مفیدی را در اختیارتان قرار داده باشد.