بهینه سازی فایل Robots.txt وردپرس برای سئو

امتیاز 5.00 ( 1 رای )

در این مقاله به نکاتی درباره بهینه سازی فایل robots.txt با هدف بهبود سئو اشاره خواهیم کرد. هدف از بهینه سازی فایل robots.txt این است که به موتورهای جستجو بگوییم که چگونه در وب سایت ما بخزند، که این ویژگی نیز آن را به یک ابزار قدرتمند سئو تبدیل میکند و به شما نشان خواهیم داد که چگونه یک فایل ربات عالی برای سئو ایجاد کنید.

فایل Robots.txt

فایل robots.txt چیست؟

Robots.txt یک فایل متنی است که صاحبان وب سایت ها می توانند با ایجاد آن به ربات‌های موتورهای جستجو بگویند چطور صفحات وبسایت‌ شان را بخزند و ایندکس کنند.
Robots.txt معمولاَ در دایرکتوری ریشه که همچنین به عنوان پوشه اصلی وبسایت شما شناخته شده، ذخیره میشود.

فرمت اصلی یک فایل robots.txt به این شکل است:

فایل Robots.txt
برای مجاز کردن و مسدود کردن یو‌ آر ال های خاص و اضافه کردن چندین نقشه‌ی سایت میتوانید از خطوط متعددی از دستورات استفاده کنید.

اگر قصد مسدود کردن یک یو آر ال را ندارید، فرض ربات‌های موتور جستجو بر این خواهد بود که مجاز به خزش این یو آر ال هستند.

در زیر مثالی از یک robots.txt را مشاهده میکنید:

فایل Robots.txtمطلب خواندنی: چگونه گوگل آنالیتیکس را روی وردپرس نصب کنیم؟

در مثال بالا، ما به موتورهای جستجو اجازه میدهیم تا فایل‌های موجود در پوشه‌ی بارگذاری وردپرس را بخزند و ایندکس کنند.

سپس، ما ربات‌های جستجو را از خزش و ایندکس کردن پلاگین‌ها و پوشه‌ های ادمین وردپرس مسدود کردیم.

در نهایت، یو آر ال مربوط به نقشه سایت (XML sitemap) را فراهم خواهیم کرد.

آیا شما نیاز به یک فایل Robots.txt برای سایت وردپرس خود دارید؟

اگر فایل robots.txt نداشته باشید هم موتورهای جستجو همچنان وبسایت شما را خزش و ایندکس خواهند کرد.

با این حال، شما قادر نخواهید بود به موتورهای جستجو بگویید که کدام صفحات یا پوشه‌ها نباید بخزند.

اگر تازه وبسایت‌تان را راه‌اندازی کرده‌اید و محتواهای زیادی در وبسایت‌تان ندارید، این مورد تاثیر زیادی بر روی سئوی سایت‎‌تان نخواهد داشت.

با این حال، همچنان که وبسایت‌ تان رشد کند و تعداد محتواهایتان نیز به مراتب افزایش ‌یابد، به احتمال زیاد تمایل زیادی خواهید داشت تا بر روی چگونگی خزش و ایندکس کردن وبسایت‌تان کنترل داشته باشید.

دلیلش را اینجا برایتان ذکر خواهیم کرد.

ربات‌های جستجو دارای سهمیه خزش (crawl quota) برای هر وبسایت هستند. این بدان معنی است که آنها طی یک دوره خزش تعداد مشخصی از صفحات را میخزند.

اگر آنها خزش همه صفحات موجود در وبسایت‌ تان را تمام نکنند، در دوره‌ی بعدی برای ادامه دادن خزش ناتمام قبلی بازخواهند گشت.

این میتواند سرعت ایندکس شدن وبسایت‌ تان را کاهش دهد. برای جلوگیری از کاهش سرعت ایندکس (index rate) میتوانید ربات‌های جستجو را از تلاش برای خزیدن صفحات غیرضروری مسدود سازید.

این صفحات عبارتند از صفحات مدیریت وردپرس (ادمین وردپرس)، فایل‌های پلاگین و پوشه‌ی تم‌ها. با مسدود کردن صفحات غیرضروری، سهمیه خزش وبسایت خود را ذخیره میکنید.

این به موتورهای جستجو کمک میکند حتی صفحات بیشتری را در وبسایت‌ تان بخزند و آنها را با بیشترین سرعت ممکن ایندکس نمایند.

دلیل دیگر برای استفاده از robots.txt زمانی است که میخواهید موتورهای جستجو را از ایندکس کردن یک پست یا صفحه در وب سایت‌تان غیرفعال و مسدود کنید.
این امن‌ترین راه برای مخفی کردن محتوا از عموم نیست، اما به شما کمک خواهد کرد تا از نمایش آنها در نتایج جستجو جلوگیری کنید.

یک فایل Robots.txt ایده‌ آل شبیه چه چیزی است؟

بسیاری از وبلاگ‌های محبوب از یک فایل ربات بسیار ساده استفاده میکنند. محتوای فایل ربات ممکن است بسته به نیازهای سایت خاصی متفاوت باشد.
فایل ساده
این robots.txt به تمام ربات‌ها اجازه میدهد تا تمام محتواها را ایندکس کنند و لینک دسترسی به نقشه های وبسایت (XML sitemap) را به ربات‌ها ارائه میدهد.

برای سایت‌های وردپرسی دستورات زیر را در robots.txt توصیه می کنیم:
فایل Robots.txt
این دستورات به ربات‌های جستجو میگویند تا همه‌ی تصاویر و فایل‌های وردپرس را ایندکس نمایند.

این دستورات ربات‌های جستجو را از ایندکس کردن فایل‌های پلاگین وردپرس، صفحه ادمین وردپرس، فایل مرا‌بخوان (readme)، و لینک‌های وابسته (affiliate) غیرفعال و مسدود میسازد.

با اضافه کردن نقشه‌های سایت به فایل ربات، شما کار ربات‌ های گوگل را در پیدا کردن تمام صفحات وبسایت‌ تان آسان میکنید.

اکنون که میدانید یک robots.txt ایده‌ آل چگونه است، بیایید نگاهی به چگونگی ایجاد یک فایل ربات در وردپرس بیندازیم.

چگونه یک فایل Robots.txt را در وردپرس ایجاد کنیم؟

دو راه برای ایجاد یک فایل ربات در وردپرس وجود دارد. شما میتوانید روشی که برای شما مناسب‌ تر است را انتخاب کنید.

♦ روش اول: ویرایش Robots.txt با استفاده از افزونه سئو (Yoast SEO)

اگر از افزونه یواست سئو استفاده میکنید، میدانید که این افزونه دارای یک ژنراتور robots.txt است.

میتوانید از این افزونه برای ایجاد و ویرایش فایل robots.txt به طور مستقیم از طریق صفحه مدیریت وردپرس استفاده کنید.

در قسمت مدیریت وردپرس بعد از رفتن به بخش سئو (SEO) گزینه‌ی ابزارها (Tools) را انتخاب کنید و پس از آن بر روی لینک “ویرایشگر فایل” (File Editor) کلیک کنید.

yoast seo for robots

در صفحه بعدی، صفحه یواست سئو فایل robots.txt موجود شما را نشان خواهد داد.

yoaset
اگر شما robots.txt ندارید، Yoast SEO یک فایل ربات برای شما ایجاد خواهد کرد. به طور پیش‌فرض، ژنراتور فایل robots.txt یواست سئو، دستورات زیر را به فایل ربات شما اضافه خواهد نمود.

simple

حذف این متن خیلی مهم است چون که این دستورات تمام موتورهای جستجو را از خزیدن وبسایت‌ تان مسدود و غیرفعال میسازند. پس از حذف متن پیش‌فرض، میتوانید دستورات robots.txt خودتان را اضافه کنید.

توصیه میکنیم از فرمت robots.txt ای که در بالا به اشتراک گذاشته شده، استفاده کنید. پس از اتمام کار، برای ذخیره تغییرات خود فراموش نکنید که دکمه ذخیره فایل robots.txt را فشار دهید.

♦روش دوم: ویرایش فایل Robots.txt بصورت دستی با استفاده از FTP (پروتکل انتقال فایل)

برای انجام این روش باید از یک سرویس گیرنده (FTP client) برای ویرایش فایل ربات استفاده کنید. به راحتی با استفاده از یک سرویس گیرنده FTP به حساب میزبانی وردپرس خود وصل شوید.

پس از لاگین شدن، قادر به مشاهده فایل ربات در پوشه‌ی ریشه‌ی (root folder) وبسایت خود خواهید بود.

root host

اگر آن را مشاهده نکنید احتمالاَ robots.txt ندارید و باید یکی را ایجاد کنید.
فایل Robots.txt
فایل Robots.txt یک فایل متنی ساده است، بدین معنا که میتوانید آن را به کامپیوتر خود دانلود کنید و با استفاده از هر ویرایشگر ساده‌ی متن مانند Notepad یا تکست‌ ادیت TextEdit آن را ویرایش کنید.

پس از ذخیره‌ی تغییرات میتوانید آن را در پوشه ریشه‌ی وبسایت‌ تان آپلود کنید.

چگونه فایل Robots.txt را تست کنید؟

پس ازاینکه فایل ربات خود را ایجاد کردید، ایده‌ی خوبی است که آن را با استفاده از یک ابزار تست کننده‌ی فایل رباتس (robots.txt tester tool) تست و آزمایش کنید.

ابزارهای تست کننده‌ی فایل رباتس زیادی وجود دارند، اما ما تستگر موجود در کنسول جستجوی گوگل را توصیه میکنیم.

به حساب کاربری‌تان در کنسول جستجوی گوگل وارد شوید، و سپس با استفاده از گزینه go to the old version به ورژن قدیمی کنسول جستجوی گوگل بروید.

پس از هدایت به ورژن قدیمی کنسول جستجوی گوگل، از طریق گزینه robots.txt tester در زیر منوی “خزش (Crawl)” میتوانید ابزار تستگر فایل رباتس را راه‌اندازی کنید.

google webmaster

این ابزار به طور خودکار robots.txt وبسایت‌تان را واکشی یا فچ خواهد نمود، و در صورت بروز هر گونه خطا و هشدارهایی آنها را نشان خواهد داد.

نتایج نهایی

هدف از بهینه سازی فایل robots.txt جلوگیری موتورهای جستجو از خزش صفحاتی است که در دسترس عموم قرار ندارند.

برای مثال، صفحات در پوشه افزونه‌های وردپرس (WP-Plugins) یا صفحات در پوشه مدیریت وردپرس (WordPress admin).

یک راز مشترک میان کارشناسان سئو این است که مسدود کردن دسته‌بندی وردپرس، تگ‌ها و صفحات بایگانی باعث بهبود سرعت خزش، ایندکس ‌سازی سریع، و رتبه‌ بندی بالاتر خواهد شد.

توصیه میکنیم از فرمت robots.txt بالا برای ایجاد یک فایل ربات برای وب سایت‌تان استفاده کنید.

امیدواریم که این مقاله در یادگیری “نحوه بهینه سازی فایل robots.txt وردپرس‌ تان برای سئو” مفید و کمک‌کننده بوده باشد.

246 بازدید