بهینه سازی فایل robots.txt وردپرس
1395/05/26
ارسال شده توسط Manager
758 بازدید
فایل Robots.txt نقش بزرگی در سئوی سایت شما ایفا می کند.
فایل robots.txt یا REP یک فایل متنی برای مدیران وب سایت ها می باشد که با استفاده از آن میتوانند نحوه خزیدن موتورهای جستجو را کنترل کنند از این رو فایل ربات یکی از ابزار های مهم برای سئو سایت نیز می باشد .
SEO شامل صدها عنصر است و یکی از بخش های مهم آن فایل robots.txt می باشد و در کل نتیجه مثبتی در بهینه سازی سایت شما به جا می گذارد . فایل Robots.txt در واقع رابط بین وب سایت شما و ربات های جستجوگر می باشد که با دستوراتی که شما در این فایل اضافه می کنید ، ربات ها با توجه به آن دستورات به کار خود ادامه می دهند .
این فایل متنی کوچک که در روت وب سایت شما قرار دارد، می تواند به بهینه سازی وب سایت شما کمک کند. بسیاری از وب مستر ها تمایل دارند که از ویرایش فایل robots.txt جلوگیری کنند اما این کار سختی نیست و با دانستن نکات مهم و پایه میتوان این فایل را ایجاد و ویرایش کرد.
فایل robots.txt روکه ساختین باید با آدرس www.yourwebsite.com/robots.txt قابل دسترسی باشه در غیر این صورت فایل ممکن خطا داشته باشه
توجه داشته باشید User-agent: به یک موتور جستجوگر اشاره میکند و * : User-agent به تمامی ربات ها مثلا User-agent: Googlebot تنها به رابت گوگل اشاره می کند Allow به معنی اجازه دادن عمل خاص به خزنده هاست و Disallow به معنی اجازه ندادن می باشد .
در کد زیر اجازه خزیدن تمامی محتوای وب سایت رو از موتورهای جستجوگر سلب میکنم:
در صورتی که کد ها به درستی نمایش داده نمی شود آنها را در داخل یک فایل text قرار دهید
User-agent: *
Disallow: /
با استفاده از کد زیر هم میتونم بگم Googlebot یا خزنده موتور جستجوگر گوگل یک پوشه خاص مثلا no-google رو مورد خزیدن قرار نده
User-agent: Googlebot
Disallow: /no-google/
در بعضی از مواقع هم نیاز است جلوی خزنده ها رو برای خزیدن یک صفحه بگیرم در زیر این کارو انجام میدهد
User-agent: Googlebot
Disallow: /no-google/blocked-page.html
البته توجه داشته باشید اشتباه در این کد ممکن خزیدن وب سایت شما را برای موتورهای جستجوگر غیر ممکن کند
خزیدن به یک پوشه را نیز میتوانید برای موتورهای جستجوگر با استفاده از کد زیر غیر ممکن کنید
User-agent: *
Disallow: /folder/
برای کمک به سئو و خزیدن بهتر وب سایت نیز می توانید نقشه سایت در داخل فایل ربات تعریف کنید :
User-agent: *
Sitemap: http://www.yoursite.com/sitemap.xml
فایل robots.txt وردپرس و لزوم استفاده از آن
فایل robots.txt کمک می کند تا ربات موتور جستجو به صفحاتی که باید ایندکس کند هدایت شود. هنگامی که ربات یا اسپایدر موتور جستجو برای ایندکس صفحات به سایت شما وارد میشود ابتدا به دنبال فایل robots.txt میگردد و مسیر این فایل را برای ایندکس کردن صفحات وب سایت شما دنبال خواهد کرد .
اگر از وردپرس استفاده میکنید ، فایل robots.txt را میتوانید در روت وردپرس خود بیابید . در وب سایت های استاتیک، اگر این فایل توسط شما یا برنامه نویس وب سایت تان ایجاد شده باشد، آن را در پوشه روت خود پیدا خواهید کرد. در غیر اینصورت میتوانید با استفاده از notepad به سادگی یک فایل ایجاد کرده و با نام robots.txt آن را ذخیره کنید . سپس این فایل را با استفاده از FTP به دایرکتوری روت دامنه خود ارسال کنید.
فایل Robots.txt در کجاست ؟ چگونه می توان Robots.txt ایجاد کرد ؟
این فایل دقیقا در مسیر اصلی سایت (روت) قرار گرفته است و در عدم وجود آن شما باید این فایل را در این مسیر ایجاد نمایید .
خوبی فایل Robots.txt این است که می توان آن را در کامپیوتر به راحتی با برنامه notepad ایجاد کرد و بعد از افزودن کد های مورد نظر آن را در روت سایت آپلود کرد .
چگونه از فایل Robots.txt استفاده کنیم؟
فرمت دستورات فایل Robots.txt بسیار آسان است . برای مثال در خط اول از دستور user agent استفاده می شود که در واقع این دستور مربوط به ربات های جستجوگر می باشد . برای مثال می توانید فقط از ربات های گوگل و بینگ استفاده کنید که کافیه به این صورت عمل کنید : User-Agent: Googlebot یا User-Agent: Bingbot . اما در صورتی که بخواهید تمامی ربات ها را فراخوانی کنید باید به این صورت عمل کنید : * :User-Agent
در خط های بعدی هم با دستورات Allow و Disallow مشخص می کنید که ربات ها به این بخش ها دسترسی داشته باشند و یا خیر .
نمونه فایل Robots.txt :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
در این نمونه کد خط دوم به ربات ها اجازه می دهد تا تمامی تصاویر های استفاده شده در مطالب شما ایندکس شوند و در خط سوم و چهارم اجازه به ایندکس مسیر پلاگین و فایل readme.html به ربات ها داده نمی شود .
افزودن سایت مپ به فایل Robots.txt
اگر شما از پلاگین هایی برای ایجاد سایت مپ استفاده می کنید پس لازم است لینک سایت مپ خود را در فایل Robots.txt قرار دهید تا ربات ها از وجود سایت مپ شما با خبر شوند .
برای اینکه سایت مپ خود را به فایل Robots.txt اضافه کنید کافیه به صورت زیر عمل کنید :
Sitemap: http://www.example.com/sitemap.xml
در صورتی که سایت مپ شما بصورت جداگانه باشد یعنی برای مطالب ، صفحات و… سایت مپ بصورت جداگانه باشد آن ها را نیز به روش بالا می توانید اضافه کنید .
مثال :
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Sitemap: http://www.example.com/deals-sitemap.xml
برچسب ها:
بهینه سازی فایل robots.txt وردپرس
پر امتیازترین محصولات
-
آموزش ساخت اپلیکیشن اندروید سایت وردپرس بدون برنامه نویسی
امتیاز 5.00 از 5
129 هزار تومان95 هزار تومان - دوره آموزش آنلاین سئو و بهینه سازی سایت 249 هزار تومان
- کسب و کارهای اینستاگرامی رایگان!
- دوره آموزش آنلاین کسب و کار اینترنتی 489 هزار تومان
- کارگاه آموزشی کسب درآمد با اینستاگرام 240 هزار تومان
مطالب زیر را حتما مطالعه کنید
نمونه قرارداد سئو SEO
نمونه قرارداد سئو SEO به شما کمک می کند تا از روند بسته شدن قرارداد...
روشهای جدید کسب درآمد از وردپرس
کسب درآمد از وردپرس با آموزش وردپرس کسب درآمد از وردپرس با ارائه خدمات مشاوره...
معرفی بهترین افزونه های وردپرس و ووکامرس
افزونه های کاربردی وردپرس که باید آن ها را بشناسید افزونه های کاربردی و ضروری...
بهترین و پردرآمدترین شغلهای اینترنتی
10 گام حیاتی در شروع کسب و کار اینترنتی شاید برای کارافرین شدن به مدرک...
تکنیک های سئو برای کسب و کار اینترنتی ( بخش دوم )
مهم ترین فاکتورها در سئوی سایت فاکتورهای دامنه سن دامنه گوگل از سن دامنه استفاده...
تکنیک های سئو برای کسب و کار اینترنتی ( بخش اول )
چگونه سئو بر کسب وکار شما تاثیر می گذارد ؟ اگر شما دارای یک کسب...
پاسخی بگذارید
برای نوشتن دیدگاه باید وارد بشوید.