رفتن به مطلب

سردرگمی در بکارگیری robots.txt و توصیه وردپرس


silver21

پست های پیشنهاد شده

- طوری این پست رو ارسال میکنم که هم جنبه آموزش داشته باشه و هم سوال خودم رو بتونم مطرح کنم.

بیشتر از چند سایت معروف که توسط وردپرس راه اندازی شدن رو رصد کردم و هر کس به سلیقه خودش کد ربوت قرار داده، چندین مقاله در مورد ربوت گوگل و دیگر جستجوگرها خوندم و در بینابین سایتهای مختلف به توصیه وردپرس مرجع که گفته گوگل و جستجوگرها با این کدها بهتر سازگارن رسیدم ، در نهایت به یک نتیجه نسبی رسیدم که هر وبمستر (مدیر سایت) براساس فولدرها و فایلهای موجود، خودش تعیین میکنه که کدوم موارد با Disallow دنبال نشه و Allow دنبال بشه. اما سوالاتی ذهنمو مشغول کرده ، که امیدوارم دوستان پاسخ بدن.

1- چرا در مرجع وردپرس کدهایی که معرفی کرده ، فید و بازتاب رو با کد


Disallow: /trackback/
Disallow: /feed/

برای ربوت ها بسته !!؟

2- قرار دادن هشتگ # و توضیحات روبروش به چه معنی هست: - توضیح برای کاربر یا اینکه ربوت قابلیت تشخیص و خوندن این خطوط رو داره؟ (اگه ربوت بتونه تشخیص بده میشه بعنوان مثال فید مطالب اصلی سایت رو با فید اختصاصی صفحات کاربرارو برای ربوت تفکیک کرد)

قرار دادن این کد برای اینکه تنها فید کاربری بسته بمونه


# disallow robots from parsing individual post feeds and trackbacks
Disallow: /feed/
Disallow: /trackback/
Disallow: */trackback*

3- چرا این کد به این صورت هست / اول disallow شده و بعد allow


Disallow:
Allow: /*

4- خیلی از دوستانی که از وردپرس استفاده میکنند از افزونه Yoast Seo استفاده میکنن، مشکل و تداخلی بین افزونه و کدهای robots.txt بوجود نمیاد ؟ چون هردو خاصیت تاثیر گذاری بر روی ربوت جستجو دارن.

کدهای توصیه شده وردپرس مرجع:


Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

ویرایش شده توسط silver21
لینک به ارسال

سلام

چون اگر فیدهاتون رو هم باز بزارید و دسترسی باشه ممکنه برای مطالب چندین آدرس به وجود بود که این از نظر گوگل یعنی چندین آدرس متفاوت ولی با محتوای یکسان که تکراری محسوب میشه

پس بسته بشه بهتره

در مورد سوال از افزونه هم که از این افزونه استفاده نمیکنم چون افزونه all in one تمام موارد لازم برای سئو رو داره ولی این افزونه فقط تکمیل و چیزای غیر لازم رو اضافه کرده که باعث به وجود اومدن یه سری مشکلات میشه

ولی اگر میخواید استفاده کنید تداخلی ندارن و اول فایل روبات چک میشه بعد خود سورس سایتتون که بهتره تنظیمات افزنرو مطابق با فایل روبات تنظیم کنید

لینک به ارسال

با سلام

سایت من یه سایت تفریحی و سرگرمی است .فایل روبوت من شامل کدهای زیر است .سوالم اینه فایل روبوت من از لحاظ امنیت خوبه؟از لحاظ سئو و سرعت ایندکس شدن مطالب چطوره؟و پیشنهاد شما چیه؟

Sitemap: http://www.shilinaz.com/sitemap.xml
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

لینک به ارسال

قبلا بحث شده لطفا جستجو کنید

از نظر امنیتی تقریبا مناسب و نیاز به چیز دیگری نیست و کاملش موجود است

لینک به ارسال

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...