Seyed Ali

مشکل با robots.txt

7 پست در این موضوع قرار دارد

سلام

بعضی عنوان های سایتم رو تو گوگل سرچ می کنم زیر لینکی که نمایش می ده اینو می نویسه :

« به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد »

این محتویات فایل روبوت منه ، بی زحمت ببینید مشکلی داره ؟ :



# All Bots
User-agent: *
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml.gz$

# Sitemap
Sitemap: http://razva.ir/sitemap.xml.gz

به اشتراک گذاری این پست


لینک به پست

سلام

یک سرچ با گوگل در با اسم سایت تون زدم ؛ ولی موردی که اینطوری باشه رو ندیدم.

شما در این فایل آدرس هایی از سایت تون که نمیخواید کراول بشه رو با Disallow مشخص کردید.

اگه موردی هم گوگل پیام دسترسی رو نشون میده ؛ توی همین فایل روبوتس دسترسی بات ها رو محدود کردید.

به اشتراک گذاری این پست


لینک به پست

می خوام بدونم تو این فایل روبوت چیز غیر عادی هست ؟

به اشتراک گذاری این پست


لینک به پست

توی این چند خط چیز خاصی نیست

به اشتراک گذاری این پست


لینک به پست

php را حذف کنید وتست بگیرید در ضمن نمونه اصلی این فایل هم در وردپرس موجوده

به اشتراک گذاری این پست


لینک به پست

php را حذف کنید وتست بگیرید در ضمن نمونه اصلی این فایل هم در وردپرس موجوده

منظورت این کده؟ :


Disallow: /*.php$

اگه چیزی هم برای بهتر شدنش هست لطفا بفرمائید

به اشتراک گذاری این پست


لینک به پست

در مورد این فایل نمی شه قضاوت عام کرد هر سایتی خودش می داند چگونه می خواهد دیده شود این نمونه را وردپرس ارائه داده است


Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

همینطور بخوانید

http://www.askapache.com/seo/updated-robotstxt-wordpress.html

و

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط mohandes1900
      یه مشکل بزرگ داره سایتم
      مطالب جدید رو از سایت های خارجی ترجمه میکنیم و توی سایت قرار میدیم حتی عنوان ها هم تو گوگل فارسیشون قبلا نبوده و کلا پست ها خیلی خوبن اما نمیدونم چرا وقتی توی گوگل سرچ میکنیم عنوان پست رو نشون نمیده و فقط با تگ های اون پست میشه پیداش کرد..
      کسی میدونه دلیلش چیه؟
      عکس های پست ها هم نمیاد توی گوگل
    • توسط mohandes1900
      سلام دوستان کسی فایل robots.txt خوب برای سایت سراغ داره به ما هم بده؟
      واقعا ممنون میشم
    • توسط yohana
      سلام دوستان
      وقت بخیر
      آقا فایل robots.txt من تو گوگل ایندکس شده . 
      وقتی از این دستور استفاده می کنم site:www.yoursite.com 
      جزو لینک های ایندکس شده گوگل میاد و روش کلیک میکنم محتویاتش نشون داده میشه .
      اگر توسط خودش از ایندکس شدنش جلوگیری کنم مشکلی یش نمیاد؟
    • توسط sasan_dingo
      چرا باید دستری روبات هارو به این بخش Disallow: /wp-admin  در robots.txt محدود کنیم؟ آیا اصلا نیازی هست؟ من مدت یک ماه دسترسی به این بخش رو محدود کردم اما تو بخش blocked resources در گوگل وبمستر متوجه شدم با محدود کردن  wp-admin در  robots.txt تعداد 380 لینک مطلب از سایت مسدود شده آیا نیازی هست که من این پوشه یعنی  Disallow: /wp-admin محدود کنیم؟
    • توسط winner20
      سلام
      درحال حاضر حالت پیشنهادی robots.txt برای وردپرس چیه؟