Seyed Ali

مشکل با robots.txt

7 پست در این موضوع قرار دارد

سلام

بعضی عنوان های سایتم رو تو گوگل سرچ می کنم زیر لینکی که نمایش می ده اینو می نویسه :

« به دلیل robots.txt این سایت، توضیحی برای این نتیجه وجود ندارد »

این محتویات فایل روبوت منه ، بی زحمت ببینید مشکلی داره ؟ :



# All Bots
User-agent: *
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml.gz$

# Sitemap
Sitemap: http://razva.ir/sitemap.xml.gz

به اشتراک گذاری این پست


لینک به پست

سلام

یک سرچ با گوگل در با اسم سایت تون زدم ؛ ولی موردی که اینطوری باشه رو ندیدم.

شما در این فایل آدرس هایی از سایت تون که نمیخواید کراول بشه رو با Disallow مشخص کردید.

اگه موردی هم گوگل پیام دسترسی رو نشون میده ؛ توی همین فایل روبوتس دسترسی بات ها رو محدود کردید.

به اشتراک گذاری این پست


لینک به پست

می خوام بدونم تو این فایل روبوت چیز غیر عادی هست ؟

به اشتراک گذاری این پست


لینک به پست

توی این چند خط چیز خاصی نیست

به اشتراک گذاری این پست


لینک به پست

php را حذف کنید وتست بگیرید در ضمن نمونه اصلی این فایل هم در وردپرس موجوده

به اشتراک گذاری این پست


لینک به پست

php را حذف کنید وتست بگیرید در ضمن نمونه اصلی این فایل هم در وردپرس موجوده

منظورت این کده؟ :


Disallow: /*.php$

اگه چیزی هم برای بهتر شدنش هست لطفا بفرمائید

به اشتراک گذاری این پست


لینک به پست

در مورد این فایل نمی شه قضاوت عام کرد هر سایتی خودش می داند چگونه می خواهد دیده شود این نمونه را وردپرس ارائه داده است


Sitemap: http://www.example.com/sitemap.xml
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google
Disallow:
# digg mirror
User-agent: duggmirror
Disallow: /
# global
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

همینطور بخوانید

http://www.askapache.com/seo/updated-robotstxt-wordpress.html

و

http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط sasan_dingo
      چرا باید دستری روبات هارو به این بخش Disallow: /wp-admin  در robots.txt محدود کنیم؟ آیا اصلا نیازی هست؟ من مدت یک ماه دسترسی به این بخش رو محدود کردم اما تو بخش blocked resources در گوگل وبمستر متوجه شدم با محدود کردن  wp-admin در  robots.txt تعداد 380 لینک مطلب از سایت مسدود شده آیا نیازی هست که من این پوشه یعنی  Disallow: /wp-admin محدود کنیم؟
    • توسط winner20
      سلام
      درحال حاضر حالت پیشنهادی robots.txt برای وردپرس چیه؟
    • توسط ofpersia
      درود بر شما؛
      یه فایل واسه ربات پیدا کردم ولی چند تا سوال دارم:
      1. آیا این محتویات بیشترین نتیجه رو به رباط ها و در نتیجه به گوگل معرفی و نمایش میده؟
      (اگه خطی ازش نمیذاره توی نتایج گوگل باشم رو بگید حذف کنم)مرسی
      2. من رو هاستم دو تا زیر دامنه با سیستم وردپرس و یه زیردامنه انجمن و یکی دو تا زیر دامنه ی دیگه دارم
      آیا واسه هر کدام از اونها که به وبمستر معرفی کردم باید یه فایل رباط جداگانه در دایرکتوری مربوطه قرار بدم یا اینکه یه فایل روت واسه همش کافیه و در ریشه باید قرارش بدم؟
      چند خط آخرشو به این منظور تغییر دادم که همه ی ساب دامینهامو جسنجو کنه:
      User-agent: *
      Disallow: /cgi-bin
      Disallow: /wp-admin
      Disallow: /wp-includes
      Disallow: /wp-content/plugins
      Disallow: /wp-content/cache
      Disallow: /wp-content/themes
      Disallow: /trackback
      Disallow: /feed
      Disallow: /comments
      Disallow: /category/*/*
      Disallow: */trackback
      Disallow: */feed
      Disallow: */comments
      Allow: /wp-content/uploads
      # Google Image
      User-agent: Googlebot-Image
      Disallow:
      Allow: /*
      Sitemap: http://www.site.ir/sitemap.xml
      Sitemap: http://www.site.ir/1/sitemap.xml
      Sitemap: http://www.site.ir/2/sitemap.xml
      Sitemap: http://www.site.ir/3/sitemap.xml
      Sitemap: http://www.site.ir/4/sitemap.xml
    • توسط MJP
      سلام و خسته نباشید. من آموزش همه آموزش ها رو خوندم ولی سر در نیاوردم.
      میخواستم ببینم کسی هست واسه ی من یه robots.txt کامل و بی نقص بسازه؟
      فقط اگر کسی میخواد انجام بده خواهش میکنم کارش بی نقص و کامل باشه
      1danesh.ir
      اطلاعاتی هم اگر لازم بود بگید تا ارائه کنم
    • توسط mgfx
      سلام به همه
      من چندتا سوال و مشکل دارم
      1. سایتم با www بالا نیماد (سر همین برای ثبت کردنش تو گوگل وبمستر مشکل دارم)
      2. فایل robot.txt رو به صورت ansi سیو کنم یا utf-8?
      3.من افزونه ی Google XML Sitemaps رو من نصب کردم و سایت مپ هم ساختم اما وقتی میرم تو قسمت تنظیمات افزونه بالای صفحه این ارور رو میده :
      Your blog is currently blocking search engines! Visit the privacy settings to change this.
      وبرای privacy settings
      یه لینک داره که وقتی میرم به صفحه ی 404 سایتم برمیخورم
      اینم لینکش :
      http://mgfx.ir/wp-admin/options-privacy.php
      خواهشا کمکم کنید
      وردپرسمم نسخه ی 3.5.1