رفتن به مطلب

robots txt


xavi9

پست های پیشنهاد شده

در 2 دقیقه قبل، xavi9 گفته است :

سلام

میخواستم ببینم کاربرد robots txt چی هست...و اصلا چی هست ؟؟

سلام

کار اصلیه فایل ربات اینه که برای بات های موتورهای جستجو مشخص میکنه که نباید کدوم دایرکتوری ها و صفحات رو خزش کنند.

قبل از هر درخواست بات موتورهای جستجو فایل ربات بررسی میشه و دایرکتوری هایی که توش به عنوان Disallow مشخص شده از لیست خزش حذف میشن.

لینک به ارسال

داداش میشه دایرکتوری و لیست خزش  رو بگی چیه ..اخه من یه چیزی بگم اطلاهات کمی دارم تازه وارد دنیای وب شدم

 

اخه من به داشتن مدرک اهمیت میدم...ولی بخاطر یه سری مشکلات و بدشانسی روزگار نتونستم ادامه تحصیل بدم و رشته ام ریاضی بود و مدرک دیپلم رو که گرفتم در پیش دانشگاهی درسهای تخصصی نتونستم پاس اش کنم..مدرک دیپلم موندم....و حالا تقریبا هفت هشت ساله که فاصله گرفتم از درس و کتاب و تنها چیزی که یادمه جدول ضربه....و با این فکر و مدرکی که دارم نمی تونم چیز ها و حرفه های جدیدی یاد بگیرم چون گفتم که به مدرک خیلی حساس ام و با مدرک دیپلم ....نمیتونم فکر ام رو تغییر بدم....وگرنه سئو که چیزی نیست ...سخت تر اشو هم توانایی رو دارم.....هر چی هم زور میزنم تا ادامه تحصیل بدم ...اعصاب ام نمیکشه...الان 25 سالمه تازه با سئو اشنا شدم و حتی در نصب وورد پرس مبتدی و صعیف هستم چه برسه به طراحی سایت.....من چطور میتونم خودم رو از این وضعیت نجات بدم....سن ام هر چه میره بالا شدید افسرده میشم....با اینکه توانایی و استعداد های زیادی دارم ولی شکست در تحصیلات و ماندن در مدرک دیپلم و پاس نکردن پیش دانشگاهی .....افسرده.. ام کرده...... و به خدا نمیدونم چکار کنم سن ام اگه کم بود یه کاری میشد کرد ولی الان من 25 سالمه و نزدیک به 26 سالگی بدون سرمایه و حرفه هر چه سن ام بره بالا بدبخت تر میشم.پایین بودن مدرک که کنار و در این جامعه به مدرک و پول اهمیت میدن... ببخشید که زیاد نوشتم .... چون واقعا هنگ کردم تو زندگی... سپاس فراوان

لینک به ارسال

سلام

 

نقل قول

داداش میشه دایرکتوری و لیست خزش  رو بگی چیه ..اخه من یه چیزی بگم اطلاهات کمی دارم تازه وارد دنیای وب شدم

خوب مثال میزنم.

مثلا فرض کنید یه فایل ربات داریم به شکل زیر:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg$
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$

خوب خط اول میگه که ای تمامی بات های موتورهای جستجو کلا * در فایل ربات یعنی هر چی یعنی به ربات خاصی اشاره نکردیم منظورمون همه ربات هاست.

حالا مثلا خط اول میتونست اینطوری باشه:

User-agent: Googlebot

این یعنی فقط ربات گوگل مدنظر هست و بقیه ربات ها دستورهای زیر این خط رو نادیده بگیرن.

خوب خط دوم دایرکتوری images رو Disallow کردیم (دایرکتوری یعنی همون پوشه) مثلا اگر آدرس domain.com باشه ربات ها آدرس زیر رو بهش دسترسی ندارن:

http://domain.com/images/

خوب حالا کل پوشه images بسته شد برای موتورهای جستجو ولی من میخوام فقط فایل های عکس توی این پوشه رو بتونند ببنند موتورها به خاطر همین 4 خط Allow زیر Disallow مینویسم که کارشون اینه که به ربات های موتورهای جستجو میگن هر چی عکس توی پوشه images بود براتون مجازه و میتونید ایندکس کنید.

خوب درباره اون 4 خط آخر مثال میزنم:

http://domain.com/images/salam/20.jpg

عکس بالا با خط سوم فایل ربات ایندکس میشه جایگزین * اول salam میشه و جایگزین * دوم اسم عکس یعنی 20 میشه.

http://domain.com/images/20.jpg

عکس بالا با اینکه به نظر میرسه مطابق خط سوم فایل رباتمون هست ولی * اول رو کم داره بنابراین ایندکس نمیشه.

اگر بخوایم ایندکس بشه باید فایل رباتمون رو اینطوری کنیم:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg$
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$
Allow: /images/*.jpg$

مثال بعدی:

http://domain.com/images/salam/pic/ads/20.jpg

عکس بالا مطابق خط سوم ربات هست پس ایندکس میشه. salam/pic/ads جایگزین * اول و جایگزین * دوم اسم عکس یعنی 20 میشه.

http://domain.com/images/salam/pic/20.JPG

خوب اگر گفتید عکس بالا ایندکس میشه یا نه؟

آفرین درسته ایندکس نمیشه چون فایل ربات به بزرگ و کوچیک بودن حروف حساسه اگر بخوایم عکس بالا ایندکس شه فایل رباتمون رو باید به شکل زیر بکنیم:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg$
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$
Allow: /images/*/*.JPG$

خوب مثال بعدی:

http://domain.com/images/salam/pic/mehran/20.jpg?v=1.0

خوب نظرتون درباره عکس بالا چیه؟ ایندکس میشه؟

نه اینجا هم ایندکس نمیشه. حالا چرا؟

همش زیر سر علامت $ انتهای خطوط 3 و 4 و 5 و 6 ئه البته اینجا فقط زیر سر علامت $ خط سومه چون فرمت عکس jpg هست. علامت $ یعنی اینکه اسم فایل مورد نظر با jpg تموم بشه یعنی دیگه هیچی بعد jpg نیاد ولی در مثال بالا بعد از فرمت jpg یه کوئری استرینگ هم اومده که خوب باعت میشه ایندکس نشه.

برای اینکه مثال آخر ایندکس بشه باید علامت $ خط سوم رو پاک کنیم:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$

 

نقل قول

اخه من به داشتن مدرک اهمیت میدم...ولی بخاطر یه سری مشکلات و بدشانسی روزگار نتونستم ادامه تحصیل بدم و رشته ام ریاضی بود و مدرک دیپلم رو که گرفتم در پیش دانشگاهی درسهای تخصصی نتونستم پاس اش کنم..مدرک دیپلم موندم....و حالا تقریبا هفت هشت ساله که فاصله گرفتم از درس و کتاب و تنها چیزی که یادمه جدول ضربه....و با این فکر و مدرکی که دارم نمی تونم چیز ها و حرفه های جدیدی یاد بگیرم چون گفتم که به مدرک خیلی حساس ام و با مدرک دیپلم ....نمیتونم فکر ام رو تغییر بدم....وگرنه سئو که چیزی نیست ...سخت تر اشو هم توانایی رو دارم.....هر چی هم زور میزنم تا ادامه تحصیل بدم ...اعصاب ام نمیکشه...الان 25 سالمه تازه با سئو اشنا شدم و حتی در نصب وورد پرس مبتدی و صعیف هستم چه برسه به طراحی سایت.....من چطور میتونم خودم رو از این وضعیت نجات بدم....سن ام هر چه میره بالا شدید افسرده میشم....با اینکه توانایی و استعداد های زیادی دارم ولی شکست در تحصیلات و ماندن در مدرک دیپلم و پاس نکردن پیش دانشگاهی .....افسرده.. ام کرده...... و به خدا نمیدونم چکار کنم سن ام اگه کم بود یه کاری میشد کرد ولی الان من 25 سالمه و نزدیک به 26 سالگی بدون سرمایه و حرفه هر چه سن ام بره بالا بدبخت تر میشم.پایین بودن مدرک که کنار و در این جامعه به مدرک و پول اهمیت میدن... ببخشید که زیاد نوشتم .... چون واقعا هنگ کردم تو زندگی... سپاس فراوان

داداش این توضیحت داغونم کرد.

 

موفق باشی

لینک به ارسال
در 8 دقیقه قبل، xavi9 گفته است :

راه حل بگو داداش ....من چجوری از این منجلاب بیرون بیام....

توضیح دادم دیگه فایل ربات رو.

از این توضیح کامل تر میخواید؟

لینک به ارسال

اون که ممنون کمی فهمیدم.....برای این مشکل ام میخواستم کمک و راهنمایی ام بکنین ...که زیر نوشتم....

 

اخه من به داشتن مدرک اهمیت میدم...ولی بخاطر یه سری مشکلات و بدشانسی روزگار نتونستم ادامه تحصیل بدم و رشته ام ریاضی بود و مدرک دیپلم رو که گرفتم در پیش دانشگاهی درسهای تخصصی نتونستم پاس اش کنم..مدرک دیپلم موندم....و حالا تقریبا هفت هشت ساله که فاصله گرفتم از درس و کتاب و تنها چیزی که یادمه جدول ضربه....و با این فکر و مدرکی که دارم نمی تونم چیز ها و حرفه های جدیدی یاد بگیرم چون گفتم که به مدرک خیلی حساس ام و با مدرک دیپلم ....نمیتونم فکر ام رو تغییر بدم....وگرنه سئو که چیزی نیست ...سخت تر اشو هم توانایی رو دارم.....هر چی هم زور میزنم تا ادامه تحصیل بدم ...اعصاب ام نمیکشه...الان 25 سالمه تازه با سئو اشنا شدم و حتی در نصب وورد پرس مبتدی و صعیف هستم چه برسه به طراحی سایت.....من چطور میتونم خودم رو از این وضعیت نجات بدم....سن ام هر چه میره بالا شدید افسرده میشم....با اینکه توانایی و استعداد های زیادی دارم ولی شکست در تحصیلات و ماندن در مدرک دیپلم و پاس نکردن پیش دانشگاهی .....افسرده.. ام کرده...... و به خدا نمیدونم چکار کنم سن ام اگه کم بود یه کاری میشد کرد ولی الان من 25 سالمه و نزدیک به 26 سالگی بدون سرمایه و حرفه هر چه سن ام بره بالا بدبخت تر میشم.پایین بودن مدرک که کنار و در این جامعه به مدرک و پول اهمیت میدن... ببخشید که زیاد نوشتم .... چون واقعا هنگ کردم تو زندگی... سپاس فراوان

لینک به ارسال

به گفتگو بپیوندید

هم اکنون می توانید مطلب خود را ارسال نمایید و بعداً ثبت نام کنید. اگر حساب کاربری دارید، برای ارسال با حساب کاربری خود اکنون وارد شوید .

مهمان
ارسال پاسخ به این موضوع ...

×   شما در حال چسباندن محتوایی با قالب بندی هستید.   حذف قالب بندی

  تنها استفاده از 75 اموجی مجاز می باشد.

×   لینک شما به صورت اتوماتیک جای گذاری شد.   نمایش به صورت لینک

×   محتوای قبلی شما بازگردانی شد.   پاک کردن محتوای ویرایشگر

×   شما مستقیما نمی توانید تصویر خود را قرار دهید. یا آن را اینجا بارگذاری کنید یا از یک URL قرار دهید.

×
×
  • اضافه کردن...