xavi9

robots txt

7 پست در این موضوع قرار دارد

سلام

میخواستم ببینم کاربرد robots txt چی هست...و اصلا چی هست ؟؟

0

به اشتراک گذاری این پست


لینک به پست
در 2 دقیقه قبل، xavi9 گفته است :

سلام

میخواستم ببینم کاربرد robots txt چی هست...و اصلا چی هست ؟؟

سلام

کار اصلیه فایل ربات اینه که برای بات های موتورهای جستجو مشخص میکنه که نباید کدوم دایرکتوری ها و صفحات رو خزش کنند.

قبل از هر درخواست بات موتورهای جستجو فایل ربات بررسی میشه و دایرکتوری هایی که توش به عنوان Disallow مشخص شده از لیست خزش حذف میشن.

1

به اشتراک گذاری این پست


لینک به پست

داداش میشه دایرکتوری و لیست خزش  رو بگی چیه ..اخه من یه چیزی بگم اطلاهات کمی دارم تازه وارد دنیای وب شدم

 

اخه من به داشتن مدرک اهمیت میدم...ولی بخاطر یه سری مشکلات و بدشانسی روزگار نتونستم ادامه تحصیل بدم و رشته ام ریاضی بود و مدرک دیپلم رو که گرفتم در پیش دانشگاهی درسهای تخصصی نتونستم پاس اش کنم..مدرک دیپلم موندم....و حالا تقریبا هفت هشت ساله که فاصله گرفتم از درس و کتاب و تنها چیزی که یادمه جدول ضربه....و با این فکر و مدرکی که دارم نمی تونم چیز ها و حرفه های جدیدی یاد بگیرم چون گفتم که به مدرک خیلی حساس ام و با مدرک دیپلم ....نمیتونم فکر ام رو تغییر بدم....وگرنه سئو که چیزی نیست ...سخت تر اشو هم توانایی رو دارم.....هر چی هم زور میزنم تا ادامه تحصیل بدم ...اعصاب ام نمیکشه...الان 25 سالمه تازه با سئو اشنا شدم و حتی در نصب وورد پرس مبتدی و صعیف هستم چه برسه به طراحی سایت.....من چطور میتونم خودم رو از این وضعیت نجات بدم....سن ام هر چه میره بالا شدید افسرده میشم....با اینکه توانایی و استعداد های زیادی دارم ولی شکست در تحصیلات و ماندن در مدرک دیپلم و پاس نکردن پیش دانشگاهی .....افسرده.. ام کرده...... و به خدا نمیدونم چکار کنم سن ام اگه کم بود یه کاری میشد کرد ولی الان من 25 سالمه و نزدیک به 26 سالگی بدون سرمایه و حرفه هر چه سن ام بره بالا بدبخت تر میشم.پایین بودن مدرک که کنار و در این جامعه به مدرک و پول اهمیت میدن... ببخشید که زیاد نوشتم .... چون واقعا هنگ کردم تو زندگی... سپاس فراوان

0

به اشتراک گذاری این پست


لینک به پست

سلام

 

نقل قول

داداش میشه دایرکتوری و لیست خزش  رو بگی چیه ..اخه من یه چیزی بگم اطلاهات کمی دارم تازه وارد دنیای وب شدم

خوب مثال میزنم.

مثلا فرض کنید یه فایل ربات داریم به شکل زیر:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg$
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$

خوب خط اول میگه که ای تمامی بات های موتورهای جستجو کلا * در فایل ربات یعنی هر چی یعنی به ربات خاصی اشاره نکردیم منظورمون همه ربات هاست.

حالا مثلا خط اول میتونست اینطوری باشه:

User-agent: Googlebot

این یعنی فقط ربات گوگل مدنظر هست و بقیه ربات ها دستورهای زیر این خط رو نادیده بگیرن.

خوب خط دوم دایرکتوری images رو Disallow کردیم (دایرکتوری یعنی همون پوشه) مثلا اگر آدرس domain.com باشه ربات ها آدرس زیر رو بهش دسترسی ندارن:

http://domain.com/images/

خوب حالا کل پوشه images بسته شد برای موتورهای جستجو ولی من میخوام فقط فایل های عکس توی این پوشه رو بتونند ببنند موتورها به خاطر همین 4 خط Allow زیر Disallow مینویسم که کارشون اینه که به ربات های موتورهای جستجو میگن هر چی عکس توی پوشه images بود براتون مجازه و میتونید ایندکس کنید.

خوب درباره اون 4 خط آخر مثال میزنم:

http://domain.com/images/salam/20.jpg

عکس بالا با خط سوم فایل ربات ایندکس میشه جایگزین * اول salam میشه و جایگزین * دوم اسم عکس یعنی 20 میشه.

http://domain.com/images/20.jpg

عکس بالا با اینکه به نظر میرسه مطابق خط سوم فایل رباتمون هست ولی * اول رو کم داره بنابراین ایندکس نمیشه.

اگر بخوایم ایندکس بشه باید فایل رباتمون رو اینطوری کنیم:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg$
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$
Allow: /images/*.jpg$

مثال بعدی:

http://domain.com/images/salam/pic/ads/20.jpg

عکس بالا مطابق خط سوم ربات هست پس ایندکس میشه. salam/pic/ads جایگزین * اول و جایگزین * دوم اسم عکس یعنی 20 میشه.

http://domain.com/images/salam/pic/20.JPG

خوب اگر گفتید عکس بالا ایندکس میشه یا نه؟

آفرین درسته ایندکس نمیشه چون فایل ربات به بزرگ و کوچیک بودن حروف حساسه اگر بخوایم عکس بالا ایندکس شه فایل رباتمون رو باید به شکل زیر بکنیم:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg$
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$
Allow: /images/*/*.JPG$

خوب مثال بعدی:

http://domain.com/images/salam/pic/mehran/20.jpg?v=1.0

خوب نظرتون درباره عکس بالا چیه؟ ایندکس میشه؟

نه اینجا هم ایندکس نمیشه. حالا چرا؟

همش زیر سر علامت $ انتهای خطوط 3 و 4 و 5 و 6 ئه البته اینجا فقط زیر سر علامت $ خط سومه چون فرمت عکس jpg هست. علامت $ یعنی اینکه اسم فایل مورد نظر با jpg تموم بشه یعنی دیگه هیچی بعد jpg نیاد ولی در مثال بالا بعد از فرمت jpg یه کوئری استرینگ هم اومده که خوب باعت میشه ایندکس نشه.

برای اینکه مثال آخر ایندکس بشه باید علامت $ خط سوم رو پاک کنیم:

User-agent: *
Disallow: /images/
Allow: /images/*/*.jpg
Allow: /images/*/*.jpeg$
Allow: /images/*/*.png$
Allow: /images/*/*.gif$

 

نقل قول

اخه من به داشتن مدرک اهمیت میدم...ولی بخاطر یه سری مشکلات و بدشانسی روزگار نتونستم ادامه تحصیل بدم و رشته ام ریاضی بود و مدرک دیپلم رو که گرفتم در پیش دانشگاهی درسهای تخصصی نتونستم پاس اش کنم..مدرک دیپلم موندم....و حالا تقریبا هفت هشت ساله که فاصله گرفتم از درس و کتاب و تنها چیزی که یادمه جدول ضربه....و با این فکر و مدرکی که دارم نمی تونم چیز ها و حرفه های جدیدی یاد بگیرم چون گفتم که به مدرک خیلی حساس ام و با مدرک دیپلم ....نمیتونم فکر ام رو تغییر بدم....وگرنه سئو که چیزی نیست ...سخت تر اشو هم توانایی رو دارم.....هر چی هم زور میزنم تا ادامه تحصیل بدم ...اعصاب ام نمیکشه...الان 25 سالمه تازه با سئو اشنا شدم و حتی در نصب وورد پرس مبتدی و صعیف هستم چه برسه به طراحی سایت.....من چطور میتونم خودم رو از این وضعیت نجات بدم....سن ام هر چه میره بالا شدید افسرده میشم....با اینکه توانایی و استعداد های زیادی دارم ولی شکست در تحصیلات و ماندن در مدرک دیپلم و پاس نکردن پیش دانشگاهی .....افسرده.. ام کرده...... و به خدا نمیدونم چکار کنم سن ام اگه کم بود یه کاری میشد کرد ولی الان من 25 سالمه و نزدیک به 26 سالگی بدون سرمایه و حرفه هر چه سن ام بره بالا بدبخت تر میشم.پایین بودن مدرک که کنار و در این جامعه به مدرک و پول اهمیت میدن... ببخشید که زیاد نوشتم .... چون واقعا هنگ کردم تو زندگی... سپاس فراوان

داداش این توضیحت داغونم کرد.

 

موفق باشی

1

به اشتراک گذاری این پست


لینک به پست

راه حل بگو داداش ....من چجوری از این منجلاب بیرون بیام....

0

به اشتراک گذاری این پست


لینک به پست
در 8 دقیقه قبل، xavi9 گفته است :

راه حل بگو داداش ....من چجوری از این منجلاب بیرون بیام....

توضیح دادم دیگه فایل ربات رو.

از این توضیح کامل تر میخواید؟

0

به اشتراک گذاری این پست


لینک به پست

اون که ممنون کمی فهمیدم.....برای این مشکل ام میخواستم کمک و راهنمایی ام بکنین ...که زیر نوشتم....

 

اخه من به داشتن مدرک اهمیت میدم...ولی بخاطر یه سری مشکلات و بدشانسی روزگار نتونستم ادامه تحصیل بدم و رشته ام ریاضی بود و مدرک دیپلم رو که گرفتم در پیش دانشگاهی درسهای تخصصی نتونستم پاس اش کنم..مدرک دیپلم موندم....و حالا تقریبا هفت هشت ساله که فاصله گرفتم از درس و کتاب و تنها چیزی که یادمه جدول ضربه....و با این فکر و مدرکی که دارم نمی تونم چیز ها و حرفه های جدیدی یاد بگیرم چون گفتم که به مدرک خیلی حساس ام و با مدرک دیپلم ....نمیتونم فکر ام رو تغییر بدم....وگرنه سئو که چیزی نیست ...سخت تر اشو هم توانایی رو دارم.....هر چی هم زور میزنم تا ادامه تحصیل بدم ...اعصاب ام نمیکشه...الان 25 سالمه تازه با سئو اشنا شدم و حتی در نصب وورد پرس مبتدی و صعیف هستم چه برسه به طراحی سایت.....من چطور میتونم خودم رو از این وضعیت نجات بدم....سن ام هر چه میره بالا شدید افسرده میشم....با اینکه توانایی و استعداد های زیادی دارم ولی شکست در تحصیلات و ماندن در مدرک دیپلم و پاس نکردن پیش دانشگاهی .....افسرده.. ام کرده...... و به خدا نمیدونم چکار کنم سن ام اگه کم بود یه کاری میشد کرد ولی الان من 25 سالمه و نزدیک به 26 سالگی بدون سرمایه و حرفه هر چه سن ام بره بالا بدبخت تر میشم.پایین بودن مدرک که کنار و در این جامعه به مدرک و پول اهمیت میدن... ببخشید که زیاد نوشتم .... چون واقعا هنگ کردم تو زندگی... سپاس فراوان

0

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری