ali pir

درخواست بررسی فایل Robots.txt و htaccess

6 پست در این موضوع قرار دارد

میخواستم نظرتون رو راجب این فایل ها بدونم.. بگید خوبن یا نه.. احساس میکنم بعضا بی فایده و چرت اند... چی کار کنم!؟؟!

روبوت:


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
Sitemap: /sitemapindex.xml

htaccess:


#allow from 37.63.177.36
#allow from 2.186.177.91
#deny from all
# BEGIN W3TC Browser Cache
<IfModule mod_mime.c>
AddType text/css .css
AddType application/x-javascript .js
AddType text/x-component .htc
AddType text/html .html .htm
AddType text/richtext .rtf .rtx
AddType image/svg+xml .svg .svgz
AddType text/plain .txt
AddType text/xsd .xsd
AddType text/xsl .xsl
AddType text/xml .xml
AddType video/asf .asf .asx .wax .wmv .wmx
AddType video/avi .avi
AddType image/bmp .bmp
AddType application/java .class
AddType video/divx .divx
AddType application/msword .doc .docx
AddType application/vnd.ms-fontobject .eot
AddType application/x-msdownload .exe
AddType image/gif .gif
AddType application/x-gzip .gz .gzip
AddType image/x-icon .ico
AddType image/jpeg .jpg .jpeg .jpe
AddType application/vnd.ms-access .mdb
AddType audio/midi .mid .midi
AddType video/quicktime .mov .qt
AddType audio/mpeg .mp3 .m4a
AddType video/mp4 .mp4 .m4v
AddType video/mpeg .mpeg .mpg .mpe
AddType application/vnd.ms-project .mpp
AddType application/x-font-otf .otf
AddType application/vnd.oasis.opendocument.database .odb
AddType application/vnd.oasis.opendocument.chart .odc
AddType application/vnd.oasis.opendocument.formula .odf
AddType application/vnd.oasis.opendocument.graphics .odg
AddType application/vnd.oasis.opendocument.presentation .odp
AddType application/vnd.oasis.opendocument.spreadsheet .ods
AddType application/vnd.oasis.opendocument.text .odt
AddType audio/ogg .ogg
AddType application/pdf .pdf
AddType image/png .png
AddType application/vnd.ms-powerpoint .pot .pps .ppt .pptx
AddType audio/x-realaudio .ra .ram
AddType application/x-shockwave-flash .swf
AddType application/x-tar .tar
AddType image/tiff .tif .tiff
AddType application/x-font-ttf .ttf .ttc
AddType audio/wav .wav
AddType audio/wma .wma
AddType application/vnd.ms-write .wri
AddType application/vnd.ms-excel .xla .xls .xlsx .xlt .xlw
AddType application/zip .zip
</IfModule>
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType text/css A31536000
ExpiresByType application/x-javascript A31536000
ExpiresByType text/x-component A31536000
ExpiresByType text/html A3600
ExpiresByType text/richtext A3600
ExpiresByType image/svg+xml A3600
ExpiresByType text/plain A3600
ExpiresByType text/xsd A3600
ExpiresByType text/xsl A3600
ExpiresByType text/xml A3600
ExpiresByType video/asf A31536000
ExpiresByType video/avi A31536000
ExpiresByType image/bmp A31536000
ExpiresByType application/java A31536000
ExpiresByType video/divx A31536000
ExpiresByType application/msword A31536000
ExpiresByType application/vnd.ms-fontobject A31536000
ExpiresByType application/x-msdownload A31536000
ExpiresByType image/gif A31536000
ExpiresByType application/x-gzip A31536000
ExpiresByType image/x-icon A31536000
ExpiresByType image/jpeg A31536000
ExpiresByType application/vnd.ms-access A31536000
ExpiresByType audio/midi A31536000
ExpiresByType video/quicktime A31536000
ExpiresByType audio/mpeg A31536000
ExpiresByType video/mp4 A31536000
ExpiresByType video/mpeg A31536000
ExpiresByType application/vnd.ms-project A31536000
ExpiresByType application/x-font-otf A31536000
ExpiresByType application/vnd.oasis.opendocument.database A31536000
ExpiresByType application/vnd.oasis.opendocument.chart A31536000
ExpiresByType application/vnd.oasis.opendocument.formula A31536000
ExpiresByType application/vnd.oasis.opendocument.graphics A31536000
ExpiresByType application/vnd.oasis.opendocument.presentation A31536000
ExpiresByType application/vnd.oasis.opendocument.spreadsheet A31536000
ExpiresByType application/vnd.oasis.opendocument.text A31536000
ExpiresByType audio/ogg A31536000
ExpiresByType application/pdf A31536000
ExpiresByType image/png A31536000
ExpiresByType application/vnd.ms-powerpoint A31536000
ExpiresByType audio/x-realaudio A31536000
ExpiresByType image/svg+xml A31536000
ExpiresByType application/x-shockwave-flash A31536000
ExpiresByType application/x-tar A31536000
ExpiresByType image/tiff A31536000
ExpiresByType application/x-font-ttf A31536000
ExpiresByType audio/wav A31536000
ExpiresByType audio/wma A31536000
ExpiresByType application/vnd.ms-write A31536000
ExpiresByType application/vnd.ms-excel A31536000
ExpiresByType application/zip A31536000
</IfModule>
<IfModule mod_deflate.c>
<IfModule mod_setenvif.c>
BrowserMatch ^Mozilla/4 gzip-only-text/html
BrowserMatch ^Mozilla/4\.0[678] no-gzip
BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html
</IfModule>
<IfModule mod_headers.c>
Header append Vary User-Agent env=!dont-vary
</IfModule>
<IfModule mod_filter.c>
AddOutputFilterByType DEFLATE text/css application/x-javascript text/x-component text/html text/richtext image/svg+xml text/plain text/xsd text/xsl text/xml image/x-icon
</IfModule>
</IfModule>
<FilesMatch "\.(css|js|htc|CSS|JS|HTC)$">
FileETag MTime Size
<IfModule mod_headers.c>
Header set X-Powered-By "W3 Total Cache/0.9.2.5"
</IfModule>
</FilesMatch>
<FilesMatch "\.(html|htm|rtf|rtx|svg|svgz|txt|xsd|xsl|xml|HTML|HTM|RTF|RTX|SVG|SVGZ|TXT|XSD|XSL|XML)$">
FileETag MTime Size
<IfModule mod_headers.c>
Header set X-Powered-By "W3 Total Cache/0.9.2.5"
</IfModule>
</FilesMatch>
<FilesMatch "\.(asf|asx|wax|wmv|wmx|avi|bmp|class|divx|doc|docx|eot|exe|gif|gz|gzip|ico|jpg|jpeg|jpe|mdb|mid|midi|mov|qt|mp3|m4a|mp4|m4v|mpeg|mpg|mpe|mpp|otf|odb|odc|odf|odg|odp|ods|odt|ogg|pdf|png|pot|pps|ppt|pptx|ra|ram|svg|svgz|swf|tar|tif|tiff|ttf|ttc|wav|wma|wri|xla|xls|xlsx|xlt|xlw|zip|ASF|ASX|WAX|WMV|WMX|AVI|BMP|CLASS|DIVX|DOC|DOCX|EOT|EXE|GIF|GZ|GZIP|ICO|JPG|JPEG|JPE|MDB|MID|MIDI|MOV|QT|MP3|M4A|MP4|M4V|MPEG|MPG|MPE|MPP|OTF|ODB|ODC|ODF|ODG|ODP|ODS|ODT|OGG|PDF|PNG|POT|PPS|PPT|PPTX|RA|RAM|SVG|SVGZ|SWF|TAR|TIF|TIFF|TTF|TTC|WAV|WMA|WRI|XLA|XLS|XLSX|XLT|XLW|ZIP)$">
FileETag MTime Size
<IfModule mod_headers.c>
Header set X-Powered-By "W3 Total Cache/0.9.2.5"
</IfModule>
</FilesMatch>
# END W3TC Browser Cache
# BEGIN W3TC Page Cache core
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^(.*\/)?w3tc_rewrite_test$ $1?w3tc_rewrite_test=1 [L]
RewriteCond %{HTTPS} =on
RewriteRule .* - [E=W3TC_SSL:_ssl]
RewriteCond %{SERVER_PORT} =443
RewriteRule .* - [E=W3TC_SSL:_ssl]
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteRule .* - [E=W3TC_ENC:_gzip]
RewriteCond %{REQUEST_METHOD} !=POST
RewriteCond %{QUERY_STRING} =""
RewriteCond %{HTTP_HOST} =gamershelper.com
RewriteCond %{REQUEST_URI} \/$ [OR]
RewriteCond %{REQUEST_URI} (sitemap(_index)?\.xml(\.gz)?|[a-z0-9_\-]+-sitemap([0-9]+)?\.xml(\.gz)?) [NC]
RewriteCond %{REQUEST_URI} !(\/wp-admin\/|\/xmlrpc.php|\/wp-(app|cron|login|register|mail)\.php|\/feed\/|wp-.*\.php|index\.php) [NC,OR]
RewriteCond %{REQUEST_URI} (wp\-comments\-popup\.php|wp\-links\-opml\.php|wp\-locations\.php) [NC]
RewriteCond %{HTTP_COOKIE} !(comment_author|wp\-postpass|wordpress_\[a\-f0\-9\]\+|wordpress_logged_in) [NC]
RewriteCond %{HTTP_USER_AGENT} !(W3\ Total\ Cache/0\.9\.2\.5) [NC]
RewriteCond "%{DOCUMENT_ROOT}/wp-content/w3tc/pgcache/%{REQUEST_URI}/_index%{ENV:W3TC_UA}%{ENV:W3TC_REF}%{ENV:W3TC_SSL}.html%{ENV:W3TC_ENC}" -f
RewriteRule .* "/wp-content/w3tc/pgcache/%{REQUEST_URI}/_index%{ENV:W3TC_UA}%{ENV:W3TC_REF}%{ENV:W3TC_SSL}.html%{ENV:W3TC_ENC}" [L]
</IfModule>
# END W3TC Page Cache core
# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# END WordPress

# BEGIN GZIP
AddOutputFilterByType DEFLATE text/text text/html text/plain text/xml text/css application/x-javascript application/javascript
# END GZIP

به اشتراک گذاری این پست


لینک به پست

- در فایل روبوت سلیقه شما و کارکرد سایت شما مهمه - که بخواین جستجوگر ها چه چیزهایی رو ببینند یا نبینند

برای مثال چنانچه بخواهید پلاگین ها رو ببینند یا خیر

- در اچ تی اکسس هم به همین نحو؛ مثلاً اینکه کش مرورگر تا چه زمانی ذخیره سازی رو انجام بده

در مجموع کدوم بخش ها به نظرتون چرت میاد؟ هر بخشی که به نظرتون اینجوریه حذف کنید

به اشتراک گذاری این پست


لینک به پست

اینا همش توسط افزونه w3 tota cache ایجاد شده و بیشترش هم مربوط به فعال سازی کش مرورگر هست که با 4-5 خط ساده میتونید اونو فعال کنید . این جا اومده انواع فایل ها و پسوند ها رو قرار داده و برای هر کدوم یک مقدار زمانی کش در نظر گرفته . اون بالا هم یک سری ip ها رو مسدود کرده .

در مورد روبوت تکست هم موردی نداره . مناسبه به نظر بنده .

به اشتراک گذاری این پست


لینک به پست

این کد ها ممکنه به سرعت سایت یا فشاری که سایت به سرور هاست میاره ربط داشته باشن؟!؟!

اگه آره.. این کدها با این دید چه طور هستن..؟! خوبن؟

به اشتراک گذاری این پست


لینک به پست

فکر نمیکنم اینطور باشه . این کدها فقط بیشتر خیلی جزئی و بسیار ریز به بررسی کش شدن و نشدن و زمان کش فایل ها پرداخته . اتفاقاً مفیده اما استفاده آنچنانی برای شما نداره جز اینکه موقع کار باهاش اینجوری بشید :blink: . (تصویر کاملاً گویاست)

مشکلی فکر نمیکنم پیش بیاد . میتونید با همین فایل htaccess کار کنید .

به اشتراک گذاری این پست


لینک به پست

برای ارسال نظر یک حساب کاربری ایجاد کنید یا وارد حساب خود شوید

برای اینکه بتوانید نظر ارسال کنید نیاز دارید که کاربر سایت شوید

ایجاد یک حساب کاربری

برای حساب کاربری جدید در انجمن ما ثبت نام کنید. عضویت خیلی ساده است !


ثبت نام یک حساب کاربری جدید

ورود به حساب کاربری

دارای حساب کاربری هستید؟ از اینجا وارد شوید


ورود به حساب کاربری

  • مطالب مشابه

    • توسط asam3000
      سلام به همگی
      من یه سایت وردپرس دارم که چند وقت یبار حدودا 2 روز یبار بدون اینکه من حتی روش فعالیتی انجام بدم فایل htaccess عوض میشه و تازه دسترسی اون هم به 444 عوض میشه و دیگه هم هرچی برش می گردونم بعد از 10 دقیقه دو باره به حالت اول برمی گرده. از افزونه وردفنس هم استفاده کردم نتیجه نداد...
      مشکل اصلی اینجاست که وقتی فایل htaccess عوض میشه دیگه صفحه اصلی سایت با پیام 404 باز میشه. و من هر سری مجبورم از بک آپ استفاده کنم ولی بازم 2 روز بیشتر کار نمیده.
      کسی میتونه راهنمایی کنه؟
    • توسط majidted
      سلام  خسته نباشید بسیار ، به مشکلی خوردم و درخواست کمک هر کسی میتونه کمک کنه ، اینم شمارمه 09300151579 درصورت نیاز تماس بگیرید

      مشکل ما اینه که ما وقتی میخوایم داخل فایل htaccess از کد
      RewriteEngine On RewriteCond %{HTTP:X-Forwarded-Proto} !https RewriteRule ^(.*)$ https://%{HTTP_HOST}/$1 [R=301,L] استفاده کنیم ، (کدی که اجبار به استفاده از HTTPS ) میکنه این ارور رو میده : the page isn't redirecting properly

       
      اینم فایل htaccess من

      خیلی لطف میکنید اگر کمکم کنید ،
      htaccess.txt
    • توسط sajadshiraz
      با سلام
      چند روز میشه وردپرس من مشکل بهم زده
      روز اول متوجه شدم سایت فقط صفحه اول باز میشه بقیه صفحات ارور 404 میده
      پرسیدم گفتن پیوند یکتا تغییر کرده درستش کردم ولی بازم تغییر کرد
      تو هاست چک کردم دیدم فایل htaccess مشکل داره و مشکلش اینه که بعد از چند ساعت از پاک کردنش دوباره permission از حالت 644 به 444 تغییر پیدا میکنه و حجمش تند تند اضافه میشه و بعد از اینکه حجم زیاد شد دیگه ارور 404 شروع میشه
      با هاست در میان گذاشتم چندین بار ویروس یابی کردن میگن مشکلی نیست
      قالب ها رو کلا حذف کردم
      افزونه ها رو کلا حذف کردم
      بازم این مشکل وجود داره
      خواهشا راهنمایی کنید
    • توسط wordpre3
      درود بر همگی
      24 ساعت پیش قصد نصب یک اسکریپت را بر روی سی پنل داشتم که موفق نشدم و هنوز اون دوتا پوشه ی مربوط به اسکریپت ها درون هاستم باقی مونده و به هیچ وجه پاک نمیشه.
      با پشتیبان سایت تماس گرفتم و گفتن پشتیبانی از نرم افزار به عهده ی اونها نیست و باید از برنامه نوس بخوام تا ایراد را برطرف کنه.
      یه مشکل دیگه ای که برام بوجود اومده اینه که وقتی وارد سایتم میشم
      تمام آیکون های سایت شکل ارور نمایش داده میشه.
      مثل عکس زیر
      با پشتیبان قالب تماس گرفتم و کد زیر را برام فرستادم:
      <FilesMatch "\.(ttf|otf|woff)$">
      <IfModule mod_headers.c>
      Header set Access-Control-Allow-Origin "*"
      </IfModule>
      </FilesMatch>
      این کد را برای برطرف کردن این ارور در قسمت .htaccess وارد کردم
      پشتیبان گفت دیگه مشکلم برطرف شده و عکس از سایتم برام فرستاد و گفت از فارفاکس و گوگل کروم وارد شدم و دیگه مشکلی نیست.
      منم بعد از پاک کردن کش سایت و ctrl f5 دوباره اقدام به نمایش سایت گرفتم و الان با وجود تلاش های فراوان نتونستم این مشکل را برطرف کنم
      لطفا بررسی کنید
      سپاس

    • توسط Ehsaan
      آموزش ساخت Pretty URLs
      در این مقاله کوتاه قصد دارم نحوه ساختن URLهای زیبا (Pretty URLs) رو برای یه برنامه PHP خدمت شما دوستان عزیز توضیح بدم.
      مزایای استفاده از Pretty URLs:
      سئوی بهتر
      اگه به هر دلیلی مجبور شدید اسم یه فایل رو توی یه اپلیکیشن تغییر بدید، با این روش دیگه نیازی به عوض کردن URLها در چندین فایل ندارین، فقط در فایل htaccess اونو تغییر میدین.
      باعث میشه تا کاربرای متوسط راحت‌تر به متحوای سایت شما (فقط با تایپ کردن URL) دسترسی داشته باشن.
      در کدنویسی PHP، شما میتونید تا 50% خیال خودتون رو از SQLI و ولیدیشن دیتا راحت کنید.

      دقت کنین که این آموزش برای اسکریپت‌های PHP هست و نه وردپرس و سیستم‌های مشابه آماده.
      نکته دیگه هم اینه که این آموزش فقط روی وب‌سرورهای Apache و وب‌سرورهایی که از htaccess ساپورت میکنن، جواب میده؛ علاوه بر این، سرور باید اجازه استفاده از ماژول Rewrite رو به شما بده. برای غیر از وب‌سرورهای Apache-Based، راه‌حل‌های دیگه هست که ان‌شاءالله در فرصت مناسبی اونا رو هم توضیح میدم.
      برای شروع کار، میریم سراغ ساده‌تر نمونه، مثلاً شما صفحه‌ای دارید که با این URL قابل دسترسی هست:


      http://site.com/aboutus.php

      ساده‌ترین روش برای زیباکردن این URL، نوشتن یه رول ساده هست، البته فراموش نکنید که اول باید موتور Rewrite رو روشن کرد.


      RewriteEngine on
      RewriteRule aboutus aboutus.php

      بعد از روشن‌کردن موتور، ابتدا باید عبارت RewriteRule رو بنویسیم که مشخص کنیم که در حال نوشتن یه عبارت Rewrite هستیم. بعد از اون؛ چیزی رو که میخوایم بهش تبدیل بشه رو مینویسیم و سپس بعد از اون با یه فاصله، اسم فایل اصلی و حقیقی رو مینویسیم.
      می‌بینید که خیلی راحت میشه با استفاده‌کردن از این کد در فایل .htaccess، یه URL ساده رو زیباتر کنیم. حالا این صفحه از طریق URL زیر هم قابل‌دسترس خواهد بود:


      http://site.com/aboutus

      اما نمونه پیچیده‌تر:


      http://site.com/view.php?id=#

      صورت مسئله به ما میگه که به جای # یه عدد قرار میگیره و ما قصد داریم این URL رو به شکل زیر زیباسازی کنیم:


      http://site.com/view/#

      در این صورت استفاده از روش قبل، به هیچ‌عنوان پاسخگوی ما نیست، چون # میتونه مقداری متغیری باشه و روش قبل، صرفاً برای URLهایی به کار میرفت که کاملاً ثابت باشن.
      در این صورت، ما باید از Regular Expressions استفاده کنیم [اگه نمیدونین چی هستن، به این پست مراجعه کنید.]
      همونطور که میدونیم # عدد هست و نمیتونه کاراکتر باشه.
      قبل از نوشتن دستور htaccess، اول عبارت منطقی رو مینویسیم.


      ^view/([0-9]+)?$

      توضیح: ^ نماد شروع عبارت و $ نماد پایانیه. بعد از اون view/ رو مینویسیم. بعد از اون، ما عبارت ([0-9]+) رو داریم که یه عبارت شرطیه. ) و ( نشون‌دهنده یه عبارت منسجم هست که یعنی کلمات داخل این عبارت، کاری با بقیه ندارن). سپس یه مجموعه تعریف میکنیم: [0-9] یعنی هر کاراکتر از 0 تا 9 رو شامل بشه. کاراکتر + یعنی از این مجموعه، یکی یا بیشتر داشته باشیم.
      کاراکتر ? در پایان هم به معنی URLبودن شرط ماست.
      حالا شرط رو به RewriteRule میاریم.


      RewriteRule ^view/([0-9]+)?$ view.php?id=$1

      $1 به معنای جایگزینی این عبارت ($1) با اولین نتیجه شرط عبارتمون هست. مثلاً اگه یوزر به URL زیر بره:


      http://site.com/view/1

      به جای $1، اسکریپت PHP ما مقدار 1 رو دریافت میکنه.
      به همین سادگی! شما حالا میتونید با این روش Pretty URL بسازید.

      مثال دیگه
      URL کنونی:


      http://site.php/users.php?id=#∂=$

      به جای # عدد (شماره کاربر) و به جای $ یک رشته (قسمت موردنظر) قرار میگیرد.
      هدف:


      http://site.com/users/#/$

      عبارت:


      RewriteRule ^users/([0-9]+)/(.+)?$ users.php?id=$1∂=$2

      لزوماً ما مجبور به استفاده از یک شرط نیستیم و میتوانیم چندین شرط دیگر را وارد کنیم. برای تعیین مسیر فایل واقعی، از $x استفاده می‌کنیم که x از 1 آغاز میشود و به ترتیب تعریف شرط‌ها از چپ، افزایش می‌یابد. برای مثال در عبارت بالا، شرط عددی چون اول تعریف شده $1 و شرط حروف چون بعد از آن تعریف شده، $2 را در اختیار دارد.
      --------------------------------
      مثال‌های بیش‌تر رو خود دوستان بزنن!
      موفق باشید.