www.felani.com/robot.txt

[arsham 10]

چطور از نمایش فایل robot.txt در سایت جلوگیری کنیم

به طور مثال www.feasldf.com/robot.txt نشون داده نشه

Disallow: /robots.txt اینکار هم جواب نداد

ویرایش شده در تیر 92 توسط arsham

[Mohammad Moradi 39]

الانکه یک صفحه سفید میاد!

منظورتون جلوگیری از ایندکس شدن توسط گوگل و عدم نمایش آن در جستجو می باشد؟!

[arsham 10]

نه اون آدرس مثال بود

اگر این آدرس رو تایپ کنید یک صفحه ظاهر میشه که اطلاعات robot.txt رو میده من میخوام از این جلوگیری بشه

این آدرس توی اکثر سایت ها کار نمی کنه و میخوام تو سایت منم کار نکنه. اطلاعاتی که با تایپ کرد آدرس نشون میده: که مربوط به خود فایل robot.txt است:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

[aligoli 12]

از پنل هاست،

دسترسی این فایل را 444 نمایید.

[Mohammad Moradi 39]

راه اول: خود این فایل رو Disallow کنید و بعد اگر توی نتایج گوگل لیست شده اون رو از بخش URL removal tool حذف کنید.

راه دوم : استفاده از HTTP HEADER هست. اگر وب سرور آپاچی دارید کافیه از تگ x-robots-tag استفاده کنید. به عنوان مثال :

<filesmatch “\.(txt)$”=”">

Header set X-Robots-Tag “noindex,noarchive,nosnippet,follow”

</filesmatch>

نه اون آدرس مثال بود

اگر این آدرس رو تایپ کنید یک صفحه ظاهر میشه که اطلاعات robot.txt رو میده من میخوام از این جلوگیری بشه

این آدرس توی اکثر سایت ها کار نمی کنه و میخوام تو سایت منم کار نکنه. اطلاعاتی که با تایپ کرد آدرس نشون میده: که مربوط به خود فایل robot.txt است:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

[arsham 10]

از پنل هاست،

دسترسی این فایل را 444 نمایید.

با اینکار این فایل کارآیی خودشو از دست نمیده؟؟

[arsham 10]

راه اول: خود این فایل رو Disallow کنید و بعد اگر توی نتایج گوگل لیست شده اون رو از بخش URL removal tool حذف کنید.

راه دوم : استفاده از HTTP HEADER هست. اگر وب سرور آپاچی دارید کافیه از تگ x-robots-tag استفاده کنید. به عنوان مثال :

<filesmatch “\.(txt)$”=”">

Header set X-Robots-Tag “noindex,noarchive,nosnippet,follow”

</filesmatch>

disallow کردم جواب نداد

میشه بیشتر راجع به http توضیح بدید

بی زحمت آموزش قدم به قدم چون من خیلی مبتدیم

مرسی