یکشنبه 11 اردیبهشت 1401 زمان خواندن : دقیقه
Robot.txt ها فایل متنی ساده با پسوند txt در هسته یک وبسایت هستند که مسیر را برای ربات‌های موتورهای جستجو مشخص می‌کنند و به روشنی به آنها دستور می‌دهند که به کدام بخش‌های سایت دسترسی داشته و به کدام بخش‌ها دسترس نداشته باشند.
اهمیت فایل Robots.txt برای سئو سایت
همانطور که گفتیم فایل Robots.txt شمادستورالعملی است که به موتورهای جستجو می‌گوید به چه صفحاتی از وبسایت شما دسترسی داشته باشند و کدام صفحات را ایندکس نکنند. برای مثال، اگر شما نمی‌خواهید موتورهای جستجو به صفحه نظرسنجی یا پست‌های مهمان که دارای محتوای UGC هستند که برای موتورهای جستجو بهینه‌سازی نشدند یا امکان دارد لینک اسپم داشته باشند، دسترسی پیدا کنند در فایل Robots.txt خود مشخص می‌کنید که آن صفحه در نتایج جستجوی ربات‌ها نمایش داده نشود.
برنامه‌هایی مثل Googlebot این توانایی را دارن که با توجه به دستورالعمل‌های که توسط برنامه نویس تعیین شده یک وبسایت را فهرست کنند و اطلاعات را در اختیار ربات‌های موتورهای جستجو قرار دهند تا در انتها صفحات سایت در نتایج جستجو ظاهر شوند و در اختیار کاربران قرار بگیرند.
اگر بخواهید صفحات را از جستجوی Google پنهان نگه دارید، می‌توانید صفحه را با یک فایل robots.txt در پوشه‌ایی در سطح بالای سایت مسدود کنید. Robots.txt به عنوان «پروتکل حذف ربات» شناخته می‌شود. جلوگیری از ایندکس کردن محتوای اسپم توسط خزنده‌های موتورهای جستجو یا حفظ حریم خصوصی یا امنیت وبسایت به این صورت است که این صفحه برای تعیین رتبه و قرار گرفتن در صفحات نتایج موتورهای جستجو (SERP) در نظر گرفته نخواهد شد.
فایل robots.txt چیست؟
تگ nofollow مسیر دیگری برای کنترل خزش موتورهای جستجو است. تگ nofollow را از جمع آوری لینکها در صفحات برای تعیین رتبه صفحه توسط ربات‌ها جلوگیری می‌کند. وب مسترها می‌توانند از nofollow برای جلوگیری از جریمه‌های بهینه‌سازی موتور جستجو (SEO) استفاده کنند. برای جلوگیری از دنبال کردن Googlebot از لینکها در یک صفحه مشخص شده از یک سایت، سایت می‌توانید متا تگ nofollow را در فایل robots.txt قرار دهید و rel=”nofollow” را به خود پیوندها اضافه کنید.
یک فایل robots.txt می‌تواند یک مبدا را پوشش دهد. برای سایت‌هایی با چندین زیر دامنه، هر زیر دامنه باید فایل robots.txt مختص به خود را داشته باشد. اگر example.com یک فایل robots.txt داشت باشد اما a.example.com فایل جداگانه‌ایی نداشته باشد، قوانینی که برای example.com اعمال می‌شود برای a.example.com اعمال نمی‌شود. به همین دلیل، هر پروتکل و پورت به فایل robots.txt مختص به خود نیاز دارد.
آیا باید robots txt را حذف کنیم؟
چرا در حال حاضر گفته می‌شود که این فایل را داشته باشید ولی خالی بگذاریدش؟
فایل txt تنها زمانی مورد نیاز است که بخواهید کنترل بیشتری بر آنچه در حال خزیدن است داشته باشید. در حال حاضر گفته میشه بهتر است که شما فایل robots.txt را در سایت خود داشته باشید ولی آن را خالی نگه دارید شما نباید از روبات استفاده کنید. txt به عنوان وسیله‌ای برای پنهان کردن صفحات وب خود از نتایج جستجوی گوگل، چون ممکنه صفحات دیگر به شما اشاره کنند و به هر شکل صفحه شما ایندکس شده باشد ولی شما به اشتباه با استفاده از robots.txt دستور داده باشید که صفحه دیده نشود و این موضوع به ضرر شما می‌شود.
بدون دیدگاه