چگونه یک صفحه را از نتایج گوگل حذف کنیم؟

سه‌شنبه 13 اردیبهشت 1401 زمان خواندن : دقیقه تهران سایت

سوالی که توسط کاربران مادام از ما پرسیده می‌شود این است که چگونه اطلاعات سایت یا یک صفحه از وبسایت خود را از گوگل حذف کنیم؟

دلایل زیادی برای حذف یک محتوا از گوگل می‌تواند وجود داشته باشد، مثلاً متوجه می‌شوید موتورهای جستجوی گوگل صفحاتی را از وبسایتتان فهرست کرده است شامل اطلاعات قدیمی، محتوای تکراری یا محتوای خصوصی بودند که نمی‌خواستید منتشر شوند. طراحی سایت و دانستن نحوه نگهداری آن بسیار مهم است. وقتی زمان زیادی از عمر یک سایت می‌گذرد و مطالب زیادی در طول چند سال منتشر می‌شود، به دلیل افزایش تعداد صفحات بی‌هدف ممکن است مشکلاتی به وجود بیاید.

زیرا تمامی URL‌ های به وجود آمده دیگر مفید نیستند و به عنوان یک URL بی‌هدف شناخته می‌شوند. اگر همچنان جلوی رشد این صفحات مضر را نگیرید بعد از طی یک مدت زمانی از اعتبار سایت شما کاسته می‌شود. با رخ دادن این اتفاق‌ها، سئو سایت کاهش یافته و به دلیل بی‌ارزش بودن و کپی بودن صفحات، وبمسترها اقدام به حذف این صفحه‌ها می‌کنند تا مانع از افت رتبه سایت شوند.

چگونه اطلاعات را از گوگل حذف کنید؟

1. محتوای مورد نظر را حذف یا به روز کنید!
2. در سرچ کنسول از ابزار “Removals” برای پاک کردن لینک‌های ایندکس شده‌ای که نمی‌خواهید یا URL صفحه‌ای را که می‌خواهید به طور کامل از نتایج جستجوی Google حذف شود استفاده کنید.
3. نتایج جستجو را بررسی کنید تا متوجه شوید که حذفی که انجام داده‌اید موفقیت آمیز بوده است یا نه؟
4. حتماً مطمئن شوید که دستورالعمل‌های حذف Google را به درستی دنبال کرده‌اید.

اگر محتوایتان فقط به‌روز‌رسانی نیاز دارد، تغییرات را در CMS خود انجام دهید و بعد به ربات‌های موتورهای جستجوی گوگل اجازه بدهید که URL را در سرچ کنسول وارد کنند و محتوای به روز شده را دوباره فهرست‌بندی کنند. اگر محتوایی تکراری است و باید در وبسایت شما باقی بماند. یکی از آن محتواها را همانطور که هست نگه دارید و بعد آن صفحه‌ای را که نمی‌خواهید index شود را با یک برچسب بدون فهرست مشخص کنید. در ادامه، یک مرجع لینک تگ متعارف rel= را به آن صفحه‌ای که می‌خواهید ایندکس شود، اضافه کنید. در انتها، باید منتظر شوید تا گوگل دوباره وب‌سایت شما را بررسی کند و طبق درخواستتان یا محتوا را از نتایج جستجو حذف یا آن‌را به‌روزرسانی کند.

◊ معمولاً Google بین 24 تا 48 ساعت درخواست شما را پردازش می‌کند.

لازم است این را بگوییم که به یاد داشته باشید، درخواست حذف لینکی که از طریق سرچ کنسول به Google ارسال کرده اید دائمی نیست! پس اگر اقدامات زیر را برای مسدود کردن دسترسی به محتوایتان انجام ندهید بعد از گذشت 90 روز، محتوای حذف شده شما می‌تواند به صفحات نتایج جستجوی گوگل بازگردد. پس:

1. URL ها را با استفاده از robots.txt مسدود کنید.
2. URL ها را با محافظت از فهرست‌های server با رمز عبور مسدود کنید.
3. INDEX جستجو را با متا تگ مسدود کنید.
4.  از نمایش در Google + Local و سایر ویژگی‌های Google انصراف دهید.

◊ اگر نمی‌خواهید URL حذف شود اما می‌خواهید صفحه سریعتر به روز شود:
تب “Clear Cached URL” را انتخاب کنید.
◊ اگر می‌خواهید کل محتوا یا فهرست وبسایتان را از نتایج جستجو حذف کنید:
” Remove all URLs with this prefix ” را انتخاب کنید.

همچنین می توانید از تیم طراحی سایت و سئو سایت تهران سایت در این زمینه مشاوره بگیرید. این گزینه‌ها راه حل‌های مقطعی هستند و برای حذف دائمی یک محتوا، یا باید آن را به‌طور کل از سایت خود حذف کنید یا اینکه صفحه منبعتان را به‌روز کنید تا به سئو سایت شما آسیب وارد نشود. این را هم بگوییم که مسدود کردن URLها با robots.txt فقط به موتورهای جستجو دستور می‌دهند که در آن صفحه خزش انجام ندهند اما ممکن است صفحات مذکور هنوز هم در نتایج جستجو ظاهر شوند. بهترین راه خلاص شدن از این محتوا فقط حذف کامل صفحه است. اگر صفحه را به طور کل حذف کردید، حتماً یک تغییر مسیر 301 مناسب را تنظیم یا یک تگ بدون فهرست را به صفحه اضافه کنید.

در انتها به شما پیشنهاد می‌دهیم اگر دوست دارید اطلاعاتتان را درباره robots.txt  افزایش دهید به مقاله فایل robots.txt  چیست؟ مراجعه نمایید.

روش‌ های حذف url های ایندکس شده از گوگل

گاهی اوقات نیاز است برای حذف موارد ایندکس شده و اضافی حاصل از نتایج جستجوی گوگل راه‌حلی را بیاندیشید. در ادامه سه روش برای اینکه بتوان یک صفحه را از نتایج گوگل حذف کنیم وجود دارد:

• حذف یک صفحه سایت از نتایج گوگل با یوست

سایت‌های وردپرسی یکسری افزونه‌ها دارند که برای انجام برخی کارها از این افزونه‌ها کمک می‌گیرند. مثلا برای مخفی کردن برخی محتواهای سایت می‌توانید از افزونه‌های کاربردی در این زیمنه کمک بگیرید. افزونه‌‌ی یوست که در اولین قدم باید آن را نصب و فعال کنید. سپس در قسمت پیشخوان منوی برگه‌ها را انتخاب کرده و صفحه‌ای که قصد دارید آن را مخفی کنید باز می‌کنید. با رفتن به قسمت تنظیمات سئو و کلیک بر روی گزینه اجرای نمایش برگه بر روی موتورهای جستجو می‌توانید این گزینه را غیر فعال کرده تا برگه منتخب شما مخفی شود.

1. ویرایش پست یا صفحه موردنظر خود را باز کنید.
2. به بخش افزونه Yoast SEO پایین صفحه بروید.
3. وارد بخش پیشرفته (Advanced) شوید.

1. در گزینه «اجازه به موتورهای جستجو برای نمایش این محتوا در نتایج جستجو؟» گزینه‌ی “خیر” را انتخاب کنید.

• استفاده از فایل robots.txt

اگر یک فرد مبتدی و تازه‌کار در استفاده از وردپرس هستید استفاده از این روش را به شما پپیشنهاد نمی‌دهیم زیرا ممکن است با وارد کردن یکسری دستور‌العمل اشتباه تاثیرات منفی و مخربی را بر روی سایت خود بگذارید. فایل robots.txt یک فایل پیکربندی شده است که روی بیس سایت موردنظر کار کرده و امکان تنظیم دستور‌العمل‌های مربوط به موتورهای جستجو را به سایت می‌دهد.

برای به کار بردن از این روش، باید در ابتدا افرونه یوست سئو را نصب کنید و بعد قسمت ابزارها را کلیک کنید. حال برای اینکه بتوانید از robots.txt استفاده کنید تنها کافی است گزینه ویرایشگر فایل را فعال کنید.

در صورت عدم داشتن فایل Robots.txt می‌توانید به راحتی به ایجاد پرونده Robots.txt ویرایش‌های لازم را انجام دهید.

معایب استفاده از فایل robots.txt

از معایب استفاده از فایل robots.txt می‌توان به موارد زیر اشاره کرد:

• قوانین این txt ممکن است قابلیت پشتیبانی از همه موتورهای جستجو را نداشته باشد

راه‌حل‌های موجود در فایل‌های robots.txt گاهی اوقات نمی‌تواند رفتار خزنده را درون سایت به درستی تجزیه کند. این موضوع به خود خزنده بستگی دارد که قابلیت اطاعت داشته باشد یا خیر. در حالی که گوگل‌بات و دیگر خزنده‌های وب معتبر قابلیت پشتیبانی و پیروی از دستورالعمل‌های فایل robots.txt را دارند، ممکن است دیگر خزنده‌ها این کار را انحام ندهند. بنابراین، اگر قصد ایمن نگه‌داشتن اطلاعات موردنظر را از خزنده‌های وب دارید، بهتر است از سایر روش‌های مسدود کردن مانند محافظت از فایل‌های خصوصی با رمز عبور روی سرور خود استفاده کنید.

• عدم درک برخی خزنده های مختلف

اگرچه خزنده‌های وب موظف‌اند که از قوانین موجود در فایل robots.txt پیروی کنند، اما هر خزنده ممکن است قوانین را به طور متفاوتی تفسیر و تجزیه کند. بنابراین بهتر است شما راه مناسب برای آدرس دادن به خزنده‌های وب مختلف را بشناسید چون ممکن است برخی دستورالعمل‌های خاصی را درک نکنند.

• شناختن برخی صفحه‌ها به عنوان غیر مجاز

صفحه‌ای که در robots.txt غیرمجاز است، در صورت پیوند به سایت‌های دیگر، همچنان می‌تواند ایندکس شود. در حالی که گوگل قادر نیست محتوای مسدود شده توسط یک فایل robots.txt را فهرست‌بندی ‌کند، اما اگر از مکان‌های دیگر در وب به هم پیوند داده شوند، ممکن است URL غیرمجاز را پیدا کند و فهرست‌بندی را آغاز کند. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات عمومی در دسترس مانند متن لنگر در پیوندهای صفحه همچنان می‌توانند در نتایج جستجوی Google ظاهر شوند. برای جلوگیری از نمایش صحیح URL خود در نتایج جستجوی Google، از فایل های سرور خود با رمز عبور محافظت کنید، از متا تگ noindex یا سرصفحه پاسخ استفاده کنید یا صفحه را به طور کامل delete کنید.

• استفاده از سرچ کنسول google search console

سرچ کنسول را می‌توان از مهم‌ترین ابزارهایی دانست که از از ابزارهایی مانند سرچ کنسول استفاده کرد. در حقیقت بعد از پایان ثبت‌نام در سایت می‌توانید با نحوه کار با سرچ کنسول آشنا شوید. خوشبختانه در طی چند سال اخیر گوگل از سرج کنسول جدید خود رونمایی کرده و در نسخه‌های جدید خود تغییرات چشمگیری را در زمینه ثبت سایت در وب‌مستر و نحوه استفاده از آن اعمال کرده است که باعث عملکرد بهتر در زمینه مدیریت وب‌سایت شده است.

1. وارد Google Search Console شوید و سایت مورد نظر خود را انتخاب کنید.
2. از منوی سمت چپ، به بخش Removals (حذف‌ها) بروید.

1. بر روی New Request (درخواست جدید) کلیک کنید.
2. در بخش Temporarily remove URL (حذف موقت URL)، آدرس صفحه‌ای که می‌خواهید حذف کنید را وارد کنید.

1. دو گزینه برای شما ظاهر می‌شود:
   • Temporarily remove URL: حذف موقت صفحه از نتایج جستجو.
   • Clear cached URL: حذف کش صفحه و محتوای نمایش داده شده در نتایج جستجو.
2. گزینه‌ی مناسب را انتخاب کرده و Submit Request (ارسال درخواست) را بزنید.

نکته: این روش، حذف موقتی است و معمولاً به مدت ۶ ماه صفحه را از نتایج جستجو حذف می‌کند. برای حذف دائمی، باید صفحه را نوایندکس کرده و دسترسی خزنده‌های گوگل به آن صفحه را محدود کنید یا به طور کامل آن را از سایت خود حذف کنید.

• نوایندکس Noindex کردن صفحه

همان‌طور که گفتیم، یک صفحه قبل از اینکه در صفحه گوگل قابل نمایش باشد باید یکسری مراحل را طی کند تا اصطلاحا Crawl شده و بعد ایندکس شود. وقتی که مخاطب یک کلمه را جستجو کند، اگر سئو سایت به درستی انجام شده باشد، صفحه سایت مورنظر در صفحه اول گوگل نمایش داده می‌شود. نو‌ایندکس یک تگ دستوری است که به کمک آن می‌توان اجازه ایندکس را از ربات‌های گوگل گرفت و دسترسی‌های غیرضروری را منع کرد. به همین علت ربات‌های گوگل وب‌سایت را برای محتوهای جدید خزش کرده و محتوا با تگ یاد شده مواجه نخواهد شد. از طریق فایل روباتس و همچنین افزونه های سئو در سایت وردپرسی مانند یوست و رنک مث می‌توان صفحات را نوایندکس کرد.

• حذف یا به روز کردن محتوا

اگر قصد به‌روزرسانی محتوایی را داشته باشید می‌توانید به آسانی محتواهای جدید را از محتواهای قدیمی متمایز کرد. به طور مثال، می توان قسمت‌های قدیمی را با محتواهای دید جایگزین کرده یا وبلاگ‌های قدیمی را باهم ادغام کنید. البته برای انجام این کار در نظر داشته باشید که URL های قدیمی را به کمک یک تغییر مسیر به آدرس جدید انتقال دهید. نمونه‌هایی مانند پست‌های قدیمی سایت یا وبلاگ‌هایی که چندی پیش روی وب‌سایت قرار دادید، یا اطلاعیه و اخبار منقضی شده جزء محتواهایی هستند که باید حذف شده تا مطالب جدید جایگزین آن‌ها شوند.

دلایل برای پاک کردن صفحات ایندکس شده در گوگل

دلایل زیادی برای پاک کردن صفحات ایندکس شده در گوگل وجود دارد که شامل موارد زیر است:

• محتوای بی‌ کیفیت

صفحات ایندکس شده با کیفیت خیلی کم باعث آسیب رساندن به SEO سایت شما می‌شود. گاهی اوقات گوگل برای صفحاتی که حجم زیادی دارند ولی محتوای کمی ارائه می‌دهند، مجازاتی تعیین می‌کند و باعث پایین آوردن رتبه سایت موردنظر می‌شوند.

• صفحات حاوی اطلاعات خصوصی

برخی از محتواهای خصوصی مانند صفحات سیاسی که حفظ حریم خصوصی آن‌ها بسیار مهم است و یا صفحاتی که حاوی اطلاعات و داد‌های محرمانه هستند در صورت ایجاد نمایه سازی، مخاطبین می‌توانند با یک جستجوی ساده به اطلاعات دسترسی پیدا کنند و بتوان به راحتی صفحات قدیمی را از نتایج گوگل حذف کرد.

• تغییر نام تجاری

برخی از مشاغل و کسب‌وکارها به صورت دائم به برندسازی نیاز دارند. به طور معمول شغل‌های قدیمی که نام تجاری خود را به روز کرده‌اند نیاز است که از لیست نتایج جستجو ی گوگل حذف شوند. اگر شما هم جزء این دسته افراد هستید باید سایت و کاربران خود را به‌روز کرده و صفحاتی مرتبط با شغل خود را ایجاد کنید.

• محتوای منسوخ شده

گاهی اوقات مشاغل نیاز دارند تا اطلاعات خود را به صورت به‌روز منتشر کنند تا باعث رشد صفحه خود شوند. در واقع، اگر به طور مداوم محتواهای خود را به روزرسانی نکنید سئوی سایت شما با خطراتی مواجه شود و بعد از مدتی محتواهای قدیمی درون وب‌سایت بی‌ارزش و اعتبار شده و با تغییر درموقعیت تجاری جایگاه فعلی شما را به درستی نمایش نمی‌دهند. نمونه‌هایی که نیاز به حذف صفحات ایندکس خود دارند عبارتند از:

• صفحه خدمات یا ارائه محصولاتی که عرضه آن‌ها متوقف شده‌اند.
• محتواهای حساس به زمان مثل آگهی‌های مربوط به مشاغل
• محتواهایی که مرتبط به کسب‌وکار شما نیست
• برخی وبلاگ‌ها که در مورد توصیه‌های بهداشتی، مطالعات علمی و یافته های پزشکی

در حقیقت شما نمی‌توانید محتواهای منسوخ شده و قدیمی را درون سایت قرار دهید زیرا ممکن است بعضی از کاربران وارد صفحه شده و از مطالعات غلطی که وجود دارد استفاده کرده و دچار مشکل شوند. در این حالت شما مقصرید.

• تغییر در نوع خدمات

ارائه محصولات هر کسب‌وکاری طبیعتا پس از مدتی تغییر می‌یابد. اگر قبلا محصولاتی داشتید که در حال حاضر موجود نیست نباید اثری از آن در وب‌سایت وجود داشته باشد؛ این کار باعث کاربری ضعیفی می‌شود. بنابراین باید بسته به نوع محتوا و میزان خدمات صفحه وب‌سایت خود را به طورت دائم به روز کنید.