سئو فیلتر و مرتب‌سازی فروشگاه: کدام URLها ایندکس شوند؟

یک فروشگاه با ۵ دسته، ۶ ویژگی فیلتر و ۴ گزینهٔ مرتب‌سازی به‌راحتی هزاران URL قابل‌کشف می‌سازد که بیشترشان صفحهٔ تکراری یا بی‌ارزش‌اند. نتیجه: خزندهٔ موتور جست‌وجو وقتش را روی «رنگ=آبی&اندازه=M&مرتب‌سازی=ارزان‌ترین» تلف می‌کند و دیرتر به محصول تازه می‌رسد. این مقاله سیاست مشخصی برای تصمیم می‌دهد: کدام URLها خزیده و ایندکس شوند، کدام نه، و چگونه پیاده شود. تکیهٔ ما صفحهٔ رسمی Google دربارهٔ مدیریت خزش ناوبری فیلتری است (آخرین به‌روزرسانی دسامبر ۲۰۲۵).

دو محدودیت: ما به Search Console سایت شما و داده‌های خزش دسترسی نداریم و برای هیچ فروشگاهی عدد «بودجه خزش» نمی‌دهیم؛ این‌که سایت شما اصلاً مشکل بودجهٔ خزش دارد یا نه، باید از گزارش‌های خودتان معلوم شود. نکته‌هایی که در مستند Google نیامده‌اند را «توصیهٔ نویسنده» نامیده‌ایم.

مسئله دقیقاً چیست؟

Google می‌گوید رایج‌ترین پیاده‌سازی فیلتر، یعنی پارامترهای URL، می‌تواند «فضای URL بی‌نهایت» بسازد و دو آسیب بزند. اول خزش بیش‌ازحد: خزنده نمی‌تواند بدون خزش بفهمد URLها به‌دردبخورند، پس تعداد زیادی از آن‌ها را می‌خزد تا بی‌ارزش بودنشان معلوم شود. دوم کندی کشف URLهای جدید: وقتی خزش صرف URLهای بی‌ارزش می‌شود، زمان کمتری برای URLهای جدید و مفید می‌ماند. نمونهٔ Google: items.shtm?products=fish&color=radioactive_green&size=tiny؛ تغییر هر پارامتر مجموعهٔ دیگری از اقلام را نشان می‌دهد و ترکیب‌ها بسیارند.

گام ۱: کدام ترکیب‌ها ارزش ایندکس دارند؟

Google دو مسیر پیشنهاد می‌کند: اگر لازم نیست URLهای فیلتری ایندکس شوند، جلوی خزششان را بگیرید؛ اگر لازم است، بهترین رویه‌ها را رعایت کنید و بدانید این URLها منابع زیادی از سرور می‌گیرند. تصمیم بر عهدهٔ شماست. چارچوب پیشنهادی نویسنده:

«تقاضای جست‌وجوی واقعی» را چگونه می‌فهمید؟ از ابزارهای کلیدواژه و Search Console خودتان؛ ما این داده را نداریم. فهرست کوتاه کاندیدها (مثلاً ۲۰ تا ۵۰ ترکیب برگزیده) بسازید و بقیه را ببندید. تعداد دقیق وابسته به فروشگاه است و عدد جادویی ندارد.

گام ۲: جلوگیری از خزش

برای URLهایی که ایندکس‌شان لازم نیست، Google دو راه اصلی می‌دهد:

1. robots.txt: مستند می‌گوید معمولاً دلیل خوبی برای اجازهٔ خزش محصولات فیلترشده نیست؛ فقط صفحهٔ هر محصول و یک صفحهٔ فهرست بدون فیلتر را آزاد بگذارید. نمونهٔ خود Google: disallow: /*?*products= و disallow: /*?*color= و allow: /*?products=all$.
2. fragment: اگر فیلتر با # مشخص شود، Google Search معمولاً fragment را در خزش و ایندکس پشتیبانی نمی‌کند و روی خزش اثری (مثبت یا منفی) ندارد.

دو روش دیگر هم هست، اما Google می‌گوید در بلندمدت کم‌اثرترند: rel="canonical" به سمت نسخهٔ بدون فیلتر که ممکن است با گذر زمان حجم خزش نسخه‌های غیرکانونی را کم کند، و rel="nofollow" روی لینک‌های صفحات فیلتری، که فقط وقتی مؤثر است که همهٔ لینک‌ها به آن URL این ویژگی را داشته باشند. پس اگر از این دو استفاده می‌کنید، آن‌ها را مکمل بدانید نه تنها راه حل.

یک نکتهٔ فنی از نویسنده، نه مستند Google: اگر URLی در robots.txt بسته باشد، خزنده نمی‌تواند محتوای آن را (از جمله تگ noindex) ببیند. پس ترکیب «بسته در robots.txt» و «noindex درون صفحه» برای یک URL تناقض عملی دارد. قبل از پیاده‌سازی تصمیم بگیرید برای هر گروه کدام ابزار را می‌خواهید، و نتیجه را روی نمونه‌ای از URLها در Search Console (ابزار بازرسی URL) بسنجید.

گام ۳: برای URLهای قابل‌ایندکس، بهترین رویه‌ها

برای URLهایی که می‌خواهید خزیده و ایندکس شوند، Google سه قاعدهٔ مشخص می‌دهد:

• از جداکنندهٔ استاندارد & استفاده کنید. کاما، نقطه‌ویرگول و کروشه برای خزنده‌ها سخت به‌عنوان جداکنندهٔ پارامتر تشخیص داده می‌شوند.
• اگر فیلترها در مسیر کدگذاری می‌شوند (مثل /products/fish/green/tiny)، ترتیب منطقی فیلترها همیشه ثابت باشد و فیلتر تکراری امکان نداشته باشد.
• اگر ترکیبی از فیلترها نتیجه‌ای ندارد، کد HTTP 404 برگردانید. همین برای فیلتر تکراری، ترکیب بی‌معنا و صفحه‌بندی ناموجود هم صدق می‌کند. به صفحهٔ خطای مشترک ریدایرکت نکنید؛ خطای 404 را روی همان URL ارائه دهید. اگر اپلیکیشن شما تک‌صفحه‌ای (SPA) است و این ممکن نیست، Google به بهترین رویه‌های SPA ارجاع می‌دهد.

در فروشگاهی که فیلتر فارسی دارد، برای مسیرهای قابل‌ایندکس از اسلاگ‌های ثابت و قابل‌خواندن استفاده کنید و ترتیب فیلترها را در یک جا (مثلاً «دسته / برند / ویژگی») قفل کنید. (توصیهٔ نویسنده؛ نحوهٔ کدگذاری حروف فارسی در URL را باید روی سامانهٔ خودتان آزمایش کنید.)

تنوع محصول و فیلتر: دو چیز متفاوت

تنوع (رنگ و اندازهٔ یک محصول) با فیلتر (پالایش فهرست) فرق دارد. Google برای تنوع دو الگوی طراحی را نام می‌برد: تک‌صفحه‌ای با پارامتر کوئری بدون بارگذاری مجدد، و چندصفحه‌ای که هر تنوع صفحهٔ جدا دارد. اگر تنوع‌ها صفحهٔ جدا دارند، سیاست ایندکس آن‌ها را جدا از فیلتر تصمیم بگیرید تا دو سیاست با هم تداخل نکنند. به یاد داشته باشید که markup تنوع (ProductGroup) هم موضوع جداست.

گام ۴: پیاده‌سازی و آزمون

1. فهرست پارامترهای فیلتر و مرتب‌سازی را از کد و لینک‌های داخلی استخراج کنید.
2. هر پارامتر را در یکی از دسته‌های جدول گام ۱ بگذارید.
3. قواعد robots.txt را برای پارامترهای بسته بنویسید و نمونه‌ای از URLها را آزمایش کنید.
4. لینک‌های داخلی به ترکیب‌های بسته را کم کنید (مثلاً فیلتر با button و بدون لینک قابل‌خزش).
5. برای ترکیب بدون نتیجه 404 واقعی برگردانید.
6. نقشهٔ سایت (sitemap) فقط URLهای تصمیم‌گرفته‌شدهٔ قابل‌ایندکس را داشته باشد. (توصیهٔ نویسنده.)
7. چند هفته بعد گزارش خزش و پوشش ایندکس را مقایسه کنید؛ ما برای این مقایسه عددی نمی‌دهیم.

اشتباهات رایج

• همهٔ ترکیب‌ها را در sitemap گذاشتن.
• بستن در robots.txt و انتظار noindex دیده‌شدن.
• ریدایرکت ترکیب بدون نتیجه به صفحهٔ اصلی دسته؛ Google 404 را برای این حالت می‌خواهد.
• استفاده از جداکنندهٔ غیراستاندارد (کاما یا کروشه) در پارامترها.
• تغییر ترتیب فیلترها در مسیر بسته به ترتیب کلیک کاربر.

چک‌لیست

1. فهرست پارامترها و سیاست هر کدام مکتوب است.
2. کاندیدهای ایندکس با تقاضای واقعی انتخاب شده‌اند (از داده‌های خودتان).
3. باقی ترکیب‌ها با robots.txt یا fragment بسته‌اند؛ canonical و nofollow فقط مکمل‌اند.
4. جداکنندهٔ & و ترتیب ثابت مسیر رعایت شده است.
5. ترکیب بدون نتیجه 404 واقعی می‌دهد.
6. sitemap فقط URLهای تصمیم‌گرفته‌شده را دارد.
7. نتیجه با گزارش خزش پایش می‌شود.

برای تصمیم‌های معماری بزرگ‌تر، انتخاب معماری اپلیکیشن وب و برای دید کلی تجربهٔ کاربری UX چیست؟ را ببینید.

منابع و مراجع

• Managing crawling of faceted navigation URLs — Google Search Central، 2025-12-18 (آخرین به‌روزرسانی).
• Product variant structured data (ProductGroup, Product) — Google Search Central.