فایل Robots.txt چیست و چه کاربردی در سئو دارد؟
یکی از اقدامات مهمی که بعد از طراحی و ساخت سایت باید انجام داد این است که صفحات مورد نظری که قصد کرال کردن آن‌ها را دارید را به موتورهای جستجو اعلام کنید. که این کار با استفاده از فایل Robots.txt انجام می‌شود. این فایل به عنوان راهنمای ربات‌‌های موتورهای جستجو شناخته می‌شود و صفحاتی […]
