סריקת אתר Robots.txt
רובוטים של גוגל בינג ועוד סורקים את האתרים. פעמים שהם סורקים כל כך הרבה פעמים בשניה עד שהם גורמים לעומס בשרתים של חברת האחסון של אתר. ולכן היא מבקשת מימך להגדיר לרובוטים שיסרקו את האתר בקבץ נמוך יותר
בקישור הבא יש אתר שבו את מגדיר את העיכוב שהינך חפץ בסריקת האתר , ויוצר לך קוד שעליך להכניס לקובץ ולהעלות לשרת. שם הקובץ יהיה Robots.txt
