Web Crawling Tool

כלי החיפוש הרשת מספק סריקה אוטומטית בכפוף לכללים כדי לאפיין את הטופולוגיה הציבורית של אתר לביקורות SEO, גילוי תוכן ומעקב אחרי מצב האתר. קהל היעד כולל אנליסטי SEO, מנהלי אתרים, מנהלי תוכן וצוותי צמיחה שזקוקים לידע על crawlability, מבנה קישורים וחסרונות תוכן. השתמשו בו לפני העברות אתר, במהלך ביקורות אתרים גדולים או בהשוואה בין crawl ברמות תחרות. לוגיקה עיקרית ותכונות: תכונות חובה כוללות seed_url, max_depth, max_pages וכפתור כבוד ל-robots.txt עם נימוס לכל דומיין. הוא מבצע חילוץ קישורים, לכידת מטא-נתונים ומספק קבוצת URL מובנית יחד עם מפה אתר. תכונות מתקדמות כוללות תצוגת JavaScript, תיעוד לאזורי פרטיות, סריקות delta/incremental, כללי חילוץ מותאמים וגישה ל-API. לוגיקת דומיין מחייבת נורמליזציה של URL, הסרת כפילויות, טיפול בשגיאות וייצוא JSON/CSV או Sitemap XML. inputs & outputs: Inputs: start_urls (רשימת URL, דוגמות: ["https://example.com"]), max_depth (שלם, 0-6), max_pages (שלם), obey_robots (Boolean), user_agent (מחרוזת), include_patterns (רשימה), exclude_patterns (רשימה). Outputs: crawled_pages (רשימת אובייקטים עם url, status_code, content_type, response_time_ms, last_modified), sitemap_xml (מחרוזת), crawl_summary (אובייקט עם total_pages, unique_domains, blocked_urls, orphan_pages). אימות מאמת URL תקין, עומק לא שלילי, מגבלות דף חיוביות ודפוסים עקביים.