Web Crawler Kali

כלי זחילה אינטרנט configuratable לניתוח SEO ואבטחה, שממפה את מבנה האתר, נקודות הקצה והמטadata עם עומק ואפשרויות stealth בשליטה.

Tool coming soon!

We're working hard to get this tool ready for you.

Request Feature / Support

1,148+

Total Calculations Run

< 15ms

Browser Execution Speed

100%

Client-Side Privacy

4.9 / 5.0

User Satisfaction

AI Web Tool Generator

Build Your Own Custom Web Calculator in Seconds

Type what tool or calculator you need below. Our AI will build it instantly for your site.

אודות כלי זה

הכלי Web Crawler Kali מציע מיפוי אוטומטי של אתרים, גילוי נקודות קצה ולאיסוף metadata לביקורות SEO, הערכות אבטחה ועבודות אמינות אתר. הוא מיועד למקצועני SEO, חוקרי אבטחה ובקרות תקן שזקוקים לזחילות חוזרות with היקף מוגדר ובקרות מדיניות. המשתמשים מסתמכים על הכלי לחשוף את תצורת האתר, נתיבים סמויים API ציבוריים והגדרות שגויות המשפיעות על יכולת הזחילה, הסיכונים ואיכות הנתונים. הלוגיקה המרכזית של הסריקה מבצעת חקירה על בסיס seed עם אסטרטגיית רוחב או עומק הניתנת להגדרה, ובמסגרתה חלות כללים כמו obey_robots_txt, crawl_delay וסיבוב User-Agent. הוא יכול להציג JavaScript, לעקוב אחר או להתעלם מקישורים דינמיים, לכלול תתי-דומיינים ולסנן לפי סוג תוכן או סיומת. הוא מבצע דלי-duplicate URL באמצעות נורמליזציה, עוקב אחר זמן הזחילה, תחרות ושימוש בזיכרון ומאגד תוצאות למאגרי נתונים גרפיים או כלים לאבטחה. הפלטים כוללים JSON, CSV וגרפים. מודולים ל-extraction of links, endpoint discovery and metadata collection מעוצבים להיות קומפוזיים וסקריפטים.

Save your calculation history with a free account

איך להשתמש

לספק כניסות: seed_url, max_depth, obey_robots והגדרות תחרותיות.
להגדיר בקרה אופציונלית: render_js, include_subdomains, exclude_patterns, user_agent, crawl_delay.
להתחיל זחילה: להפעיל את המסע ואיסוף הנתונים.
לעיין בתוצאות: לבחון דפי שנחשפו, נקודות קצהMETADATA; לזהות פערים או חריגות.
לייצא תוצאות: שמור JSON או CSV והפעל כלים לניתוח או אבטחה.

Frequently Asked Questions

מצא תשובות מהירות

איזו תוצאות מייצר הכלי?

הכלי מדווח על דפים שנחשפו, מפה של נקודות הקצה, קישורים שבורים, URL של robots.txt, URL של sitemap, משך הזחילה וסיכום שגיאות. הפלטים ניתנים לייצוא JSON או CSV ומתאימים לשילוב בזרמי עבודה של SEO או אבטחה.

איך הוא מטפל ב-robots.txt?

אם obey_robots פעיל, הזחלן קורא robots.txt ומבטל נתיבים אסורים. אם הוא אינו פעיל, הוא ממשיך בזחילה אך רושם החלטות מדיניות ושומר תיעוד של אזורים שהיו BLOCK תחת מדיניות תקנית.

האם הוא יכול לבצע זחילה לאתרי אימות?

הזחלת Credentialed אינה כלולה כברירת מחדל; הוא אינו חורג מטפסים או ממשקים אבטחה. תצורות מתקדמות יכולות לאפשר גישה באמצעות אסימון או כותרות במסגרת המדיניות, אך אין ביצוע אימות אוטומטי.

Need to run multiple calculations?

Create a free account today to unlock unlimited daily runs, access advanced parameters, save your history, and request custom features.

Related Tools

Other useful calculators and utilities you might like

ממיר Spotify ל-MP3

ממיר קבצי שמע מסופקים מקומית ל-MP3, מאפשר האזנה offline ותאימות בין מכשירים למוזיקה בבעלות חוקית ואח...

מחשב מרחק דרך

מחשב מרחק דרך למטיילים, מתכנני לוגיסטיקה ונהגים כדי להעריך במהירות מרחקים וזמן בין מקומות.

מחשבון גיל

קבע במהירות את גיל האדם מבוסס על תאריך הלידה שלו עם המחשבון החינמי שלנו באינטרנט, מתאים לשימוש אישי...

הממיר מטבעות

המיר במהירות סכומים בין מטבעות שונים עם הממיר חינם שלנו, מתאים לנסיעות, עסקים וקונים בינלאומיים.

המשוב שלך חשוב

עזור לנו לשפר