Linux Web Crawler

כלי זחלן רשת מוכוון לינוקס למפתחים ולמהנדסי SEO לבדיקת מבנה האתר, עומק הזחילה ואינדקסציה מתוך מסלול מקומי שחוזר על עצמו.

Tool coming soon!

We're working hard to get this tool ready for you.

Request Feature / Support

1,220+

Total Calculations Run

< 15ms

Browser Execution Speed

100%

Client-Side Privacy

4.9 / 5.0

User Satisfaction

AI Web Tool Generator

Build Your Own Custom Web Calculator in Seconds

Type what tool or calculator you need below. Our AI will build it instantly for your site.

אודות כלי זה

כלי זה הוא מנוע זחלן אינטרנט המתמקד בלינוקס, תוכנן לשימוש מקומי כדי לבחון איך אתר ייחלץ, כולל הגבלות עומק, גילוי URL ואינדיקטורים אינדוקסיים. הוא פועל ללא שירותים חיצוניים, מה שמאפשר הרצות שחוזרות על עצמן ב-CI או על מכונות מפתחים. הוא מקבל URL התחלה וחולל קישורים עד לעומק מקסימלי וקלאסיית דפים מוגדרת.
קונספטואלית, הזחל normalizes כתובות URL, פותר קישורים יחסים ומכבד robots.txt כברירת מחדל. הוא מחזיק תור דטרמיניסטי כדי להבטיח שחזור, רושם נתוני דף כמו סטטוס וקונים מסוג תוכן, ומאגד מדדים כמו דפים כוללנים, כתובות URL ייחודיות וזהות זמן. פונקציות נוספות כוללות כותרות מותאמות, מגבלות דומיין והתחלה מחדש הדרגתית.
יתרונות כוללים ביקורות מוקדמות מהירות יותר, בדיקות רגרסיה בטוחות יותר ונתונים שניתן לאמת SEO. ייצוא מכויל למכונה מאפשר להזין לוחות בקרה, דוחות CI ומלאי תוכן. העיצוב מכוון לינוקס מקדם סקריפטיות, שחזוריות ואינטגרציה חלקה עם בקרת גרסאות וצינורות בנייה.
הבדלים מרכזיים כוללים תפעול לא מקוון, טיפול ב-robots בהתאם RFC, הגבלת מהירות ניתנת להגדרה ודוחות ייצוא שיתמכו בזרימות QA ו-SEO. מקרי שימוש טיפוסיים כוללים ביקורות לפני שחרור, ניתוחי השפעת שינויים, ניטור בריאות הזחל לאורך זמן והשוואה בין גרסאות או סביבות.

Save your calculation history with a free account

איך להשתמש

הזן קלטים: target_url (URL), max_depth (מספר שלם >=
, max_pages (מספר שלם >
, obey_robots (בוליאני) ו-user_agent (מחרוזת).
הגדרות אופציונאליות: crawl_delay (שניות), allowed_domains, וכותרות עבור תרחישים מתקדמים.
הרץ את הזחל: בצע את הזחל עם הפרמטרים המוגדרים כדי לאסוף נתוני דפים ו показатели מסכמים.
בדוק פלט: נתח את רשומות הדף והסטטיסטיקות aggreg. מהפרמטרים כדי לזהות בעיות ומגמות.
ייצוא: שמור את התוצאות כ-CSV או JSON לשילוב בדוחות או לוחות בקרה.

Frequently Asked Questions

מצא תשובות מהירות

האם הכלי מכבד robots.txt?

כן. robots.txt מפורש על ידי האתר ומשתמש בהנחיות RFC-תואמות עבור נתיבים אסורים. ניתן להגדיר override עבור בדיקות פנימיות, אך ההתנהגות כברירת מחדל היא תואמת.

הוא יכול לזחול תוכן שעובר render על ידי JavaScript?

ברירת מחדל לא. הזחל עובר על הקישורים שנמצאים ב-HTML סטטי ואינו מרנדר JavaScript בצד הלקוח. לאתרים שמבוססים על JS השתמש בדפדפן ללא ראש או בעמודים prerendered.

איזה פלטים מיוצאים?

ייצוא כולל רשומות לכל דף (URL, status_code, content_type) וסיכום כללי (pages_crawled, unique_urls, errors). הפלט זמין בפורמטים CSV ו-JSON.

האם מתאים ל-CI?

כן. הוא פועל מקומי, מקבל קלטים configurables ומוציא נתוני מכונה שניתן להשתמש בהם בסקריפטים ב-CI. תומך בריצות מקבצות וייצוא לפורמטים נפוצים.

Need to run multiple calculations?

Create a free account today to unlock unlimited daily runs, access advanced parameters, save your history, and request custom features.

Related Tools

Other useful calculators and utilities you might like

ממיר Spotify ל-MP3

ממיר קבצי שמע מסופקים מקומית ל-MP3, מאפשר האזנה offline ותאימות בין מכשירים למוזיקה בבעלות חוקית ואח...

מחשב מרחק דרך

מחשב מרחק דרך למטיילים, מתכנני לוגיסטיקה ונהגים כדי להעריך במהירות מרחקים וזמן בין מקומות.

מחשבון גיל

קבע במהירות את גיל האדם מבוסס על תאריך הלידה שלו עם המחשבון החינמי שלנו באינטרנט, מתאים לשימוש אישי...

הממיר מטבעות

המיר במהירות סכומים בין מטבעות שונים עם הממיר חינם שלנו, מתאים לנסיעות, עסקים וקונים בינלאומיים.

המשוב שלך חשוב

עזור לנו לשפר