Web Crawling Tool

أداة زحف ويب دقيقة مصممة لمحللي SEO وفرق المحتوى لرسم هيكل الموقع وتحديد مشاكل الزحف واكتشاف فرص التحسين.

Tool coming soon!

We're working hard to get this tool ready for you.

Request Feature / Support

1,100+

Total Calculations Run

< 15ms

Browser Execution Speed

100%

Client-Side Privacy

4.9 / 5.0

User Satisfaction

AI Web Tool Generator

Build Your Own Custom Web Calculator in Seconds

Type what tool or calculator you need below. Our AI will build it instantly for your site.

عن هذه الأداة

توفر أداة زحف الويب زحفاً آلياً يحترم السياسات لجرد الهيكل العام للموقع لأغراض تدقيق SEO واكتشاف المحتوى ومراقبة صحة الموقع. يشمل الجمهور المستهدف محللي SEO ومديري المواقع ومديري المحتوى وفرق النمو الذين يحتاجون لرؤية في قابلية الزحف وبنية الروابط والثغرات في المحتوى. استخدمها قبل ترحيل المواقع أو أثناء تدقيق نطاقات كبيرة أو عند مقارنة صحة الزحف مع المنافسين. المنطق الأساسي والميزات: الميزات الأساسية تشمل إدخال seed_url، الحد الأقصى للعمق max_depth، الحد الأقصى للصفحات max_pages ومفتاح احترام robots.txt مع لباقة عبر-domain. تقوم باستخراج الروابط والتقاط البيانات وتصدر مجموعة عناوين URL منسقة مع ملف sitemap. الميزات الاختيارية/المتقدمة تشمل عرض JavaScript وبيانات اعتماد للوصول إلى المناطق المقفلة وزحفاً Delta/Incremental وقواعد استخراج مخصصة والوصول إلى API. منطق النطاق يفرض توحيد عناوين URL وإزالة التكرارات ومعالجة الأخطاء وصدور البيانات بتنسيقات JSON وCSV أو Sitemap XML. المدخلات والمخرجات: المدخلات: start_urls (قائمة عناوين URL، أمثلة: ["https://example.com"]), max_depth (عدد صحيح، 0-6)، max_pages (عدد صحيح)، obey_robots (Boolean)، user_agent (سلسلة)، include_patterns (قائمة)، exclude_patterns (قائمة). المخرجات: crawled_pages (قائمة كائنات تحتوي على url، status_code، content_type، response_time_ms، last_modified)، sitemap_xml (سلسلة)، crawl_summary (كائن يحتوي على total_pages، unique_domains، blocked_urls، orphan_pages). التحقق يضمن عناوين URL صالحة، عمق غير سلبي، حدود صفحة موجبة ونماذج متسقة.

Save your calculation history with a free account

كيفية الاستخدام

قدِّم المدخلات: start_urls، max_depth، max_pages وحدود المعدل.
حدِّد القيود: أنماط الإدراج/الإقصاء واحترام robots.txt.
ابدأ الزحف: اجمع الصفحات والروابط والبيانات الوصفية.
استخرج النتائج: sitemap.xml، crawl_report.json وبيانات الصفحات.
استخدم النتائج: حدد حواجز الزحف، حسن تخصيص ميزانية الزحف وخطط لتغييرات الموقع.

Frequently Asked Questions

اعثر على إجابات سريعة

ما الذي يمكن أن يزحف عليه؟

يزحف صفحات HTML عامة الموارد المرتبطة ضمن النطاق الابتدائي المحدد. تُستبعد أقسام الدخول، ما لم تُوفَّر بيانات اعتماد صريحة وتفعّل الزحف.

هل يحترم robots.txt؟

نعم، يمكنه احترام robots.txt؛ عند التفعيل، يتم تجاهل عناوين URL المحظورة والإبلاغ عنها. إذا عُطل، فسيستمر في جلب تلك الروابط ولكنه يسجل أن robots.txt تم تجاهله، وهو مفيد للاختبار ولكنه غير موصى به للمراجعات الإنتاجية.

هل يمكنه تصدير البيانات؟

التصديرات تشمل JSON وCSV وملف sitemap XML. يوفر البيانات عن الصفحات التي تم زحفها وخلاصة الزحف يمكن استخدامها في لوحات البيانات أو أنابيب البيانات.

ما هي حالات الاستخدام الشائعة؟

مراجعات SEO، تحليل فجوات المحتوى، نظافة الروابط ومراقبة صحة الزحف للمواقع الكبيرة. يساعد في تحديد أولويات الإصلاحات ومقارنة المواقع وتتبع التغيرات مع الزمن.

Need to run multiple calculations?

Create a free account today to unlock unlimited daily runs, access advanced parameters, save your history, and request custom features.

Related Tools

Other useful calculators and utilities you might like

محول Spotify إلى MP3

يحوّل ملفات الصوت المقدمة محليًا إلى MP3، مما يتيح الاستماع دون اتصال وتوافقًا عبر الأجهزة للموسيقى...

حساب المسافة بالطرق

حاسب للمسافة بالطرق للمسافرين ومخططي اللوجستيات والسائقين لتقدير المسافات وأزمنة الرحلة بسرعة بين ال...

حاسبة العمر

حدد عمر شخص بسرعة استناداً إلى تاريخ ميلاده مع أداتنا المجانية على الإنترنت، مناسبة للاستخدام الشخصي...

محول العملات

حوّل بسرعة مبالغ بين عملات مختلفة باستخدام محول العملات المجاني عبر الإنترنت، مثالي للمسافرين، الشرك...

ملاحظاتك تهمنا

ساعدنا على التحسن