Data Crawl Tool

الغرض ونية المستخدم: تدعم هذه الأداة تخطيط وتوثيق تدفقات زحف البيانات من الويب. المستخدمون يشملون محللي SEO، مهندسي البيانات، استراتيجيّي المحتوى والباحثين الذين يحتاجون إلى نطاقات زحف منظمة، وحقول بيانات قابلة لاستخراجها وآثار تدقيق. تُحل مشكلة تحويل أهداف الزحف إلى خطط وتقارير قابلة للتكرار والتحقق. عندما يحتاج فريق إلى جرد مواقع، تقدير نطاق الزحف، أو إيصال المنهجية للمساهمين، تُسجل الأداة القرارات والمخرجات المتوقعة.

المنطق الأساسي والميزات: تشمل الميزات الأساسية إدخال Seed URLs، عمق الزحف، فلاتر النطاق، حدود معدل السرعة، عميل المستخدم، قوالب حقول البيانات ومخططات الإخراج. تشمل الميزات المتقدمة الاختيارية تجميعًا عبر عدة نطاقات، ونصائح الجدولة، ونماذج زحف قابلة للتصدير، وأعلام الامتثال (احترام robots.txt، ووعي بتأخير الزحف). التطبيق يفرض أنواع بيانات (URL، عمق صحيح، منطقي)، والتحقق من صحة المدخلات (عناوين URL صالحة، الحد الأقصى للعمق ≥ 0). المخرجات: وثائق خطة منظمة ومخطط تقرير زحف جدولي.

المدخلات والمخرجات: المدخلات seed URLs (مصفوفة سلاسل، مثال: https://example.com)؛ max depth (int, مثال: 3)؛ تضمين النطاقات الفرعية (bool, مثال: true)؛ الالتزام ب robots.txt (bool, مثال: true)؛ حقول البيانات (مصفوفة سلاسل، مثال: title, meta description)؛ صيغة التصدير (string، JSON أو CSV). المخرجات: مخطط الزحف (JSON)؛ ملخص الزحف (string)؛ تقرير الزحف (CSV أو JSON).

الخوارزميات والحسابات: تخطيط الزحف باستخدام الأسلوب أوسع-أول لتحديد مدى الوصول إلى الصفحات بناءً على العمق وقيود النطاق. تقديرات حجم الزحف بناءً على seeds، العمق، وعرض النطاق. قواعد التحقق تضمن وصول seeds وأن العمق غير سالب. لا يحدث زحف حي في الأداة؛ فقط يتم توليد الخطة.

الأخطاء والحالات边: Seeds غير الصحيحة تولد خطأ باسم محدد؛ المدخلات المطلوبة المفقودة تعطي رموز خطأ. إذا لم يتوفر robots.txt خارجي، تسجل الأداة تحذيرًا وتطبق السياسة الافتراضية. الأعماق الشديدة أو مجموعات seeds الكبيرة تعطي تحذيرات لتجنب خطط كبيرة للغاية.

الصناعة/المنطقة والتوطين: تدعم عناوين URL ASCII وUnicode، ومواءمة التواريخ الدولية في التخطيط. لا توجد معالجة عملات. التوطين مقصور على حقول اللغة في الإخراجات.
الافتراضات والاستثناءات: تفترض الوصول إلى seeds وتخطيط غير متصل بالشبكة؛ يستبعد تنفيذ الزحف الفعلي أو استخراج البيانات. خارج النطاق: عرض واجهة المستخدم، والمراقبة في الوقت الفعلي، أو تحويل البيانات بخلاف التخطيط والتقارير.