Linux Web Crawler

هذه الأداة محرك زحف ويب متركز على لينكس، مصممة للاستخدام المحلي لتقييم كيفية زحف موقع إلكتروني، بما في ذلك حدود العمق واكتشاف الروابط ومؤشرات الفهرسة. تعمل بدون خدمات خارجية، مما يسمح بتشغيلات قابلة لإعادة الإنتاج في خطوط CI أو على أجهزة المطورين. تقبل عنوان URL ابتدائي وتزحف الروابط حتى عمق أقصى مُكوّن وعدد صفحات قابل للتكوين. من حيث المفهوم، يقوم العارض بتطبيع عناوين URL، يحل الروابط النسبية، ويحترم robots.txt افتراضياً. يحتفظ بطابور deterministic لضمان القابلية لإعادة التشغيل، ويسجل بيانات كل صفحة مثل رموز الحالة وأنواع المحتوى، ويجمل مقاييس مثل إجمالي الصفحات، الروابط الفريدة، ومدة الزحف. تشمل الميزات الاختيارية الرؤوس المخصصة، والقيود-domain، واستئناف تدريجي. الفوائد تشمل تدقيقات ما قبل الإطلاق بشكل أسرع، واختبارات رجوع أكثر أماناً، وبيانات قابلة للتحقق من SEO. بفضل الإصدارة القابلة للآلة، يمكن تغذية النتائج إلى لوحات المعلومات وتقارير CI وجرد المحتوى. التصميم المعتمد على لينكس يعزز الأسكريبتية، القابلية لإعادة التشغيل والتكامل السلس مع الإصدارات وخطوط البناء. الفرق الأساسية تشمل التشغيل دون اتصال، ومعالجة robots بما يتفق مع RFC، وحدود سرعة قابلة للتكوين وتقارير قابلة للتصدير تدعم فرق QA وSEO. حالات الاستخدام الشائعة تتضمن مراجعة ما قبل الإصدار، تحليل أثر التغييرات، رصد صحة الزحف عبر الزمن، ومقارنة نتائج الزحف عبر الإصدارات أو البيئات.