مسرد سحب البيانات
٢٠ مصطلحاً أساسياً يجب أن يعرفها كل مستخرج بيانات ومسوّق ومهندس بيانات.
سحب بيانات الويب
سحب بيانات الويب هو الاستخراج الآلي للبيانات المنظمة من المواقع الإلكترونية. يرسل المستخرج طلبات HTTP إلى عناوين URL المستهدفة، ويحلل HTML المُعاد (أو JSON من APIs)، ويحفظ البيانات المستخرجة بصيغة منظمة مثل CSV أو JSON أو Excel.
Actor (Apify)
Apify Actor هو برنامج استخراج بيانات أو أتمتة مستضاف سحابياً وبدون خادم. تُخزَّن Actors على بنية Apify التحتية وتعمل عند الطلب دون أي إعداد محلي. يستضيف متجر Apify أكثر من 39,000 Actor جاهزة.
المتصفح غير المرئي
المتصفح غير المرئي هو متصفح يعمل بدون واجهة رسومية. ينفّذ JavaScript ويعرض CSS ويحاكي تفاعلات المستخدم مثل المتصفح الحقيقي — لكن دون عرض أي شيء على الشاشة.
تدوير البروكسي
تدوير البروكسي هو ممارسة التنقل بين عناوين IP متعددة عند إجراء طلبات الاستخراج، بحيث يرى الخادم المستهدف عناوين IP مختلفة بدلاً من طلبات متكررة من نفس المصدر.
تحديد معدل الطلبات
تحديد معدل الطلبات هو دفاع من جانب الخادم يقيّد عدد الطلبات التي يمكن لعميل إجراؤها خلال نافذة زمنية معينة.
CAPTCHA
CAPTCHA هو اختبار تحدي-استجابة يُستخدم لتحديد ما إذا كان المستخدم إنساناً. تواجه مستخرجات البيانات CAPTCHAs كحواجز لكشف البوتات.
الحماية من البوتات
الحماية من البوتات هي مجموعة من الدفاعات من جانب الخادم والعميل التي تستخدمها المواقع للكشف عن حركة المرور الآلية وحظرها.
وحدات الحوسبة (Apify)
وحدات الحوسبة (CUs) هي مقياس فوترة Apify لاستخدام المنصة. 1 CU = 1 جيجابايت RAM لمدة ساعة واحدة.
البيانات المنظمة
البيانات المنظمة هي معلومات منظمة بصيغة محددة مسبقاً يمكن للآلات قراءتها ومعالجتها بسهولة.
JSONL (JSON Lines)
JSONL (JSON Lines) هو تنسيق نصي حيث كل سطر كائن JSON صالح ومكتفٍ بذاته. مثالي لمجموعات البيانات الكبيرة.
XPath
XPath هو لغة استعلام لاختيار العقد من شجرة مستند XML أو HTML. تستخدم أدوات سحب البيانات تعبيرات XPath لاستهداف عناصر محددة في DOM.
محدد CSS
محدد CSS هو نمط يُستخدم لاختيار عناصر HTML بواسطة الوسم أو الفئة أو المعرّف أو الموضع.
محلل HTML
محلل HTML يقرأ نص HTML الخام ويحوله إلى شجرة منظمة من العقد (DOM) يمكن للبرامج اجتيازها والاستعلام عنها.
التوليد المعزز بالاسترجاع (RAG)
RAG هو بنية ذكاء اصطناعي يتم فيها تأسيس استجابات نموذج اللغة باسترجاع المستندات ذات الصلة من قاعدة المعرفة. سحب البيانات هو الطريقة الأساسية لبناء قواعد معرفة RAG.
وكيل الذكاء الاصطناعي
وكيل الذكاء الاصطناعي هو نظام ذكاء اصطناعي مستقل يمكنه إدراك بيئته واتخاذ القرارات وتنفيذ الإجراءات لتحقيق الأهداف.
بروتوكول سياق النموذج (MCP)
MCP هو معيار مفتوح طوّرته Anthropic يُمكّن نماذج الذكاء الاصطناعي من الاتصال بالأدوات ومصادر البيانات الخارجية. يُعرّض خادم MCP الخاص بـ Apify أكثر من 39,000 أداة استخراج.
البروكسي السكني
البروكسي السكني يوجّه حركة الإنترنت عبر عناوين IP منزلية حقيقية، مما يجعل الطلبات تبدو كتصفح بشري عادي.
عرض JavaScript
عرض JavaScript هو تنفيذ كود JavaScript الخاص بصفحة ويب لإنتاج HTML المرئي النهائي. العديد من المواقع الحديثة تحمّل المحتوى ديناميكياً عبر JavaScript.
خريطة الموقع XML
خريطة الموقع XML هي ملف يسرد جميع عناوين URL المهمة على موقع إلكتروني. في سحب البيانات، خرائط المواقع هي طريقة سريعة لتعداد جميع عناوين URL على موقع مستهدف.
Playwright
Playwright هو مكتبة أتمتة المتصفح مفتوحة المصدر من Microsoft تدعم Chromium وFirefox وWebKit. تُستخدم على نطاق واسع لسحب البيانات.