دليل استخراج نتائج البحث 2026: جوجل وبينج بدون API

صفحات نتائج البحث هي الميدان الذي تُربح فيه معارك السيو وتُخسر — ومع ذلك تكتفي معظم الفرق برؤيتها كلمة واحدة في كل مرة، في متصفحها الخاص ومن موقعها الخاص. استخراج بيانات SERP يغير ذلك: فهو يجمع صفحات نتائج محركات البحث (SERPs) على نطاق واسع، لتتمكن من تتبع الترتيب ومراقبة إعلانات المنافسين واستخراج أفكار المحتوى وتدقيق الظهور المحلي عبر مئات الكلمات المفتاحية والمواقع.

يشرح هذا الدليل النمط الكامل كما يعمل في 2026: أي كتل النتائج مهمة فعلا، ولماذا تخيب واجهات API الرسمية الآمال، وكيفية إعداد Google Search Scraper مع ملف إدخال يعمل، وكيفية تحليل المخرجات وتخزينها بلغة بايثون، وكيف ينطبق التفكير نفسه على بينج، وأين تقف حدود الامتثال.

ما هي بيانات SERP المهمة فعلا: الطبيعي والإعلانات والحزمة المحلية وPAA

صفحة النتائج الحديثة أكبر بكثير من عشرة روابط زرقاء. عندما تستخرج صفحة نتائج، فهذه هي الكتل الجديرة بالالتقاط:

النتائج الطبيعية. القائمة المرتبة الكلاسيكية — العنوان ورابط الوجهة والمقتطف لكل موضع. هذا هو أساس تتبع الترتيب: شغّل الاستعلامات نفسها يوميا من بلد ولغة ثابتين، وستحصل على سلسلة زمنية حقيقية لمن يتصدر أين. التقط رقم الموضع صراحة، لأن صفحات النتائج تتداخل فيها الكتل الأخرى بين الإدخالات الطبيعية بشكل متزايد.

الإعلانات المدفوعة (العلوية والسفلية والتسوق). تستخرج الأداة إعلانات PPC النصية جنبا إلى جنب مع النتائج الطبيعية، بما فيها نص الإعلان وروابط الوجهة. لأبحاث المنافسين هذا كنز: ترى أي المنافسين يزايد على كلماتك المالية، وكيف تتغير نصوصهم عبر الزمن، وأي صفحات هبوط يدفعون بها — معلومات لا تمنحك إياها أي واجهة تقارير رسمية في مكان واحد.

الحزمة المحلية (Local Pack). للاستعلامات ذات النية المحلية (“طبيب أسنان الرياض”، “أفضل سوشي قريب مني”)، تُدرج جوجل مقتطف خريطة مع قوائم الأنشطة التجارية. تلتقط الأداة هذه الأنشطة كإدخالات منظمة. وإذا كنت تعمل في السيو المحلي للعملاء، فإن تتبع الظهور في الحزمة المحلية بمعزل عن الترتيب الطبيعي ضروري — فقد يترتب النشاط طبيعيا دون الظهور في الحزمة، والعكس صحيح.

أسئلة الجمهور (PAA). مربعات الأسئلة القابلة للتوسيع آلة لأفكار المحتوى. تستخرج الأداة أسئلة PAA، وتمتاز بأنها تستخرج أيضا نص الإجابة الظاهر داخلها. ابدأ بعشر كلمات رئيسية، واجمع أسئلة PAA، وستحصل على موجز لأقسام الأسئلة الشائعة ومقالات الدعم والاستهداف طويل الذيل، مبني على فضول الباحثين الحقيقي لا على التخمين.

الكتل المساندة. حسب الاستعلام قد تواجه أيضا لوحة الرسم المعرفي (Knowledge Graph) وعمليات البحث ذات الصلة ودوارات الصور أو الفيديو. يتمحور الإخراج الموثق للأداة حول organicResults وpaidResults وpeopleAlsoAsk، وهي تغطي الغالبية العظمى من حالات السيو والإعلانات — ابدأ بها وتوسع بعد تشغيل خط الأنابيب.

لماذا تخيب واجهات API الرسمية الآمال

توفر جوجل واجهة Custom Search JSON API الرسمية، وهي الأداة الصحيحة لمهمة واحدة: تشغيل مربع بحث داخلي في موقعك بنتائج جوجل. أما لاستخبارات SERP فهي مخيبة من ثلاث نواحٍ لا تعاني منها أدوات الاستخراج.

أولا، مجموعة النتائج محدودة ومصفاة. تُرجع الواجهة الرسمية قائمة محدودة ومنظفة من النتائج لكل استعلام بدلا من الصفحة الكاملة كما يراها الإنسان. فالتتبع المبني عليها يفقد بصمت كل ما يقع خارج نافذتها.

ثانيا، التخطيط مفقود. الإعلانات والحزمة المحلية ومربعات PAA ولوحات الرسم المعرفي هي بالضبط الكتل التي تجعل صفحة النتائج مثيرة استراتيجيا — والواجهة الرسمية لا تُرجع الصفحة كما تُعرض. لا يمكنك مراقبة نصوص إعلانات المنافسين أو استخراج أسئلة PAA من نقطة نهاية تُجردها.

ثالثا، لا حقيقة جغرافية. يختلف الترتيب حسب البلد واللغة وحتى الحي. تقبل الأداة رمز بلد ورمز لغة ووضع عرض للجهاز صراحة، فيعكس التشغيل حقيقة ما يراه الباحث في ذلك السوق. إعادة إنتاج هذه الدقة عبر الواجهات الرسمية يتطلب عملا تؤديه الأداة أصلا، مع تدوير تلقائي للبروكسيات ومعالجة لاختبارات CAPTCHA للحفاظ على استقرار التشغيل.

المقايضة صادقة: استدعاءات API متوقعة ومرخصة رسميا، بينما تعكس بيانات SERP المستخرجة الواقع. لمهام تتبع الترتيب ومراقبة الإعلانات وأبحاث المحتوى — وهي مهام يحددها سؤال “ماذا يرى الباحث فعلا؟” — الواقع يفوز.

شرح الإعداد خطوة بخطوة مع google-search-scraper

يستغرق الإعداد دقائق وبدون كود. تعمل Google Search Scraper على سحابة Apify: تزودها بالكلمات المفتاحية والاستهداف، فتعرض صفحات النتائج وتُرجع بيانات منظمة.

الخطوة 1: افتح الأداة وسجل الدخول. انتقل إلى صفحة الأداة في المتجر وسجل الدخول بحساب Apify مجاني. تتسع التشغيلات التجريبية بسهولة داخل الرصيد المجاني، لتتحقق من المخرجات قبل إنفاق أي شيء.

الخطوة 2: أدخل استعلاماتك. الصق مصطلح بحث واحدا في كل سطر في حقل queries. ابدأ بخمس إلى عشر كلمات تمثل موضوعا واحدا — مثلا فئة المنتج التي تتصدر فيها مع اسمي علامتين منافستين.

الخطوة 3: حدد الاستهداف. املأ countryCode برمز البلد المكون من حرفين لسوقك (مثل us) وlanguageCode بلغة النتائج (مثل en). أبقِ mobileResults على false لترتيب سطح المكتب أولا؛ ثم شغّل تمريرة ثانية بقيمة true عندما تهمك الظهور على الجوال، لأن نتائج الجوال وسطح المكتب تختلف فعلا.

الخطوة 4: حدد العمق. يتحكم maxPagesPerQuery في عدد صفحات النتائج لكل كلمة. القيمة 1 تُرجع أول عشر نتائج وتكفي لمعظم التتبع؛ وارفعها إلى 2 للأبحاث الأعمق. التعمق الكبير يبطئ التشغيل ويرفع الاستهلاك، فاحجزه لعمليات التدقيق لا للتتبع اليومي.

إليك ملف إدخال كامل يستخدم فقط حقول الإدخال الموثقة للأداة:

{
  "queries": "best crm software\nproject management tools\ncheap flights",
  "countryCode": "us",
  "languageCode": "en",
  "maxPagesPerQuery": 2,
  "mobileResults": false
}

الخطوة 5: شغّل وصدّر. انقر Start. تعرض الأداة صفحات النتائج لكل استعلام، وتستخرج الكتل المذكورة أعلاه، وتخزنها في مجموعة بيانات. عند انتهاء التشغيل، عاين العناصر في تبويب Storage وحمّلها بصيغة JSON لخطوط الأنابيب أو CSV وExcel للجداول وتقارير العملاء. جدوِل الإدخال نفسه يوميا أو أسبوعيا لتحويل الاستخراج الواحد إلى تتبع ترتيب مستمر.

للتوسع في التغطية الإخبارية. إذا كان بحثك يحتاج أيضا بيانات الناشرين — أي المنافذ تغطي القصة ومتى وبأي تأطير — فاجمع هذه الأداة مع Google News Scraper التي تستخرج العناوين وروابط المقالات والناشرين والطوابع الزمنية لمراقبة الإعلام وقياس الحصة الصوتية.

نمط التحليل والتخزين (مقتطف بايثون)

مجموعات بيانات SERP الخام متداخلة: كل عنصر يحمل استعلاما واحدا مع مصفوفات النتائج الطبيعية والمدفوعة وإدخالات PAA. أسماء الحقول أدناه (searchQuery وorganicResults مع title وurl وdescription وposition؛ وpaidResults؛ وpeopleAlsoAsk مع question وanswer) تطابق الإخراج الموثق للأداة. سطّح كل مصفوفة في جدول مستقل، مفتاحا بالاستعلام والموقع وتاريخ التشغيل:

import json
import sqlite3
from datetime import date

# Load one exported dataset file (JSON array of per-query items)
with open("serp_results.json", encoding="utf-8") as f:
    items = json.load(f)

run_date = date.today().isoformat()
db = sqlite3.connect("serp.db")
cur = db.cursor()
cur.execute(
    "CREATE TABLE IF NOT EXISTS organic "
    "(run_date TEXT, query TEXT, position INTEGER, title TEXT, url TEXT, snippet TEXT)"
)
cur.execute(
    "CREATE TABLE IF NOT EXISTS paid "
    "(run_date TEXT, query TEXT, title TEXT, url TEXT, snippet TEXT)"
)
cur.execute(
    "CREATE TABLE IF NOT EXISTS paa "
    "(run_date TEXT, query TEXT, question TEXT, answer TEXT)"
)

for item in items:
    query = item.get("searchQuery", "")
    for r in item.get("organicResults", []):
        cur.execute(
            "INSERT INTO organic VALUES (?, ?, ?, ?, ?, ?)",
            (run_date, query, r.get("position"), r.get("title"),
             r.get("url"), r.get("description")),
        )
    for ad in item.get("paidResults", []):
        cur.execute(
            "INSERT INTO paid VALUES (?, ?, ?, ?, ?)",
            (run_date, query, ad.get("title"), ad.get("url"),
             ad.get("description")),
        )
    for entry in item.get("peopleAlsoAsk", []):
        cur.execute(
            "INSERT INTO paa VALUES (?, ?, ?, ?)",
            (run_date, query, entry.get("question"), entry.get("answer")),
        )

db.commit()
print(f"Stored {len(items)} queries for {run_date}")

ثلاث عادات تُبقي مجموعة البيانات مفيدة عبر الزمن. أولا، خزّن سياق الاستعلام دائما (نص الاستعلام والبلد واللغة ووضع الجهاز وتاريخ التشغيل) مع كل صف — فالترتيب بلا سياقه لا يُفسَّر بعد شهر. ثانيا، أضف ولا تستبدل: تتبع الترتيب ومقارنة نصوص الإعلانات وتحليل اتجاهات PAA كلها تتطلب السجل التاريخي. ثالثا، أزل التكرار على (الاستعلام، الرابط، تاريخ التشغيل) قبل التحليل، لأن الرابط نفسه قد يظهر في النتائج الطبيعية وداخل إجابات PAA للاستعلام الواحد.

من هذه الجداول الثلاثة تجيب عن أسئلة أصحاب المصلحة الحقيقية: “هل نكسب المراكز الثلاثة الأولى أم نخسرها؟” و“أي المنافسين بدأ المزايدة على علامتنا؟” و“ما الأسئلة الجديدة التي يطرحها الباحثون في فئتنا؟”

ملاحظة عن بينج

كل ما سبق مشروح لجوجل، لأن حجم البحث والأداة المُدارة يتركز فيهما — لكن المنهج ينتقل إلى بينج. تشترك صفحات نتائج بينج في التشريح نفسه (الترتيب الطبيعي والإعلانات النصية والإجابات المحلية وكتلة أسئلة “يبحث الناس أيضا عن”)، وينطبق خط الأنابيب نفسه: اجمع مجموعات النتائج لكل استعلام بإعدادات جغرافية ولغوية ثابتة، وسطّحها في جداول مؤرخة، وقارن عبر الزمن.

لبينج تحديدا، استخدم زاحفا عاما يعمل بالمتصفح مثل Web Scraper موجها إلى روابط نتائج بينج، مع تزامن متواضع والانضباط التخزيني نفسه لكل استعلام يوميا. تغطية المحركين معا مهمة خصوصا لجمهور سطح المكتب الأمريكي وأي نشاط تزداد فيه حصة الفئة ذات الدخل الأعلى على بينج — شغّل قائمة الكلمات نفسها على الاثنين وقارن الحصة الصوتية محركا بمحرك.

ملاحظات الامتثال

تبدو بيانات SERP عامة — فأي شخص يكتب استعلاما — لكن “ظاهر في المتصفح” و“حر الجمع على نطاق واسع بلا قيود” ادعاءان مختلفان. يغطي دليلنا القانوني الصورة الكاملة؛ والأساسيات الخاصة بـ SERP هي:

1. اقرأ شروط محرك البحث قبل بناء خطوط SERP متكررة، وتعامل مع الحظر الصريح مع تحذير باعتباره إشارة توقف.
2. لا تتحايل على الحواجز التقنية أبدا. إذا حظر محرك البحث نطاق عناوين أو عرض CAPTCHA كبوابات، فلا تبنِ التفافا حولها — استخدم التدوير المدمج والمعدلات المهذبة في الأداة المُدارة، وتعامل مع الحظر المستمر باعتباره إجابة.
3. حافظ على نظافة الاستعلامات والمخرجات. تحتوي مقتطفات SERP أحيانا بيانات شخصية (أسماء ووجوه وبيانات اتصال في النتائج المحلية). قلل ما تخزنه، وحدد مدد الاحتفاظ، وراجع قواعد الخصوصية لكل بلد يظهر مقيموه في بياناتك.
4. وثّق كل مشروع. احفظ الاستعلامات وإعدادات الاستهداف وتواريخ التشغيل والغرض مع مجموعة البيانات — فعادة التسجيل نفسها التي تصنع تحليلا جيدا تُثبت حسن النية أيضا.

هذه الملاحظات معلومات عامة وليست استشارة قانونية. لأي مشروع تجاري أو واسع النطاق أو يتضمن بيانات شخصية، اعرض الخطة على مستشار مؤهل أولا.

موارد ذات صلة

• هل استخراج البيانات قانوني في 2026؟
• استخراج البيانات دون حظر
• تصفح الأدوات الجاهزة