84. طفرية: معايرة وتنظيف مجموعة بيانات الغلة

استدعاءات API لتنظيف ومعايرة مجموعات بيانات الغلة

معايرة "مجموعة بيانات الغلة" هي وظيفة تصحح توزيع القيم بما يتوافق مع المبادئ الرياضية، مما يعزز التكامل العام للبيانات. إنها تعزز جودة اتخاذ القرار وتجعل مجموعة البيانات ذات قيمة لمزيد من التحليل المتعمق.

حالات الاستخدام الشائعة لهذه الوظيفة تشمل:

• مزامنة البيانات عندما تعمل عدة آلات حصاد إما في الوقت نفسه أو على مدى عدة أيام، لضمان الاتساق.

• جعل مجموعة البيانات أكثر تجانسًا ودقة عن طريق تنعيم التباينات.

• إزالة ضوضاء البيانات والمعلومات الزائدة التي قد تغطي على الرؤى.

• القضاء على دورانات أو هندسات غير طبيعية، والتي قد تشوّه الأنماط والاتجاهات الفعلية في الحقل.

• تعديل بيانات الغلة لتتوافق مع المتوسطات أو الإجماليات المعروفة لكل سمة.

لمزيد من الاستكشاف التفصيلي والأمثلة، يرجى الرجوع إلى حالة استخدام معايرة وتنظيف الغلة .

مجموعة بيانات الغلة الأصلية مع سمة الكتلة الرطبة

عملت خمس آلات حصاد بالتوازي في الحقل الذي تبلغ مساحته 30 هكتارًا الموضح أدناه. لم تكن معايرة إحدى آلات الحصاد متزامنة مع الباقي، مما أدى إلى وجود برتقالي نقاط، مما يشير إلى أن هناك حاجة إلى المعايرة . بالإضافة إلى ذلك، توجد العديد من الدورانات الحمراء القريبة من حدود "الحقل" التي تحتاج إلى الإزالة.

مجموعة بيانات الغلة الأصلية مع سمة الكتلة الرطبة

مجموعة بيانات الغلة المعايرة والمُنقحة مع سمة الكتلة الرطبة

يعرض الناتج أدناه مجموعة البيانات بعد تطبيق عمليات المعايرة و التنظيف الأوتوماتيكية باستخدام المعلمات الافتراضية. أصبحت "مجموعة بيانات الغلة" الناتجة متجانسة، بدون قيم شاذة أو تغيّرات مفاجئة بين الهندسات المتجاورة.

مجموعة بيانات الغلة المعايرة والمُنقحة مع سمة الكتلة الرطبة

خيارات على مستوى المسار مقابل المتوسط/الإجمالي مقابل الشرطي

المعايرة على مستوى المسار تتوافق مع آثار مرور الآلة. يتم معالجة كل أثر آلة كمنطقة فردية لأغراض المعايرة. تقترح فريق GeoPard استخدام هذه الطريقة كنهج قياسي.

المعايرة المتوسطة/الإجمالية تركز على إعادة توزيع قيم السمات. إذا كانت الأنماط الجغرافية المكانية صحيحة لكن الأرقام المطلقة تختلف عن القيم الفعلية، فهذه الطريقة مفيدة. للحصول على أفضل النتائج، توصي GeoPard بدمجها مع معايرة المسار: تطبيق المعايرة على مستوى المسار أولاً، ثم التعديل إلى القيم المعروفة للمتوسط/الإجمالي.

المعايرة الشرطية تعدل قيم السمات بناءً على حدود دنيا وعليا مقدمة. تكون هذه الطريقة ذات قيمة خاصة عندما تكون الأنماط الجغرافية المكانية دقيقة، لكن توزيع القيم يحتاج إلى تعديلات، خاصة عند وجود قيم دنيا وعليا معروفة. للحصول على أفضل النتائج، توصي GeoPard بمزاوجتها مع معايرة المسار: بدءًا بمعايرة المسار، ثم إجراء التعديلات لمواءمة القيم مع الحدود الدنيا والعليا المعروفة.

تلميحات

تلميح بخصوص شذوذات البيانات

إذا واجه المستخدم شذوذات في البيانات، مثل قيم عند الصفر أو قريبة منه، أو قيم كبيرة غير معتادة (على سبيل المثال، متوسط 10 مع حد أقصى 8000)، يُنصح باستخدام تدفق العمل "التنظيف والمعايرة" . يتم تكوينه باستخدام معلمات الإجراءات: [CLEAN, CALIBRATE].

إعطاء الأولوية لتنظيف البيانات قبل المعايرة يضمن إزالة الأخطاء أو القيم المفقودة أو التناقضات، مما يعزز جودة ودقة البيانات.

تلميح للبيانات الخالية من الأخطاء في البداية

بالنسبة لمجموعات البيانات الخالية مبدئيًا من الأخطاء أو القيم المفقودة أو التناقضات، وعندما يُعرف أن عدة آلات حصاد شاركت، ضع في الاعتبار تدفق عمل المعايرة والتنظيف . يتم تكوينه باستخدام معلمات الإجراءات: [CALIBRATE, CLEAN].

يساعد تنظيف البيانات بعد المعايرة على تنقية مجموعة البيانات بشكل إضافي من خلال التخلص المحتمل من أي شوائب تم إدخالها أثناء المعايرة.

التوثيق: تفاصيل الطفرة (الميوتيشن)

يُمكّن التكوين الافتراضي القياسي المعايرة الذاتية والتنظيف التلقائي لـ "مجموعة بيانات الغلة".

mutation AutoCalibrateYieldDataset {
  calibrateYieldDataset(input: {
    fieldUuid: "<placeholder_of_field_uuid>"
    yieldDatasetUuid: "<معرف_مجموعة_البيانات_النائب>"
    actions: {
      calibrateAction: {
        calibrationAttributes:["WetMass", "VRYIELDVOL"]
        conditionPathwiseCalibration: {
          calibrationBasis: "WetMass"
          maxHomogeneityRegion: true
          syntheticMachinePath: true
        }
      }
      cleanAction: {
        condtionAutoClean: {
          targetAttribute: "WetMass"
        }
      }
      
      الإجراءات:  [CALIBRATE, CLEAN]
    }
  }) {
    uuid
    معرف_الحقل
    originalUuid
    رمز_الحالة
    statusMessage
  }
}

يوفر مثال أكثر تقدمًا تحكمًا يدويًا في نطاقات الحد الأدنى/الحد الأقصى ويشمل سمات إضافية.

mutation CustomCalibrateYieldDataset {
  calibrateYieldDataset(input: {
    fieldUuid: "<placeholder_of_field_uuid>"
    yieldDatasetUuid: "<معرف_مجموعة_البيانات_النائب>"
    actions: {
      calibrateAction: {
        calibrationAttributes:["WetMass", "VRYIELDVOL"]
        smoothWindowSize: 11
        conditionPathwiseCalibration: {
          calibrationBasis: "Machine"
          maxHomogeneityRegion: true
          syntheticMachinePath: false
        }
        conditionAvgTotalCalibration:[{
          calibrationAttribute: "WetMass"
          average:8.0
        }]
      }
      cleanAction: {
        condtionAutoClean: {
          targetAttribute: "WetMass"
        }
        conditionMinMaxClean: [{
          cleanAttribute: "Distance"
          min: 1.5
          max: 10.0
        }]
      }
      الإجراءات:  [CALIBRATE, CLEAN]
    }
  }) {
    uuid
    معرف_الحقل
    originalUuid
    رمز_الحالة
    statusMessage
  }
}

لمتابعة بروتوكول وزارة الزراعة الأمريكية للعملية التنظيف ، يجب عليك إما ذكر جميع الأعمدة في cleanAction -> conditionMinMaxClean أو تحديد جزء منها في cleanAction -> conditionMinMaxClean وإدراج الباقي في condtionAutoClean -> excludedAttributes.

معلمات الإدخال:

• الإجراءات كمصفوفة، مما يتيح لك اختيار إجراءات التصحيح وتسلسل التطبيق؛ القيم المدعومة تشمل التنظيف و المعايرة.

• calibrateAction بوصفها كائناً يحتوي على تفاصيل التكوين المتعلقة بـ المعايرة العملية.

  • calibrationAttributes كمصفوفة من السمات التي تتطلب المعايرة، عادةً المرتبطة بعمود الغلة.

  • smoothWindowSize بوصفه عددًا فرديًا يعمل على تنعيم القيم الناتجة، مما يقلل من القفزات الحادة في القيم.

  • conditionPathwiseCalibration بوصفه كائناً مع المعايرة على مستوى المسار تتوافق مع آثار مرور الآلة. يتم معالجة كل أثر آلة كمنطقة فردية لأغراض المعايرة.

    • calibrationBasis بوصفه سلسلة نصية تمثل السمة المستخدمة كأساس للمعايرة.

    • maxHomogeneityRegion بوصفه قيمة منطقية تشير إلى ما إذا كانت منطقة التجانس القصوى تُستخدم كمنطقة مرجعية للمعايرة.

    • syntheticMachinePath بوصفه قيمة منطقية تشير إلى محاكاة مسارات الآلة، وهو مفيد عندما تكون سمة المسار الدقيق للآلة غائبة وتحتاج إلى محاكاة بناءً على الطوابع الزمنية أو سمة مماثلة.

  • conditionAvgTotalCalibration بوصفه كائناً مع المعايرة المتوسطة/الإجمالية تركز المعايرة على مستوى المتوسط/الإجمالي على إعادة توزيع قيم السمات. إذا كانت الأنماط الجغرافية المكانية دقيقة لكن الأرقام المطلقة تنحرف عن القيم الفعلية، تكون هذه الطريقة مفيدة.

    • calibrationAttribute بوصفها سلسلة نصية تمثل السمة المراد معايرتها.

    • average بوصفه رقمًا يمثل متوسط قيم السمة؛ يجب أن تتوافق قيم السمة مع هذا المتوسط. يجب استخدام خيار واحد فقط، إما average أو total، في كل مرة.

    • total بوصفه رقمًا يمثل المجموع الكلي لقيم السمة؛ يجب أن يتطابق مجموع هذه القيم مع الإجمالي. يجب استخدام خيار واحد فقط، إما average أو total، في كل مرة.

  • conditionMinMaxCalibration بوصفه كائناً مع المعايرة الشرطية تعدل المعايرة الشرطية قيم السمات بناءً على حدود دنيا وعليا مقدمة.

    • calibrationAttribute بوصفها سلسلة نصية تمثل السمة المراد معايرتها.

    • min بوصفه رقمًا يمثل القيم الدنيا للسمة، ويعمل كنطاق أدنى للمعايرة.

    • minIncluded بوصفه قيمة منطقية تشير إلى ما إذا كان يجب تضمين القيمة الدنيا أم لا

    • max بوصفه رقمًا يمثل القيم العليا للسمة، ويعمل كنطاق أعلى للمعايرة.

    • maxIncluded بوصفه قيمة منطقية تشير إلى ما إذا كان يجب تضمين القيمة العليا أم لا.

• cleanAction بوصفه كائنًا يتضمن تفاصيل التكوين المرتبطة بـ التنظيف العملية.

  • conditionAutoClean بوصفه كائنًا يتضمن التكوينات الخاصة بخوارزمية التنظيف التلقائي.

    • targetAttribute بوصفها سلسلة نصية تمثل قيم الغلة المستهدفة.

    • excludedAttributes كمصفوفة من السلاسل النصية التي تحدد السمات التي لا تؤثر على عملية التنظيف.

  • conditionMinMaxClean كمصفوفة من الكائنات التي تحتوي على قواعد التنظيف الموصوفة، كل كائن يتضمن المعلمات التالية.

    • cleanAttribute كسلسلة نصية تحدد اسم العمود للقانون.

    • min بوصفه رقمًا يشير إلى القيمة الدنيا.

    • max بوصفه رقمًا يشير إلى القيمة العليا.

لعرض المدخلات والوصول إلى أحدث القيم المتاحة للتعدادات (مثل العمليات)، يُنصح باستخدام Altair.

التوثيق: استعلام مجموعة بيانات الغلة

كمستهلك لواجهة برمجة تطبيقات GeoPard، يمكنك استرداد تفاصيل التصحيحات المطبقة على مجموعات بيانات الغلة عبر السمات appliedCorrections و appliedCorrectionsVersion. يقدّم الأول قائمة بالتصحيحات المُجراة (مثل المعايرة و التنظيف)، مع ترتيب التنفيذ المشار إليه بتسلسلها في المصفوفة. في غضون ذلك، appliedCorrectionsVersion يشير إلى إصدار الخوارزمية المستخدمة.

query DetailsAboutAppliedCalibrations {
  getFields (filter: {fieldUuid: "<معرف_الحقل_النائب>"}){
    fields {
      uuid
      yieldDatasets  {
        uuid
        appliedCorrections
        appliedCorrectionsVersion
      }
    }
  }
}