ما هي ETL Tool

[نجد جمال]

كثير منا ما سمع عن كلمة ETL في مشاريع نظم المعلومات الجغرافية او في مشاريع قواعد البيانات ولكن ان اداة ETL من الادوات المهمة في اعمال وتطبيقات نظم المعلومات الجغرافية لما توفره من وقت وجهد في عملية تحويل ومعالجة البيانات ، دعونا نفصل اكثر ETL هي كلمة تتكون من ثلاث حروف E,T,L. والمقصود بالحروف كالتالي (Extract, Transform and Load) و لكن دعون نتكلم ما العلاقة بين ETL ونظم المعلومات الجغرافية بشكل اوسع ، كثير منا تعامل مع ملفات بصيغ مختلفة مثل ملفات ,DXF,CAD الاتوكاد ، وملفات بصيغ KML,KMZ وملفات DGN وملفات Tab وملفات .SDE , MDB وملفات الاكسل وغيرها من الصيغ وقد لاحظنا في الكثير من المرات يتم التحويل من خلال ادوات معينة بدون عمل اي محاذير او معايير للتحويل بين صيغة واخر فمثلا يتم تحويل بيانات الاتوكاد من خلال برنامج ArcGIS و نرى ان هناك عدم تمايز في الطبقات فقط احصل على طبقة خط او مضلع او نقاط او Annotation و عند استعراض الملف المحول نصتطدم بصعوبة قراءة الملف المحول اذا كان يحوي تصاميم هندسية معقدة وصعوبة في تميز المعالم ، وهنا تجدر الاشارة الى القواعد الاساسية التي يراد استخدامها في التحويل فعملية التحويل ليست بالعملية السهلة كما يتصور البعض وانما هي علم بحد ذاته يحتاج الى دراية فنية وخبرة وتمرس في استخدام شتى انواع البيانات ، وجاءت اهمية ادوات ETL مؤخرا حيث اصبح جميع الدوائر الحكومية تطمح الى استخدام وعمل Enterprise GIS يلبيي طموحات المؤسسة او الدائرة الحكومية ، فعند بداية اي مشروع كما هو معروف الخطوة الاساسية هي داسة الوضع الراهن As-IS للتعرف على البيانات الموجودة والانظمة والعمليات الموجودة في المؤسسة ، ومن خلال دراسة الوضع الراهن يتم تحديد حجم البيانات الموجود باختلاف صياغها ومصادرها وكما تعلمون ان اي مؤسسة تبدا بمشروع نظم المعلومات جغرافية بالكاد يكون عندها بيانات بصيغة نظم معلومات جغرافية GIS ك Shapefile or GDB و نلاحظ ان اغلبية البيانات هي عبارة عن لوحات تم عمل مسح لها وارشفتها او بيانات اتوكاد ، فلو اخذنا بعين الاعتبار ان جميع البيانات هي بصيغة اتوكاد ونريد ان نحولها الى قواعد البيانات الرئيسية من صيغة اوركل او سيكول يجب التاكد من توفر CAD Stander بمعنى ان يكون هناك تسمية وترقيم للبيانات حسب الاصول واستخدام الرموز حسب طبيعة الطبقة ، فلو افترضنا ان طبقة المياه (انابيب) وطبقة شبكة الكهرباء(كوابل ) تم رسمها على طبقة 0 او تم استخدام نفس الرمز لهما ونفس الاسم هذا كله لايعتبر CAD Stander وبالتالي لايمكن تحوليها الى قواعد البيانات الجغرافية ، وللحصول على مواصفات CAD Stander هذا يعتمد من دائرة الى اخرى ومن دولة الى اخرى ولكن يجب ان يتفق جميع الدوائر والادارات في نفس الدائرة على مسميات معينة ورموز معينة وبالتالي يتم انشاء قاموس خاص بالبيانات والرمموز والتسمية (هذا من افضل الطرق ) او يتم الاستعانة باحد التجارب الموجودة في امريكا كشركة مياه فرجينيا او بريطانيا ، وبعد اتمام عملية تجهيز البيانات وفق معايير معينة CAD Stander يتم البديء بتحديد التكنولوجيا المستخدمة في تحويل البيانات وفق ضوابط وشروط ومعايير من خلال استخدام ادوات ETL كما هو معروف او بشكل قريب علينا FME فاسم ETL يشمل الكثير من الادوات ولكن من اشهرها في عالم نظم المعلومات الجغرافية هو FME الذي هو احد منتجات Safe Company المشهورة حيث تمككنا هذه الاداة من تحويل البيانات من صيغ جغرافية (مكانية) الى صيغ جغرافية (مكانية) وقد عرفت مقدرة هذه الاداة على عمل تحويل اكثر من 300 صيغة و القدرة على التعامل مع قواعد البيانات المكانية وغير المكانية ، وكما تحدثنا سابقا بعد الانهاء من تجهيز CAD Stander يتم البديء بتحويل البيانات باستخدام ETL tool(FME)2 فتم البديء بعل CAD/GIS Business process بحيث يشمل جميع جوانب التحويل من حيث البيانات الوصفية والعلاقات بين الطبقات فمثلا لو كان عندنا طبقة مضلع في الاتوكاد تمثل قطع الاراضي و عندنا جدول اكسل يمثل معلومات وصفية تخص قطع الاراضي من خلال ETL-FME يتم عملية دمج للبيانات الوصفية والبيانات المكانية وتحويلها الى صيغ قواعد بيانات جغرافية ، ومن خلال عملية التحويل يتم كشف الاخطاء في البيانات وبالتالي نستطيع تجنب الاخطاء وبالتالي هذا نوع من انواع ضبط الجودة للبيانات وفي النهاية نكون قد حصلنا على بيانات جغرافية صحيحية مكانيا و وصفيا ... وهذا هدفنا لكي تكون صالحة للاستخدام والاستفادة منها .... ولعلم عمليات تحويل CAD/GIS هو علم شامل يحتاج الى دقة في ومتابعة للبيانات المحولة وتتطلب فرض شروط معينة اثناء التحويل ، ما يميز ال FME هو القدرة على العمل بشكل يدوي او اتوماتيكي Auto ولكن بشروط معينة بحيث يتم استلام البيانات وتحويلها الى الصيغ المرادة اليا وبالتالي تم توفير الوقت والجهد وتم تجنب الاخطاء الكبيرة ، وكما هو معروف فان FME هو ينقسم الى Desktop App و FME Server - WebApp ولكل منهم هدف يستخدم من خلاله ، وسوف اقوم بطرح مواضيع فنية باذن الله في هذا الموضع لتعم الفائدة على الجميع .... كل الشكر والتقدير والاحترام لكم

[حمود العنزي]

شكراً نجد على هذا المقال المميز، وقد تصفحت موقع www.safe.com وقد بحث عن بعض الامتدادات النادرة ان جاز التعبير ووجدت دعم لتحويلها.
ولم يرغب في البحث علية بهذا الرابط : http://www.safe.com/fme/format-search/#!

[نجد جمال]

شكراً نجد على هذا المقال المميز، وقد تصفحت موقع www.safe.com وقد بحث عن بعض الامتدادات النادرة ان جاز التعبير ووجدت دعم لتحويلها.
ولم يرغب في البحث علية بهذا الرابط : http://www.safe.com/fme/format-search/#!

شكرا للاخ حمود على الرد في الحقيقة ان شركة Safe Company وفرت هذا المنتج لدعم تحويل ما لايقل عن 300 صيغة ، و لكن كما تعلمون فان السوق المحلي يتطلع دائما على بيانات الاتوكاد بشكل كبير ، ما يميز هذا المنتج القدرة على عمل دعنا نتكلم منهجية او خوارزمية يتم تنفيذها باستخدام Desktop App وهناك عدة انواع ، وبعد ذلك يتم نشر للخوارزمية بحيث تكون متاحة من خلال الويب وهي تعمل بشكل مستمر ... وقد تعد استخدم منتجات هذه الشركة يتعدى حدود التحويل للبيانات فقط وانما هناك امور اخرى مهمة منها (ترابط البيانات ، ضبط الجودة للبيانات وغيرها الكثير )...
من قصص النجاح في هذا المجال :
سلطة المياه مقاطعة كلايتون في امريكا
http://www.ccwa.us

وشكرا