美創數據支撐平臺軟件(簡稱美創ETL)是美創科技研發的一款數據抽取轉換和加載工具,可以實現按秒、分、時、天為間隔的數據抽取操作。其中數據抽取轉換清理模塊可以定時將數據源中的增量數據取出,并按照指定格式(如XML)輸出數據;通過定時掃描的方式實現對增量數據的檢測,根據不同的用例將系統劃分為數據掃描模塊、數據抽取模塊和數據輸出模塊,通過接口將模塊之間解耦,增量日志的清除使用獨立的線程定時執行任務。每個模塊實現線程池,進行多線程處理,提高運行效率。輸出各個模塊的處理日志,滿足程序運行時監控。
1.支持增量數據采集技術
美創數據支撐平臺中數據抽取轉換工具采用增量采集技術,增量采集系統對生產庫的日志文件進行增量監控,有變化就把增量數據采集并送到ETL工具端,經過ETL一系列轉換和清洗后,最終數據以目標端的組織形式入庫。
2.支持多種輸入源
平臺中數據抽取轉換工具支持豐富的輸入源,使得用戶可以方便高效的從各種來源抽取想要的數據。
3.支持多種輸出格式
平臺中數據抽取轉換工具支持豐富的輸出格式,能夠滿足用戶不同的數據存儲需求。
4.靈活支持數據轉換功能
針對不一致的數據按規則進行轉換、數據粒度的轉換,以及一些商務規則的計算。
5.數據質量治理
數據支撐平臺是專業的數據質量分析,比較,驗證和監督的軟件,它會對各系統的企業信息進行數據分布驗證(如代碼、名稱的分布情況),基于驗證結果,提取關鍵信息進行比較,轉換并提煉唯一的標準企業名稱,并保證之后新抓取的數據都會根據已經設定的數據質量治理流程進行標準化處理。
6.支持地址數據標準化
美創ETL將地址數據標準化步驟如下:
1)將地址的信息分層
2)以地址字典為基礎補全地址信息
3)門牌號等數字統一為阿拉伯數字,門牌號等單位統一
4)去除空格、括號、中括號的特殊符號;全角轉半角等
7.支持作業調度
美創數據支撐平臺中數據抽取轉換工具的作業調度非常靈活,主要支持按時間調度、按外部條件調度,且可以執行外部作業。
8.平臺與作業監控
美創數據支撐平臺提供完善的平臺性能與作業執行情況的統計與監控。平臺性能包括CPU、內存、磁盤的實時資源使用情況以及歷史的趨勢統計,作業統計與監控包括目前正在執行的作業情況以及歷史作業的統計與分析。
9.完善的流程監控
支持遠程管理和監控ETL過程,可以看到實時的系統狀態以及轉換執行過程。
10.元數據管理
美創數據支撐平臺中數據抽取轉換工具支持2種元數據管理:
1) 基于XML文件的元數據管理
2) 基于數據庫的元數據管理
兩種管理方式都能保證用戶的元數據的一致。
11.支持遠程執行和管理
支持在遠程的服務器上部署和發布ETL服務,并對整個ETL流程能進行監控,方便用戶管理和控制整個ETL流程。
12.支持擴展功能
支持用戶方便的編寫自己的JAVA代碼、JAVASCRIPT腳本、sql腳本來擴展功能,這對于一些特定的數據抽取,或者業務處理是非常有用的。
· 跨平臺