• 专利附录
  • 专利说明
  • 权利要求
  • 类似技术
  • 同族专利
  • 引用文献
  • 法律状态
  • 优先权
    • 专利摘要:
    本申請實施例係關於一種實現增量資料抽取的方法、裝置和系統；其中，該方法包括：從資料備份庫中獲取增量資料的主鍵資訊；根據主鍵資訊到與該資料備份庫進行資料同步的資料主庫中查詢整條增量資料；將查詢到的該整條增量資料插入到目標資料倉庫中。採用本申請的方法、裝置和系統進行增量資料的抽取，能夠節省大量時間和系統資源，極大提高了增量資料抽取的效率。
    公开号:TW201301062A
    申请号:TW100128690
    申请日:2011-08-11
    公开日:2013-01-01
    发明作者:Xin Fan
    申请人:Alibaba Group Holding Ltd；
    IPC主号:G06F11-00
    专利说明:
    實現增量資料抽取的方法、裝置及系統
    本申請係關於資料傳輸技術領域，尤其係關於一種實現增量資料抽取的方法、裝置及系統。
    隨著網際網路的飛速發展，網站所顯示的資料量越來越大，同時，其前台網站與後台資料倉庫之間的資料傳輸量也越來越大；而後台資料倉庫進行資料計算時，都需要從前台網站抽取資料。
    目前，傳統的實現方案是資料倉庫採用哈希運算方式進行資料的抽取；例如：假設前台網站有表a，該表資料量大概在億級，每天的增量資料大概在600W左右，現在資料倉庫需要每天將該表的增量資料進行抽取，抽取的過程為：A、首先建立臨場表1；B、將資料倉庫中原有的表a中的資料採用步驟A的方法生成一張臨場表2；C、將該臨場表1中的資料拉到資料倉庫，然後與資料倉庫中生成的臨場表2進行關聯操作，從而得到增量資料的id值；D、根據id值再到前台網站獲取整條資料。
    很明顯，上述步驟A把表a中上億的資料全部掃描一遍然後建立臨場表1就需要2~3個小時，然後透過網路傳到資料倉庫耗費的時間又再次加長；並且，步驟C中進行關聯操作也是非常耗時的。
    因此，如果採用傳統的抽取方式，由於該增量資料的規模在不斷擴大，例如上述前台網站一張大表的資料抽取就可以達到5個小時，不僅耗費了大量的時間和計算資源，也會導致資料倉庫資料計算的延時。
    有鑒於此，本申請實施例提供一種實現增量資料抽取的方法、裝置及系統，能夠節省大量時間和系統資源，極大提高了增量資料抽取的效率。
    為解決上述問題，本申請實施例提供的技術方案如下：一種實現增量資料抽取的方法，包括：透過解析資料備份庫的日誌檔，並根據解析出的資料備份庫的日誌檔內容反解析出資料備份庫的具體變化資料，從該資料備份庫的變化資料中讀取其中的主鍵資訊；根據主鍵資訊到與該資料備份庫進行資料同步的資料主庫中查詢整條增量資料；將查詢到該整條增量資料插入到目標資料倉庫中。
    一種實現增量資料抽取的裝置，包括：獲取單元、查詢單元和插入單元；其中，該獲取單元用於解析資料備份庫的日誌檔，並對該日誌檔進行反解析得到資料備份庫的具體變化資料，從該具體變化資料中讀取主鍵資訊；該查詢單元用於根據獲取單元獲取到的主鍵資訊到與該資料備份庫進行資料同步的資料主庫中查詢整條增量資料；該插入單元用於將該查詢單元查詢到的整條增量資料插入到目標資料倉庫中。
    一種實現增量資料抽取的系統，包括：資料主庫、資料備份庫、目標資料倉庫以及上述實現增量資料抽取的裝置；其中，該資料主庫和資料備份庫用於儲存需要進行抽取的增量資料；該資料主庫和備份庫之間儲存的資料同步；該裝置用於從該資料備份庫中獲取增量資料的主鍵資訊，根據主鍵資訊到該資料主庫中查詢整條增量資料，再將查詢到該整條增量資料插入到該目標資料倉庫中；該目標資料倉庫用於儲存抽取到的整條增量資料。
    可以看出，採用本申請實施例的方法、裝置和系統，透過利用增量資料的主鍵資訊獲取變化的資料，並只將該變化的資料送至資料倉庫用以後續運算，從而節省了大量時間和系統資源，極大提高了增量資料抽取的效率。另外，本申請透過設置與資料主庫資料同步的資料備份庫來實現主鍵資訊的獲取，並根據主鍵資訊在資料主庫中執行整條增量資料的查詢操作，從而減小了查詢增量資料資訊給資料主庫帶來的工作壓力。
    本申請基於現有傳統方案中抽取所有的前台資料給資料倉庫所導致的問題，提出利用增量資料的主鍵資訊獲取變化的資料，並只將該變化的資料送至資料倉庫用以後續運算，從而節省了大量時間和系統資源，極大提高了增量資料抽取的效率。
    其中，需要注意的是，本領域普通技術人員很容易瞭解，本申請實施例中提及的該增量資料為前台網站每天的變化資料；當然，在具體應用過程中，該增量資料也可以是其他應用和形式上的變化資料，並不具體限定為前台網站的變化資料，在時間上也並不限定為每天的變化資料，具體本文不再贅述。
    下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述；顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基於本申請中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬於本申請保護的範圍。
    本申請實施例1提供了實現增量資料抽取的方法，為了不給前台資料主庫帶來過大壓力，該方法應用於包含前台資料主庫和前台資料備份庫的系統中，如圖1所示，該方法包括：步驟110：從前台資料備份庫中獲取增量資料的主鍵資訊；其中，具體的獲取主鍵的操作可採用現有技術實現，在本實施例中可採用下述方式實現，但不侷限於此：首先解析前台資料備份庫的日誌檔，該前台資料備份庫的日誌通常採用二進位存放；然後根據解析出的前台資料備份庫的日誌檔內容反解析出前台資料庫的具體變化資料；再從該前台資料備份庫的變化資料中讀取其中的主鍵資訊；例如前台用戶做出了新增資料的操作insert into a values(100，'xin'，sysdate)；則要獲取該增量資料的主鍵資訊，首先解析前台資料備份庫的日誌檔，從解析出的前台資料備份庫的日誌檔內容中發現存在資料變更情況，即得到變化資料表a，其中變更類型為insert，變更的主鍵資訊為100；從中讀取100即獲得了增量資料的主鍵資訊。本申請前台資料備份庫中的資料是從前台資料主庫中即時同步獲取的，但較佳的，前台資料備份庫中的資料並不是將前台資料主庫中的所有資料項目都同步到備份庫中，而只是同步一些關鍵的資料項目，如主鍵資訊。透過減少由主庫同步到備份庫中的資料項目的數量可以加快資料的同步過程，並且在進行備份庫中日誌檔的分析時，由於日誌檔中僅記錄了少量的關鍵資料項目資訊，可以加快日誌檔的解析速度。
    步驟120：根據主鍵資訊到前台資料主庫中查詢整條增量資料；值得注意的是，為了減小查詢及增量資料的抽取給前台資料主庫帶來的工作壓力，本實施例中，透過設置與該前台資料主庫資料同步的資料備份庫來實現主鍵資訊的獲取，並且根據主鍵資訊在前台資料主庫中進行整條增量資料的查詢操作，在此種情況下，原前台資料主庫可以稱之為“主庫”，與之資料同步的資料備份庫可以稱之為“備份庫”，本實施例中下述名稱沿用此簡稱；具體的查詢操作可採用常用的查詢函數或查詢語句來實現，如採用select函數等；例如，獲取到的增量資料的主鍵資訊為100、108、200，則可採用查詢語句為select * from a where id in(100，108，200)的方式查詢到該增量資料的整條資料，具體其他查詢方式本文不再贅述；在實際操作中，為了更準確的查詢到整條增量資料，本實施例的方法還包括在獲取增量資料的主鍵資訊的同時獲取該增量資料的變更類型；通常情況下，變更操作中的Insert代表變更類型為插入，Update代表變更類型為更新，Delete代表變更類型為刪除，當然還可包括其他的變更類型，本文在此不再贅述。
    步驟130：將查詢到該整條增量資料插入到目標資料倉庫中。
    需要注意的是，插入到目標資料倉庫中的該增量資料應至少包括但不侷限於：該增量資料的變更時間、該增量資料的變更類型以及該增量資料的主鍵資訊，但本實施例並不侷限於此；具體的，在本實施例中，將查詢到的該整條增量資料插入到目標資料倉庫中可採用合併的方式實現，即將該整條增量資料與該目標資料倉庫中的原有資料表合併；當然，也可以採用其他方式，例如，將該整條增量資料替換該目標倉庫中的與該增量資料對應的原有資料，即採用該整條增量資料更新原有資料；具體插入方式還可以有其他實現，本文在此不再贅述。
    下面以一個具體的前台網站增量資料的抽取實例對上述實施例的方法進行詳細說明，如下述本實施例2所述，其中：假設前台網站的資料如下表t所示，其需要將增量資料推送給資料倉庫；而該表t的結構和資料如下，其中Id為主鍵：
    當前台網站的資料在2011-1-1 8：00：00做了如下變更，亦即上述表1中的資料資訊發生了增量變化，具體為：
    Insert into t values(4，'王五'，30，male)；
    Update t set age='35' where name='李四'
    Delete from t where name='張三'
    則此時需要進行的增量資料的抽取操作包括如下步驟：
    S210：首先在前台網站資料備份庫中捕獲到變更資料的主鍵和變更類型，亦即從對上述表1的修改中得到的資料如下：(4，I)，(2，U)，(1，D)，其中I、U、D分別代表插入，更新，刪除操作，4、2、1代表每個操作對應的主鍵資訊；
    S220：根據主鍵資訊4、2、1到前台網站資料主庫中作select查詢操作，以查詢出整條增量資料；本實例中採用如下查詢語句實現：select*from t where id in(4，2，1)；其中，前台網站資料主庫和備份庫的資料同步實現，具體同步過程本文不再贅述；
    S230：將查詢出來的整條增量資料插入到增量表中；其中，該增量表的結構和資料如下：
    其中log_seq欄位保留，log_time代表該資料在資料庫中真實的變更時間，log_action取值(I，U，D)，代表該條資料發生的變更類型，log_id為該記錄的主鍵；
    S240：資料倉庫將上述增量表中的增量資料合併到已儲存的基礎表內，並替換基礎表內的原有資料，從而可以完成前台網站增量資料的抽取，大大提高了資料抽取效率。
    可以看出，採用上述實施例的方法，透過利用增量資料的主鍵資訊獲取變化的資料，並只將該變化的資料送至資料倉庫用以後續運算，從而節省了大量時間和系統資源，極大提高了增量資料抽取的效率。
    基於上述思想，本申請實施例3又提出了一種實現增量資料抽取的裝置，如圖2所示，該裝置200包括：獲取單元210、查詢單元220和插入單元230；其中，該獲取單元210用於從前台資料備份庫中獲取增量資料的主鍵資訊；該查詢單元220用於根據該獲取單元210獲取到的主鍵資訊到與該前台資料備份庫資料同步的前台資料主庫中查詢整條增量資料；該插入單元230用於將該查詢單元220查詢到的整條增量資料插入到目標資料倉庫中。
    值得注意的是，為了減小查詢增量資料資訊給前台資料主庫帶來的工作壓力，本實施例中，透過設置與該前台資料主庫資料同步的資料備份庫來實現主鍵資訊的獲取，並根據主鍵資訊在前台資料主庫中執行整條增量資料的查詢操作，在此種情況下，原前台資料主庫可以稱之為“主庫”，與之資料同步的資料備份庫可以稱之為“備份庫”；另外，本申請示例性的以對前台資料庫的增量資料抽取進行說明，當然本申請也可以應用於對後台資料庫的增量資料抽取或其他類型資料庫的增量資料的抽取，本申請對此並不作限定。
    需要注意的是，在本實施例中，該獲取單元210還可包括(圖中未示出)：用於解析前台資料備份庫日誌檔的解析模組211，用於對該解析模組211解析出的該日誌檔進行反解析得到前台資料備份庫具體變化資料的反解析模組212，以及用於從該反解析模組212得到的具體變化資料中讀取主鍵資訊的讀取模組213。
    此外，該查詢單元220還可包括(圖中未示出)：用於呼叫查詢函數或查詢語句的呼叫模組221，和用於根據該呼叫模組221呼叫的查詢函數或查詢語句進行查詢操作的執行模組222；具體的，例如：如果該獲取單元210獲取的增量資料的主鍵資訊為100、108、200，則需要進行查詢操作時該呼叫模組221呼叫select函數，該執行模組222透過執行函數select * from a where id in(100，108，200)查詢到該增量資料的整條資料，具體文本不再贅述。
    另外，在本實施例中該插入單元230還可包括(圖中未示出)：用於將該整條增量資料與目標資料倉庫中的原有資料表進行比較的比較模組231，以及根據該比較模組231的比較結果將整條增量資料更新到該原有資料表中的更新模組232。
    除此之外，本實施例的實現增量資料抽取的裝置200還可包括(圖中未示出)：用於獲取增量資料的變更類型的處理單元240；通常情況下，該處理單元240獲取到的變更類型中，Insert代表變更類型為插入，Update代表變更類型為更新，Delete代表變更類型為刪除，當然還可包括其他的變更類型，本文在此不再贅述。
    值得注意的是，當本實施例實現增量資料抽取的裝置200包括處理單元240時，該插入單元230插入到目標資料倉庫中的增量資料應至少包括但不侷限於：該增量資料的變更時間、該增量資料的變更類型以及該增量資料的主鍵資訊，本實施例並不侷限於此。
    同樣基於上述思想，本申請實施例4也提出了一種實現增量資料抽取的系統，如圖3所示，該系統300包括：前台資料主庫310、前台資料備份庫320、目標資料倉庫330以及上述實施例3所述的實現增量資料抽取的裝置200；其中，該前台資料主庫310和前台資料備份庫320用於儲存需要進行抽取的增量資料；該前台資料主庫310和備份庫320之間儲存的資料同步；該裝置200用於從該前台資料備份庫320中獲取增量資料的主鍵資訊，根據主鍵資訊到該前台資料主庫310中查詢整條增量資料，再將查詢到的該整條增量資料插入到該目標資料倉庫330中；該目標資料倉庫330用於儲存該抽取到的整條增量資料。
    專業人員還可以進一步意識到，結合本文中所公開的實施例描述的各示例的單元及演算法步驟，能夠以電子硬體、電腦軟體或者二者的結合來實現，為了清楚地說明硬體和軟體的可互換性，在上述說明中已經按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬體還是軟體方式來執行，取決於技術方案的特定應用和設計約束條件。專業技術人員可以對每個特定的應用來使用不同方法來實現所描述的功能，但是這種實現不應認為超出本申請實施例的範圍。
    結合本文中所公開的實施例描述的方法或演算法的步驟可以直接用硬體、處理器執行的軟體模組，或者二者的結合來實施。軟體模組可以置於隨機記憶體(RAM)、記憶體、唯讀記憶體(ROM)、電可編程ROM、電可擦除可編程ROM、寄存器、硬碟、可移動磁片、CD-ROM、或技術領域內所公知的任意其他形式的儲存媒體中。
    對所公開的實施例的上述說明，使本領域專業技術人員能夠實現或使用本申請實施例。對這些實施例的多種修改對本領域的專業技術人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本申請實施例的精神或範圍的情況下，在其他實施例中實現。因此，本申請實施例將不會被限制於本文所示的這些實施例，而是要符合與本文所公開的原理和新穎特點相一致的最寬的範圍。
    以上所述僅為本申請實施例的較佳實施例而已，並不用以限制本申請實施例，凡在本申請實施例的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本申請實施例的保護範圍之內。
    200．．．實現增量資料抽取的裝置
    210．．．獲取單元
    220．．．查詢單元
    230．．．插入單元
    300．．．實現增量資料抽取的系統
    310．．．前台資料主庫
    320．．．前台資料備份庫
    330．．．目標資料倉庫
    為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對於本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
    圖1是本申請實施例1實現增量資料抽取的方法流程示意圖；
    圖2是本申請實施例3實現增量資料抽取的裝置結構示意圖；
    圖3是本申請實施例4實現增量資料抽取的系統結構示意圖。
    权利要求:
    Claims (14)
    [1] 一種實現增量資料抽取的方法，其特徵在於，包括：透過解析資料備份庫的日誌檔，並根據解析出的資料備份庫的日誌檔內容反解析出資料備份庫的具體變化資料，從該資料備份庫的變化資料中讀取其中的主鍵資訊；根據該主鍵資訊到與該資料備份庫進行資料同步的資料主庫中查詢整條增量資料；將查詢到的該整條增量資料插入到目標資料倉庫中。
    [2] 根據申請專利範圍第1項所述的方法，其中：根據該主鍵資訊利用查詢函數或查詢語句到與該資料備份庫進行資料同步的前台資料主庫中查詢整條增量資料。
    [3] 根據申請專利範圍第1項所述的方法，其中，該方法還包括：在獲取該增量資料的主鍵資訊的同時獲取該增量資料的變更類型。
    [4] 根據申請專利範圍第3項所述的方法，其中：變更操作中的Insert代表變更類型為插入，Update代表變更類型為更新，Delete代表變更類型為刪除。
    [5] 根據申請專利範圍第3項所述的方法，其中，插入到目標資料倉庫中的該整條增量資料至少包括：該增量資料的變更時間、該增量資料的變更類型以及該增量資料的主鍵資訊。
    [6] 根據申請專利範圍第1項所述的方法，其中：透過將該整條增量資料與該目標資料倉庫中的原有資料表合併來實現資料的插入。
    [7] 根據申請專利範圍第1項所述的方法，其中：該資料主庫僅將資料的該主鍵資訊同步至資料備份庫。
    [8] 一種實現增量資料抽取的裝置，其特徵在於，包括：獲取單元、查詢單元和插入單元；其中，該獲取單元用於解析資料備份庫的日誌檔，並對該日誌檔進行反解析得到資料備份庫的具體變化資料，從該具體變化資料中讀取主鍵資訊；該查詢單元用於根據該獲取單元獲取到的主鍵資訊到與該資料備份庫進行資料同步的資料主庫中查詢整條增量資料；該插入單元用於將該查詢單元查詢到的整條增量資料插入到目標資料倉庫中。
    [9] 根據申請專利範圍第8項所述的裝置，其中，該查詢單元包括：用於呼叫(call)查詢函數或查詢語句的呼叫模組，和用於根據該呼叫模組呼叫的查詢函數或查詢語句進行查詢操作的執行模組。
    [10] 根據申請專利範圍第8項所述的裝置，其中，該插入單元包括：用於將該整條增量資料與目標資料倉庫中的原有資料表進行比較的比較模組，以及根據該比較模組的比較結果將該整條增量資料更新到該原有資料表中的更新模組。
    [11] 根據申請專利範圍第8項所述的裝置，其中，該裝置還包括：用於獲取增量資料變更類型的處理單元。
    [12] 根據申請專利範圍第11項所述的裝置，其中：該處理單元獲取的變更類型中Insert代表變更類型為插入，Update代表變更類型為更新，Delete代表變更類型為刪除。
    [13] 根據申請專利範圍第12項所述的裝置，其中，該插入單元插入到目標資料倉庫中的該增量資料至少包括：該增量資料的變更時間、該增量資料的變更類型以及該增量資料的主鍵資訊。
    [14] 一種實現增量資料抽取的系統，其特徵在於，包括：資料主庫、資料備份庫、目標資料倉庫以及如申請專利範圍第8至13項之任一項之實現增量資料抽取的裝置；其中，該資料主庫和該資料備份庫用於儲存需要進行抽取的增量資料；該資料主庫和該資料備份庫之間儲存的資料同步；該裝置用於從該資料備份庫中獲取增量資料的主鍵資訊，根據該主鍵資訊到該資料主庫中查詢整條增量資料，再將查詢到該整條增量資料插入到該目標資料倉庫中；該目標資料倉庫用於儲存抽取到的該整條增量資料。
    类似技术:
    公开号 | 公开日 | 专利标题
    TWI521363B|2016-02-11|Method, device and system for implementing incremental data extraction
    US8924365B2|2014-12-30|System and method for range search over distributive storage systems
    IL273861A|2020-11-30|Event context management system
    AU2017101864A4|2019-11-14|Method, device, server and storage apparatus of reviewing SQL
    KR20040088397A|2004-10-16|트랜잭션적으로 일관성있는 트리거 기반 데이터베이스변경 추적 방법 및 시스템
    CN109656934B|2020-10-27|基于日志解析的源端Oracle数据库DDL同步方法及设备
    JP6251388B2|2017-12-20|ＫｅｙＶａｌｕｅデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置
    CN109086382B|2021-10-15|一种数据同步方法、装置、设备及存储介质
    CN106407360B|2020-07-24|一种数据的处理方法及装置
    CN107784026B|2021-08-20|一种etl数据处理方法及装置
    CN103514274A|2014-01-15|非关系型数据库HBase的数据迁移方法
    WO2014021978A4|2014-03-27|Aggregating data in a mediation system
    US10437853B2|2019-10-08|Tracking data replication and discrepancies in incremental data audits
    CN107169003B|2020-05-22|一种数据关联方法及装置
    US20170270153A1|2017-09-21|Real-time incremental data audits
    CN109271452B|2021-04-13|Db2数据库数据同步更新方法及设备
    CN108628975B|2020-08-21|一种数据库sql语句优化方法及装置
    US10545988B2|2020-01-28|System and method for data synchronization using revision control
    CN106951557B|2020-02-07|日志关联方法、装置和应用其的计算机系统
    CN110928900B|2021-02-19|多表数据的查询方法、装置、终端以及计算机存储介质
    US10614102B2|2020-04-07|Method and system for creating entity records using existing data sources
    CN110851209A|2020-02-28|一种数据处理方法、装置、电子设备及存储介质
    CN106469086B|2020-04-14|事件处理方法和装置
    CN108241708B|2021-01-22|媒体名称的处理方法及装置
    CN109408589B|2020-08-14|数据同步方法及装置
    同族专利:
    公开号 | 公开日
    HK1175555A1|2013-07-05|
    TWI521363B|2016-02-11|
    WO2012178072A1|2012-12-27|
    JP5961689B2|2016-08-02|
    EP2724266A4|2015-01-07|
    US20130073516A1|2013-03-21|
    CN102841897A|2012-12-26|
    CN102841897B|2016-03-02|
    EP2724266A1|2014-04-30|
    JP2014523024A|2014-09-08|
    引用文献:
    公开号 | 申请日 | 公开日 | 申请人 | 专利标题
    TWI612471B|2016-02-26|2018-01-21|Mitsubishi Electric Corp|資訊處理裝置、資訊處理方法以及資訊處理程式產品|
    TWI628551B|2015-11-12|2018-07-01|中國銀聯股份有限公司|Data library copying method and device based on log parsing|US5893117A|1990-08-17|1999-04-06|Texas Instruments Incorporated|Time-stamped database transaction and version management system|
    JP3856855B2|1995-10-06|2006-12-13|三菱電機株式会社|差分バックアップ方式|
    US5995980A|1996-07-23|1999-11-30|Olson; Jack E.|System and method for database update replication|
    JPH10161916A|1996-11-28|1998-06-19|Hitachi Ltd|データベースの複製に伴う更新競合の検出方法|
    US5930791A|1996-12-09|1999-07-27|Leu; Sean|Computerized blood analyzer system for storing and retrieving blood sample test results from symmetrical type databases|
    JP4176181B2|1998-03-13|2008-11-05|富士通株式会社|電子財布管理システム、端末装置及び電子財布管理プログラムを記録したコンピュータ読み取り可能な記録媒体|
    US6976093B2|1998-05-29|2005-12-13|Yahoo! Inc.|Web server content replication|
    US6529921B1|1999-06-29|2003-03-04|Microsoft Corporation|Dynamic synchronization of tables|
    US6553509B1|1999-07-28|2003-04-22|Hewlett Packard Development Company, L.P.|Log record parsing for a distributed log on a disk array data storage system|
    CA2397127C|2000-01-10|2007-03-27|Connected Corporation|Administration of a differential backup system in a client-server environment|
    WO2002025499A1|2000-09-19|2002-03-28|Bocada, Inc.|Method for extracting and storing records of data backup activity from a plurality of backup devices|
    US7171613B1|2000-10-30|2007-01-30|International Business Machines Corporation|Web-based application for inbound message synchronization|
    US7111023B2|2001-05-24|2006-09-19|Oracle International Corporation|Synchronous change data capture in a relational database|
    US7657576B1|2001-05-24|2010-02-02|Oracle International Corporation|Asynchronous change capture for data warehousing|
    US6745209B2|2001-08-15|2004-06-01|Iti, Inc.|Synchronization of plural databases in a database replication system|
    EP1419457B1|2001-08-20|2012-07-25|Symantec Corporation|File backup system and method|
    US6662198B2|2001-08-30|2003-12-09|Zoteca Inc.|Method and system for asynchronous transmission, backup, distribution of data and file sharing|
    EP1490771A4|2002-04-03|2007-11-21|Powerquest Corp|USING DISSOCIATED PICTURES TO THE COMPUTER? AND MEMORY MANAGEMENT|
    US7584219B2|2003-09-24|2009-09-01|Microsoft Corporation|Incremental non-chronological synchronization of namespaces|
    AT457493T|2004-01-09|2010-02-15|T W Storage Inc|Verfahren und vorrichtung zum durchsuchen von backup-daten auf der basis von inhalt und attributen|
    US7483870B1|2004-01-28|2009-01-27|Sun Microsystems, Inc.|Fractional data synchronization and consolidation in an enterprise information system|
    US7526768B2|2004-02-04|2009-04-28|Microsoft Corporation|Cross-pollination of multiple sync sources|
    US7526514B2|2004-12-30|2009-04-28|Emc Corporation|Systems and methods for dynamic data backup|
    EP1869553A1|2005-04-14|2007-12-26|Rajesh Kapur|Method for validating system changes by use of a replicated system as a system testbed|
    JP4940730B2|2006-03-31|2012-05-30|富士通株式会社|データベースシステム運用方法，データベースシステム，データベース装置及びバックアッププログラム|
    US8296269B2|2006-05-12|2012-10-23|Oracle International Corporation|Apparatus and method for read consistency in a log mining system|
    US8723645B2|2006-06-09|2014-05-13|The Boeing Company|Data synchronization and integrity for intermittently connected sensors|
    US7917469B2|2006-11-08|2011-03-29|Hitachi Data Systems Corporation|Fast primary cluster recovery|
    US8099386B2|2006-12-27|2012-01-17|Research In Motion Limited|Method and apparatus for synchronizing databases connected by wireless interface|
    US8190572B2|2007-02-15|2012-05-29|Yahoo! Inc.|High-availability and data protection of OLTP databases|
    US7987326B2|2007-05-21|2011-07-26|International Business Machines Corporation|Performing backup operations for a volume group of volumes|
    US8433863B1|2008-03-27|2013-04-30|Symantec Operating Corporation|Hybrid method for incremental backup of structured and unstructured files|
    US8200614B2|2008-04-30|2012-06-12|SAP France S.A.|Apparatus and method to transform an extract transform and load task into a delta load task|
    US8266104B2|2008-08-26|2012-09-11|Sap Ag|Method and system for cascading a middleware to a data orchestration engine|
    CN101369283A|2008-09-25|2009-02-18|中兴通讯股份有限公司|一种内存数据库与物理数据库间的数据同步方法及系统|
    CN101419616A|2008-12-10|2009-04-29|阿里巴巴集团控股有限公司|一种数据同步方法及装置|
    US8291036B2|2009-03-16|2012-10-16|Microsoft Corporation|Datacenter synchronization|
    US8560787B2|2009-03-30|2013-10-15|International Business Machines Corporation|Incremental backup of source to target storage volume|
    US8214324B2|2009-08-25|2012-07-03|International Business Machines Corporation|Generating extract, transform, and load jobs for loading data incrementally|
    CN101719165B|2010-01-12|2014-12-17|浪潮电子信息产业股份有限公司|一种实现数据库高效快速备份的方法|
    US8386423B2|2010-05-28|2013-02-26|Microsoft Corporation|Scalable policy-based database synchronization of scopes|
    US8719103B2|2010-07-14|2014-05-06|iLoveVelvet, Inc.|System, method, and apparatus to facilitate commerce and sales|
    US9824091B2|2010-12-03|2017-11-21|Microsoft Technology Licensing, Llc|File system backup using change journal|
    US8635187B2|2011-01-07|2014-01-21|Symantec Corporation|Method and system of performing incremental SQL server database backups|
    US8612386B2|2011-02-11|2013-12-17|Alcatel Lucent|Method and apparatus for peer-to-peer database synchronization in dynamic networks|CN103927236B|2013-01-11|2018-01-16|深圳市腾讯计算机系统有限公司|在线校验方法和装置|
    CN104142930B|2013-05-06|2019-09-13|Sap欧洲公司|通用δ数据装载|
    CN105243067B|2014-07-07|2019-06-28|北京明略软件系统有限公司|一种实现实时增量同步数据的方法及装置|
    CN104298760B|2014-10-23|2019-02-05|北京京东尚科信息技术有限公司|一种应用于数据仓库的数据处理方法和数据处理装置|
    US10360231B2|2015-07-06|2019-07-23|Oracle International Corporation|Dynamically switching between data sources|
    CN105138656A|2015-08-31|2015-12-09|浪潮软件股份有限公司|一种处理数据的方法及装置|
    CN105262835B|2015-10-30|2019-08-02|北京奇虎科技有限公司|一种多机房中的数据存储方法和装置|
    CN105405043A|2015-11-04|2016-03-16|湖南御家科技有限公司|一种电商平台订单抓取方法及系统|
    CN105718544B|2016-01-18|2019-08-23|北京金山安全管理系统技术有限公司|一种办公文档管理方法和装置|
    CN106407360B|2016-09-07|2020-07-24|广州视源电子科技股份有限公司|一种数据的处理方法及装置|
    CN107229721B|2017-06-02|2019-10-29|泰华智慧产业集团股份有限公司|一种变更数据抽取的方法及装置|
    CN107402963B|2017-06-20|2020-10-02|阿里巴巴集团控股有限公司|搜索数据的构建方法、增量数据的推送方法及装置和设备|
    CN107463610B|2017-06-27|2021-01-26|北京星选科技有限公司|一种数据入库方法及装置|
    CN107562882A|2017-09-04|2018-01-09|郑州云海信息技术有限公司|一种基于日志分析的数据同步方法及装置|
    CN108536774B|2018-03-27|2020-10-20|中国农业银行股份有限公司|一种结构化数据的同步方法及系统|
    CN108681590A|2018-05-15|2018-10-19|普信恒业科技发展（北京）有限公司|增量数据处理方法及装置、计算机设备、计算机存储介质|
    CN110609860A|2018-05-29|2019-12-24|中国移动通信集团重庆有限公司|数据etl处理方法、装置、设备及存储介质|
    CN108874313B|2018-05-31|2021-11-23|安徽四创电子股份有限公司|一种基于数据流的大数据增量抽取的数据交换平台|
    CN109408596A|2018-11-06|2019-03-01|杭州通易科技有限公司|一种双活数据库容灾系统及方法|
    CN111556019A|2020-03-27|2020-08-18|天津市普迅电力信息技术有限公司|一种分布式环境下车机数据加密传输及处理方法|
    法律状态:
    优先权:
    申请号 | 申请日 | 专利标题
    CN201110170600.9A|CN102841897B|2011-06-23|2011-06-23|一种实现增量数据抽取的方法、装置及系统|
    [返回顶部]