關(guān)于oracle抽取數(shù)據(jù)的問題?
最近遇到這樣一個問題。源oracle有一個包含7億數(shù)據(jù)的視圖。這個表是第三方的,我們只有讀權(quán)限。除主鍵外,源視圖沒有索引。現(xiàn)在我們必須將其中的所有數(shù)據(jù)同步到我們的數(shù)據(jù)庫中。我用分頁的,從一頁中提取5000個片段。剛開始很快,一頁數(shù)據(jù)幾百毫秒,越慢。現(xiàn)在找出一頁數(shù)據(jù)差不多要一個小時。以這種速度,你可以不要在一年內(nèi)全部提取,你可以不要添加索引或任何東西。有什么方法可以提高提取效率嗎?
水壺工具非常方便
工具太多:你的需求是一次性的還是多次的?1.如果是一次性的,用oracles自己的數(shù)據(jù)以極快的速度,然后同步到目的地,再導(dǎo)入。2.如果是多次,你對時效性有什么要求?如果要求高,可以用CDCs實時提取。詳細的方案可以參考我的文章,里面有具體的步驟和效果。如果實時性要求不高,該方案可以使用傳統(tǒng)的etl工具,如kettle等。,而我的文章也包含了詳細的介紹望。