實戰(zhàn) | 省聯(lián)社數(shù)據下發(fā)平臺架構優(yōu)化探索 _數(shù)據庫分區(qū)

文 / 湖南省農村信用社聯(lián)合社信息科技部? 龍亞平
隨著金融業(yè)務數(shù)字化和線上化進程加快，農商行對業(yè)務數(shù)據的需求越來越旺盛，省聯(lián)社數(shù)據下發(fā)平臺逐漸難以適應這種快節(jié)奏的變化，造成省聯(lián)社和農商行相關的運維工作量增大，卻收效甚微。本文擬使用數(shù)據庫表分區(qū)、視圖等技術對當前的數(shù)據下發(fā)平臺架構進行改造優(yōu)化，解決該平臺下發(fā)數(shù)據時存在的時效性、便利性不足，更好地為農商行經營決策提供數(shù)據支持。
當前數(shù)據下發(fā)平臺架構的局限性
在IT系統(tǒng)省集中模式下，各農商行接入省聯(lián)社統(tǒng)一建設的業(yè)務系統(tǒng)辦理業(yè)務，產生數(shù)據都集中保存在省聯(lián)社。為了使農商行能自主利用各業(yè)務系統(tǒng)產生的數(shù)據資源，滿足特色業(yè)務系統(tǒng)建設或個性化數(shù)據查詢需求，省聯(lián)社于2013年面向農商行開放了數(shù)據下發(fā)服務。省聯(lián)社將當日各系統(tǒng)業(yè)務數(shù)據在日終后匯集，按規(guī)則加工后臨時存入下發(fā)中間庫，再以數(shù)據文件形式導出，按農商行拆分存放至FTP（文件傳輸）服務器，各行下載各自數(shù)據文件到本地入庫后，根據本行需要使用數(shù)據。
截至目前，轄內所有農商行都已經申請開通了數(shù)據下發(fā)vb連接數(shù)據庫實例下載，每天下發(fā)至農商行的數(shù)據文件也從最初的20多個增加到200多個。農商行依托下發(fā)數(shù)據自建了績效考核、快貸、歷史數(shù)據查詢等個性化系統(tǒng)，為推進業(yè)務發(fā)展、提高管理效率提供了數(shù)據支持。隨著下發(fā)數(shù)據時間跨度、數(shù)據內容和接入機構的增加，下發(fā)平臺的架構局限性也逐漸暴露，主要表現(xiàn)在以下幾點。
1.中間環(huán)節(jié)多，耗時偏長。從省聯(lián)社生成下發(fā)數(shù)據vb連接數(shù)據庫實例下載，到農商行應用數(shù)據，中間要經歷數(shù)據拆分、農商行下載和入庫等步驟，需要耗費大約6~8小時，如果遇到網絡傳輸速率或入庫技術問題，耗時會更長。通常情況下，農商行要到數(shù)據日期的第二天下午或更晚的時間才能有效應用下發(fā)數(shù)據，逐漸難以滿足對業(yè)務數(shù)據時效性的要求。
2.對基層運維人員專業(yè)技術要求高。想快捷使用數(shù)據的有效途徑是經過數(shù)據庫訪問，目前架構中下發(fā)數(shù)據庫是分散部署在各農商行，為保障各下發(fā)數(shù)據庫正常穩(wěn)定運行，要求農商行配備數(shù)據庫專業(yè)技術人員，除熟練應用增、刪、改、查等語法操作數(shù)據外，還要掌握庫表設計、空間管理、安全控制以及常見故障處置等數(shù)據庫運維技能，現(xiàn)形勢下大部分農商行缺乏此類專業(yè)人才的配備。
【實戰(zhàn) | 省聯(lián)社數(shù)據下發(fā)平臺架構優(yōu)化探索】3.日常運維工作量大。一是數(shù)據補發(fā)工作量大。日常運行中，經常有農商行因為遺漏下載、核對失誤或軟硬件故障等原因造成數(shù)據丟失，需要補發(fā)時間跨度幾天甚至幾年的數(shù)據，而從海量的已歸檔數(shù)據中篩選出這些需求要耗費大量時間。二是運維人力成本高。下發(fā)數(shù)據庫部署在各農商行，每個農商行每天要耗費1個人力花3~4小時做數(shù)據下載、入庫和核對工作，從全省角度累計計算，人力成本非常高。三是數(shù)據變更難協(xié)同。業(yè)務是不斷發(fā)展的，數(shù)據表的邏輯結構也會不斷更新，一旦下發(fā)數(shù)據表的邏輯結構有更新，就必須要求每個農商行同步對本行的下發(fā)數(shù)據庫做表結構變更，否則會造成該表后續(xù)數(shù)據無法更新，此類變更全省同步協(xié)調難度大。
優(yōu)化思路及效果
為突破現(xiàn)有平臺的局限性，根據下發(fā)數(shù)據的應用場景，綜合考慮改造工作量和成本，對下發(fā)數(shù)據平臺進行如下改造優(yōu)化（優(yōu)化前后架構比較見圖1）。取消各農商行自建的下發(fā)數(shù)據庫，將原架構中的數(shù)據文件傳輸平臺替換為省聯(lián)社集中式下發(fā)數(shù)據庫（以下簡稱“集中下發(fā)庫”）。
圖1 優(yōu)化前后平臺架構比較
通過一系列的改造和整合，新架構較之前有以下三個方面的改進。一是新架構從數(shù)據下發(fā)到數(shù)據應用的過程中，去除了省聯(lián)社拆分數(shù)據文件、農商行下載數(shù)據、入庫和核對這些中間環(huán)節(jié)，節(jié)省了大量處理時間。二是通過數(shù)據庫直接為農商行提供數(shù)據服務，取代之前下發(fā)數(shù)據文件的方式，適合目前大部分農商行的科技能力現(xiàn)狀，農商行無需在軟硬件和下發(fā)數(shù)據庫等運維保障上增加投入，集中精力拓展數(shù)據應用場景，在數(shù)據安全方面，較文件方式更可控。三是新架構不再有補發(fā)數(shù)據的需求，數(shù)據結構變更也只需在集中下發(fā)庫這1個節(jié)點上操作即可完成，相比原架構中的100多個節(jié)點同步做變更，極大節(jié)省了運維人力。
如果將原分布在各農商行的100多個數(shù)據庫節(jié)點匯集到省聯(lián)社的1個節(jié)點，我們必須首先解決隨之帶來的數(shù)據庫集中訪問性能、農商行之間數(shù)據隔離等一系列問題。因此，在設計省聯(lián)社集中下發(fā)庫時，我們需要應用一些數(shù)據庫技術，解決性能和安全問題。
技術經驗亮點
1.利用邏輯復制提升數(shù)據生成效率。數(shù)據邏輯復制是基于數(shù)據庫的一類數(shù)據復制技術，通過解析源數(shù)據庫在線日志或歸檔日志獲得數(shù)據的增、刪、改變化，再將這些變化應用到目標數(shù)據庫，達到使源數(shù)據庫與目標數(shù)據庫數(shù)據一致的目的。在此次優(yōu)化中，我們利用此項技術將下發(fā)中間庫配置為源庫，將集中下發(fā)庫配置為目標庫，中間配置帶條件限制的復制策略（如屏蔽“”關鍵字的刪除語句等）。通過改造，只要下發(fā)中間庫完成當日數(shù)據生成，集中下發(fā)庫中就已完成新數(shù)據的同步，各農商行在T+1日開始營業(yè)時就可連接集中下發(fā)庫，使用最新數(shù)據。
2.利用表分區(qū)與子分區(qū)解決大表問題。全省下發(fā)數(shù)據集中到一個庫存放，必然會遇到大表的情況，大表的存在可能導致查詢、插入耗時太長、性能低下，特別當涉及聯(lián)合查詢時，性能會更加糟糕。在此次優(yōu)化中，針對集中下發(fā)庫中的大表，在物理設計時我們使用表分區(qū)和子分區(qū)技術，通過分區(qū)，邏輯上是一張表，而物理上已將大表中的數(shù)據按規(guī)則劃分為多個小數(shù)據段并散列存放在多個位置，能有效提高數(shù)據訪問效率。如下發(fā)數(shù)據中流水表每天的記錄數(shù)增量是千萬級，存量記錄數(shù)達幾十億，因此做表物理設計時，可以先通過法人機構碼將流水表水平劃分成若干個分區(qū)，然后通過交易日期將每個分區(qū)水平劃分成若干個子分區(qū)，通過分區(qū)和子分區(qū)，流水表被劃分為幾十萬條記錄一個的小數(shù)據段。劃分后，農商行查詢某一天的流水記錄效率會有明顯提升。
3.利用權限和視圖隔離數(shù)據訪問。在集中下發(fā)庫中為各農商行分別創(chuàng)建專用的數(shù)據庫連接用戶，每個用戶只賦予查詢權限，防止下發(fā)數(shù)據被非法篡改。為實現(xiàn)同一個數(shù)據庫中各農商行數(shù)據訪問的隔離，我們引入數(shù)據庫視圖機制。視圖是一種展示數(shù)據子集的虛擬表技術，通過視圖可以讓用戶只看到指定表中的某些行和列，只提供用戶權限內能訪問的數(shù)據，而不是所有信息，從而起到保護數(shù)據，防止信息泄露的重要作用。下發(fā)數(shù)據中每個表都有法人機構碼字段，可將此碼作為篩選條件，為每個表創(chuàng)建各農商行的數(shù)據視圖，不賦予農商行用戶數(shù)據表的查詢權限，只賦予查詢本行數(shù)據視圖權限，各行連接數(shù)據庫查詢時，只會看到數(shù)據表中屬于本行的記錄信息，從而達到各農商行數(shù)據隔離訪問的目的。
4.利用集群分擔單節(jié)點負載。未來，各農商行使用下發(fā)數(shù)據場景越來越多，單臺服務器搭建集中下發(fā)庫的計算能力將達到性能瓶頸，無法滿足所有連接需求。我們可以采用數(shù)據庫集群架構，橫向擴展服務器臺數(shù)，以分攤單臺數(shù)據庫服務器的壓力。利用向農商行發(fā)布的數(shù)據庫連接串，可以精細化控制每個農商行固定使用集群中的某臺數(shù)據庫服務器。集群中的各數(shù)據庫實例共享同一份數(shù)據存儲，保證數(shù)據一致，但獨立承擔各自的計算負載。集中下發(fā)庫在設計時對表分區(qū)的考慮，以及數(shù)據只讀訪問的特性，降低了各農商行數(shù)據在存儲和使用上的耦合性，這些都有助于將來集群橫向擴展時達到性能線性提升的效果。
本文到此結束，希望對大家有所幫助。