去年九月,銀監(jiān)會發(fā)布了39號文,中心思想要求銀行信息技術(shù)“安全可控”。它要求2015年起,各銀行業(yè)金融機(jī)構(gòu)對安全可控信息技術(shù)的應(yīng)用以不低于15%的比例逐年增加,直至2019年達(dá)到不低于75%的總體占比。雖然沒有明確指出,但是“安全可控”的要求顯然對國產(chǎn)IT產(chǎn)品更有利。事實(shí)上,39號文提出的指導(dǎo)方向,包括“優(yōu)先選擇愿意在核心知識和關(guān)鍵技術(shù)領(lǐng)域進(jìn)行合作的機(jī)構(gòu),避免對單一產(chǎn)品或技術(shù)的依賴,”“有序推進(jìn)整體架構(gòu)自主設(shè)計(jì)、核心應(yīng)用自主研發(fā)、核心知識自主掌握、關(guān)鍵技術(shù)自主應(yīng)用”也證實(shí)了銀監(jiān)會的態(tài)度——鼓勵(lì)銀行使用國產(chǎn)技術(shù),國外廠商要在銀行有一席之地則必須要愿意分享核心技術(shù)。
現(xiàn)階段,我國銀行的IT系統(tǒng)高度依賴“IOE”(以IBM為代表的小型機(jī),以O(shè)racle為代表的數(shù)據(jù)庫軟件、以EMC為代表的高端存儲)等國外廠商。39號文的發(fā)布讓大家認(rèn)為銀行業(yè)的信息技術(shù)立刻就要掀起國產(chǎn)化的大浪,但是今年四月,銀監(jiān)會宣布了暫緩39號文新規(guī)的決定。這個(gè)決定并不出乎意料。首先,國外IT廠商是不會對39號文新規(guī)無動(dòng)于衷的。事實(shí)上,包括美國商會在內(nèi)的多個(gè)國外商業(yè)團(tuán)體向我國政府提出了抗議,聲稱新規(guī)違反了WTO承諾,干涉了商業(yè)機(jī)構(gòu)的采購活動(dòng)。然而,對39號文新規(guī)的阻力還來自于我國銀行業(yè)本身。眾所周知,銀行業(yè)對IT系統(tǒng)的可靠性和穩(wěn)定性要求極高,系統(tǒng)故障常常意味著直接的金錢損失。所以,銀行對IT產(chǎn)品的故障抱著“零容忍”的態(tài)度。我國的信息技術(shù)因?yàn)槠鸩酵?,確實(shí)和國外還存在著差距,尤其在操作系統(tǒng)和數(shù)據(jù)庫這樣的基礎(chǔ)軟件領(lǐng)域。同時(shí),我國的銀行業(yè)正在高速發(fā)展,不斷地推出新產(chǎn)品新服務(wù),還要應(yīng)對互聯(lián)網(wǎng)金融等各種變化,更需要穩(wěn)定可靠的IT系統(tǒng)作為業(yè)務(wù)的保障。銀行愿意使用經(jīng)過長期驗(yàn)證的“IOE”配備情有可原。在政策上要求銀行冒業(yè)務(wù)風(fēng)險(xiǎn)選用在先進(jìn)性、可靠性、穩(wěn)定性以及成熟度方面還和國外有差距的自主產(chǎn)品是不現(xiàn)實(shí)的,選用什么樣的產(chǎn)品還需要銀行依據(jù)業(yè)務(wù)情況自己來決定。
如此看來,我國的IT廠商似乎短期內(nèi)無法得到銀行業(yè)的青睞。然而,大數(shù)據(jù)時(shí)代的到來改變了這一格局。隨著網(wǎng)上銀行、手機(jī)銀行的發(fā)展和銀行新業(yè)務(wù)、新產(chǎn)品、新用戶的增多,銀行的數(shù)據(jù)量出現(xiàn)了爆發(fā)。數(shù)據(jù)分析的規(guī)模和復(fù)雜度都超過了傳統(tǒng)數(shù)據(jù)庫的處理能力,本應(yīng)該提供堅(jiān)實(shí)后盾的“IOE”配備在海量數(shù)據(jù)面前漸漸顯得力不從心。一天一次的常規(guī)“跑批”(批量數(shù)據(jù)計(jì)算)正在花費(fèi)越來越多的時(shí)間,面臨著無法在當(dāng)天完成的可能。為了解決這樣的問題,銀行需要對數(shù)據(jù)處理系統(tǒng)進(jìn)行升級。以“IOE”為代表的架構(gòu)采用縱向擴(kuò)展(提升單機(jī)性能)的策略來升級,單機(jī)性能不可能無限提高,這樣的策略有著顯而易見的瓶頸。而銀行的數(shù)據(jù)量每天都在增長,對系統(tǒng)不斷的升級是必然的??梢灶A(yù)見的是,在高性能端,數(shù)據(jù)處理系統(tǒng)的升級將越來越困難,同等資金換來的性能將越來越少。在這樣的情形下,銀行需要采用完全不同的數(shù)據(jù)處理技術(shù)。近年來得到長足發(fā)展的大數(shù)據(jù)技術(shù)就是為了體量巨大且不斷增長的數(shù)據(jù)而生的,而大數(shù)據(jù)技術(shù)就是國內(nèi)IT廠商的機(jī)會。計(jì)算機(jī)技術(shù)發(fā)展時(shí),我國遠(yuǎn)遠(yuǎn)落在國外之后,這個(gè)差距在互聯(lián)網(wǎng)發(fā)展時(shí)已經(jīng)得到了大大縮短。今天,在大數(shù)據(jù)時(shí)代的開端,我國已經(jīng)有了不輸國外的經(jīng)濟(jì)土壤、政策環(huán)境和人才儲備,國外的技術(shù)不再有不可望其項(xiàng)背的優(yōu)勢。事實(shí)上,我國已經(jīng)有了性能比肩甚至超越硅谷同行的大數(shù)據(jù)產(chǎn)品。
日前,某全國性股份制商業(yè)銀行便面臨著將數(shù)據(jù)倉庫業(yè)務(wù)從傳統(tǒng)數(shù)據(jù)庫遷移到大數(shù)據(jù)平臺的任務(wù)。在大數(shù)據(jù)平臺的選擇上,該銀行進(jìn)行了多方考量。該銀行的首要目標(biāo)是解決現(xiàn)有數(shù)據(jù)庫處理能力不足的問題。所以,采購的大數(shù)據(jù)平臺必須有極強(qiáng)的數(shù)據(jù)處理能力,它需要能夠輕松應(yīng)對涉及超寬表(寬度在幾萬字節(jié))、多張表(多達(dá)幾十張)的關(guān)聯(lián)和聚合,需要能夠快速地完成銀行每天TB級別數(shù)據(jù)量的分析。第二,大數(shù)據(jù)平臺需要提供SQL和PL/SQL的支持。該銀行原先使用Oracle數(shù)據(jù)庫,所以業(yè)務(wù)邏輯由SQL和PL/SQL寫就,這也是銀行的分析人員最熟悉的數(shù)據(jù)分析語言。銀行希望能夠?qū)⒎治鰳I(yè)務(wù)直接遷移到新的平臺運(yùn)行,否則,銀行將需要對業(yè)務(wù)進(jìn)行大量改寫,銀行員工也需要重新學(xué)習(xí)和適應(yīng),遷移成本過高。第三,大數(shù)據(jù)平臺需要良好的擴(kuò)展性。銀行的數(shù)據(jù)還在快速增長中,可預(yù)見的是,銀行需要對數(shù)據(jù)處理系統(tǒng)進(jìn)行進(jìn)一步的擴(kuò)容和處理能力的升級。銀行要求采購的大數(shù)據(jù)平臺的存儲和計(jì)算能力能夠方便地?cái)U(kuò)展,為未來更大的數(shù)據(jù)量做好準(zhǔn)備。市場上能夠同時(shí)符合以上留個(gè)條件的大數(shù)據(jù)同類產(chǎn)品非常少,計(jì)算速度、SQL和PL/SQL支持和擴(kuò)展性三點(diǎn)不易兼得。
下圖歸納了市場上常見的同類產(chǎn)品在這三方面的表現(xiàn):
不難看出,銀行數(shù)據(jù)倉庫業(yè)務(wù)必須的SQL和PL/SQL支持是大多數(shù)大數(shù)據(jù)產(chǎn)品的軟肋。經(jīng)過多方調(diào)研和全面測試,銀行選擇了兼顧三者的Transwarp Inceptor,它是上海星環(huán)科技開發(fā)的Transwarp Data Hub(TDH)分布式一站式大數(shù)據(jù)處理平臺下的交互式內(nèi)存分析引擎,完全滿足該銀行對大數(shù)據(jù)平臺的三大要求。產(chǎn)品雖然年親,但是在交通、物流、電信、能源等行業(yè)已經(jīng)有很多落地案例,經(jīng)過了大量的驗(yàn)證,加上在測試中穩(wěn)定而出色的表現(xiàn),打消了該銀行對國產(chǎn)IT產(chǎn)品可靠性、穩(wěn)定性方面的擔(dān)憂。
1. 使用TDH下的交互式SQL分析引擎Transwarp Inceptor支持銀行的數(shù)據(jù)倉庫業(yè)務(wù)。Transwarp Inceptor全面支持SQL2003,且支持80%的PL/SQL語法,經(jīng)測試,Transwarp Inceptor 100%支持該銀行數(shù)據(jù)倉庫業(yè)務(wù),銀行的數(shù)據(jù)分析任務(wù)不需要經(jīng)過改寫便可輕松遷移至TDH平臺。
2. Transwarp Inceptor采用分布式內(nèi)存計(jì)算方式,將涉及海量數(shù)據(jù)的復(fù)雜任務(wù)分割成小任務(wù)交給多臺機(jī)器同時(shí)處理,加快計(jì)算速度。同時(shí),Transwarp Inceptor將計(jì)算中間結(jié)果放在內(nèi)存中,利用內(nèi)存的高速隨機(jī)讀寫進(jìn)一步提升計(jì)算速度。TDH平臺處理銀行的數(shù)據(jù)倉庫業(yè)務(wù)相對于銀行原系統(tǒng)速度有了十幾倍的提高,使銀行可以輕松完成每天的分析任務(wù)。
3. 不同于傳統(tǒng)數(shù)據(jù)庫的縱向擴(kuò)展策略,TDH采用向計(jì)算集群添加服務(wù)器的方式來橫向擴(kuò)展處理能力,這樣的策略保證投入和處理能力的提升是線性關(guān)系——多少投入就帶來多少提升。橫向擴(kuò)展的策略讓TDH的擴(kuò)展性極佳,可以無限提升存儲和計(jì)算能力。
錦上添花的是TDH計(jì)算集群無須超高性能的服務(wù)器,經(jīng)濟(jì)的通用服務(wù)器便可以用于搭建TDH集群,使得TDH解決方案具有極高的性價(jià)比。而且TDH配備的JDBC接口完美對接上層報(bào)表系統(tǒng),銀行的數(shù)據(jù)分析人員只需按照以往的工作習(xí)慣繼續(xù)使用上層應(yīng)用,無需重新適應(yīng)新的系統(tǒng)。
下面是一張貸款銷售分析截圖:
該銀行在業(yè)務(wù)中對一家國內(nèi)廠商產(chǎn)品的選擇無疑是對國產(chǎn)信息技術(shù)的鼓勵(lì),更值得一提的是這個(gè)選擇并不是政策要求的,而是基于業(yè)務(wù)的需求和產(chǎn)品的先進(jìn)性做出的。幾年前,國產(chǎn)的個(gè)人IT產(chǎn)品還僅僅是“廉價(jià)低質(zhì)量”的代名詞。現(xiàn)在,聯(lián)想、小米、華為等品牌不僅被國人青睞,還在世界范圍內(nèi)廣受歡迎。這些品牌的成功不在于政策的扶持,而是真正做出了客戶需要的產(chǎn)品。在企業(yè)級的IT產(chǎn)品上,國產(chǎn)廠商和國外廠商雖然還有一定差距,但是在技術(shù)不斷革新的今天,這個(gè)差距在不斷縮短。相信我國會有越來越多的企業(yè)級IT廠商做出客戶需要的優(yōu)秀產(chǎn)品,躋身世界一流的行列。
星環(huán)科技是目前國內(nèi)極少數(shù)掌握企業(yè)級大數(shù)據(jù)基礎(chǔ)軟件技術(shù)的數(shù)據(jù)庫廠商。在全球大數(shù)據(jù)去IOE的大背景下,Hadoop已成為公認(rèn)的傳統(tǒng)數(shù)據(jù)庫的替代品。星環(huán)產(chǎn)品Transwarp Data Hub ( TDH ) 功能比肩硅谷同行, 三大組件Hyperbase, Stream,和Inceptor的性能和SQL兼容性在業(yè)界處于領(lǐng)先水平。
聯(lián)系星環(huán)科技
地址:上海市徐匯區(qū)桂平路481號18號樓3樓301室
咨詢:400-807-9976
官網(wǎng):www.transwarp.cn
星環(huán)科技微信:transwarp-sh