域名預(yù)訂/競(jìng)價(jià)，好“米”不錯(cuò)過(guò)

在數(shù)據(jù)體量121億條賬戶下進(jìn)行資金查詢測(cè)試，天云數(shù)據(jù)Hubble的性能是Impala的231%倍。

Impala，一種棲息在非洲南部的高角羚，行動(dòng)敏捷奔跑迅速，以其優(yōu)雅的姿勢(shì)和杰出的跳躍能力而出名。受驚的時(shí)候可以跳起 3米高，9米遠(yuǎn)。

Cloudera研發(fā)這頭高角羚（Impala）的初衷也很明了——提高Hive SQL查詢的速度。就官方測(cè)試性能來(lái)看，Impala比Hive快10到100倍，其SQL查詢比SparkSQL還要更加快速 。Impala號(hào)稱是當(dāng)前大數(shù)據(jù)領(lǐng)域最快的查詢SQL工具，也因其更快的速度被市場(chǎng)所熟知。其面對(duì)即席查詢(Ad-Hoc Query)類請(qǐng)求的穩(wěn)定性和速度在工業(yè)界得到過(guò)廣泛的驗(yàn)證。

我們所熟知阿里巴巴、百度、google、facebook，包括新一代的分布式計(jì)算、容器化、機(jī)器學(xué)習(xí)人工智能等技術(shù)框架都在使用Impala。Impala突破了單機(jī)技術(shù)的限制，打開(kāi)了分布式技術(shù)的大門，是技術(shù)架構(gòu)革命性創(chuàng)新的引領(lǐng)者。

眾所周知，傳統(tǒng)技術(shù)機(jī)構(gòu)主要依賴于-IOE（ IBM的小型機(jī)、Oracle數(shù)據(jù)庫(kù)、EMC存儲(chǔ)設(shè)備），只能通過(guò)增加配置提升性能，系統(tǒng)無(wú)法橫向水平擴(kuò)展。分布式存儲(chǔ)不僅解決了單機(jī)存儲(chǔ)的性能瓶頸，還支撐海量數(shù)據(jù)在線實(shí)時(shí)并發(fā)服務(wù)應(yīng)用。

傳統(tǒng)技術(shù)好比轎車，能承載多少人是固定的，想多承載人只能換成客車；但分布式存儲(chǔ)技術(shù)好比火車和高鐵，按節(jié)承載，遇到春運(yùn)可以增加車廂運(yùn)輸客流量。

國(guó)產(chǎn)數(shù)據(jù)庫(kù)產(chǎn)品Hubble就是這高速列車，雖不是為速度而生，卻在速度上趕超Impala。

在數(shù)據(jù)體量121億條賬戶下進(jìn)行資金查詢測(cè)試， Hubble的性能是Impala的231%倍。

之所以做這個(gè)測(cè)試，源于某證券用戶在使用Hubble進(jìn)行數(shù)據(jù)查詢后，感嘆到：這也太快了，簡(jiǎn)直比Impala還快。

Hubble，人類天眼 ，位于地球的大氣層之上的光學(xué)望遠(yuǎn)鏡。從1990年到2015年4月，哈勃望遠(yuǎn)鏡在地球軌道上運(yùn)行了接近13萬(wàn)7千圈，累計(jì)54億公里，執(zhí)行了120多萬(wàn)次觀測(cè)任務(wù)，觀察了超過(guò)38，000個(gè)天體，增進(jìn)了人類對(duì)宇宙的了解。“哈勃遺產(chǎn)場(chǎng)”是迄今最完整最全面的宇宙圖譜。

天云數(shù)據(jù)研發(fā)Hubble的初衷也非常明了，融合傳統(tǒng)數(shù)據(jù)庫(kù)形成支持混合負(fù)載交易的數(shù)據(jù)聯(lián)邦。 在實(shí)際應(yīng)用中，hubble完成了‘去IOE’中最困難的部分，在幾家大型商業(yè)銀行核心交易中成功替換Oracle，在銀行的聯(lián)機(jī)事務(wù)中解決A類核心系統(tǒng)減負(fù)問(wèn)題。一句話概述，Hubble讓生態(tài)合作伙伴無(wú)縫切入大數(shù)據(jù)服務(wù)領(lǐng)域。

在分布式的新世界里，數(shù)據(jù)從‘生產(chǎn)產(chǎn)物’變成了‘生產(chǎn)者’，數(shù)據(jù)身份的轉(zhuǎn)換對(duì)技術(shù)、人才的需求都發(fā)生了改變。 很多企業(yè)想進(jìn)入大數(shù)據(jù)服務(wù)領(lǐng)域，苦于人才難找、技術(shù)不行、項(xiàng)目周期太長(zhǎng)、運(yùn)維成本太高。這就好比一個(gè)人想寫一本內(nèi)容涵蓋家庭裝修、家庭布置、家庭關(guān)系處理的書，雖然都跟家庭有關(guān)，但具體內(nèi)容卻是術(shù)業(yè)有專攻，需要大量時(shí)間學(xué)習(xí)這三個(gè)方向的內(nèi)容然后進(jìn)行整合。但是在hubble的世界里只需調(diào)動(dòng)這三個(gè)方向的專家，讓他們各自撰寫自己擅長(zhǎng)的內(nèi)容，然后整合到一起，專業(yè)度更有保障，出書所需時(shí)間更短。

為什么Hubble會(huì)在速度上如此有優(yōu)勢(shì)？

從 SQL 解析層上 ，Hubble 采用基于 AI 評(píng)估函數(shù)創(chuàng)建模型，在需要的時(shí)候直接調(diào)用完成目 標(biāo)的預(yù)測(cè)并估算每組執(zhí)行計(jì)劃的代價(jià)。簡(jiǎn)單來(lái)說(shuō)，就是用經(jīng)驗(yàn)使用數(shù)據(jù)，用數(shù)據(jù)更新經(jīng)驗(yàn)， 雙管齊下速度更優(yōu)。

在數(shù)據(jù)存儲(chǔ)層上 ，Hubble 采用基于切片的列式存儲(chǔ)和 KV 存儲(chǔ)的混合部署模式。大數(shù)據(jù)環(huán)境下的Hbase、HP Vertica、EMC Greenplum 等分布式數(shù)據(jù)庫(kù)采用的列式存儲(chǔ)。常規(guī)行式存儲(chǔ)下一張表的數(shù)據(jù)都是放在一起的，查詢時(shí)所有數(shù)據(jù)都要被讀取。但列式存儲(chǔ)下數(shù)據(jù)被分開(kāi)保存了，查詢時(shí)只有涉及到的列會(huì)被讀取，從而對(duì)于大表數(shù)據(jù)效率更高。KV 存儲(chǔ)把不常變動(dòng)的一些數(shù)據(jù)存儲(chǔ)在kvstore中，需要的時(shí)候直接憑借key拿出value 就好，方便快捷就是它應(yīng)對(duì)隨機(jī)IO訪問(wèn)的優(yōu)勢(shì)。在大規(guī)模數(shù)據(jù)同時(shí)支持密集AP計(jì)算和TP并發(fā)場(chǎng)景下，基于數(shù)據(jù)切片的混布存儲(chǔ)策略可以彈性適應(yīng)IO特性，需要進(jìn)一步優(yōu)化時(shí)也可以快速做庫(kù)內(nèi)轉(zhuǎn)換，避免數(shù)據(jù)復(fù)制和冗余。

在數(shù)據(jù)計(jì)算上 ，hubble是基于內(nèi)存的計(jì)算框架，輸出結(jié)果可以保存在內(nèi)存中，減少數(shù)據(jù)的落地，后續(xù)的執(zhí)行結(jié)果有依賴前面結(jié)果的可以直接從內(nèi)存中獲取得到，避免了磁盤的io操作，性能更高速度更快。

據(jù)IDC預(yù)測(cè)，2017-2022年，全球軟分布式存儲(chǔ)市場(chǎng)規(guī)模的平均增速為14.7%，而中國(guó)分布式存儲(chǔ)市場(chǎng)的平均增速為32.5%。有分析師樂(lè)觀地預(yù)測(cè)，未來(lái)3年，在中國(guó)市場(chǎng)上，分布式存儲(chǔ)或?qū)⒄紦?jù)整個(gè)存儲(chǔ)市場(chǎng)的半壁江山。

未來(lái)學(xué)家阿爾文·托夫勒說(shuō)：“如今所有的國(guó)家都面對(duì)一個(gè)逃不了的規(guī)律—最快者生存 。”

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！