2015年9月28日，谷歌云平臺的大數(shù)據(jù)服務(wù)家族又添加了一位新成員——云Dataproc。據(jù)悉，目前全新的谷歌云Dataproc服務(wù)還處于測試版階段，它能夠直接在虛擬機(jī)和一個類似云數(shù)據(jù)流的完全托管服務(wù)中，管理數(shù)據(jù)處理引擎或Hadoop框架，也可以讓用戶在谷歌平臺安排自己的數(shù)據(jù)管道。

谷歌云平臺服務(wù)的高管告訴我們，Dataproc用戶可以在90秒內(nèi)旋轉(zhuǎn)一個Hadoop集群，這個速度明顯快于其他服務(wù)。谷歌對于集群中每個虛擬CPU每小時僅收取1美分。這是通常運行虛擬機(jī)和數(shù)據(jù)存儲的最高成本。但正如谷歌高管所說，用戶可以添加谷歌低搶占式實例集群來降低預(yù)計成本。

由于Dataproc可以快速旋轉(zhuǎn)集群，所以用戶能夠在需要的時候建立特別的集群，因為它是受到托管的，谷歌將會對其進(jìn)行管理。

谷歌高管表示：“在這個空間里，一個適合所有人的標(biāo)準(zhǔn)是不存在的。我們認(rèn)為這將是對整體投資組合的一個非常重要的補(bǔ)充?！?/p>

因為這種服務(wù)使用的是標(biāo)準(zhǔn)的Spark和Hadoop發(fā)行版，其中有一些小調(diào)整，它能兼容幾乎所有現(xiàn)有的Hadoop-based的產(chǎn)品，用戶可以輕松地運用谷歌的新服務(wù)，并減少現(xiàn)有的工作量。

谷歌云平臺高管和谷歌大數(shù)據(jù)產(chǎn)品經(jīng)理James Malone告訴我們：谷歌之所以能夠保證服務(wù)的速度，不僅是因為那些網(wǎng)絡(luò)基礎(chǔ)設(shè)施，還因為在建立優(yōu)化的圖像后成功修復(fù)了幾個Spark問題。

谷歌云平臺高管表示，有些人只是想要完全控制他的數(shù)據(jù)管道和處理架構(gòu)，由此可能想要運行和管理自己的虛擬機(jī)。在他看來，與自己安裝基礎(chǔ)設(shè)施相比，用戶應(yīng)當(dāng)選擇Dataproc而不需要做任何實際權(quán)衡。

此外，Dataproc還集成了谷歌其他的云服務(wù)，包括BigQuery, Cloud Storage, Cloud Bigtable, Cloud Logging和Cloud Monitoring等。

Miranda

收藏 海報分享