在互聯(lián)網(wǎng)極為發(fā)達(dá)的今天，大數(shù)據(jù)時(shí)代即將來(lái)領(lǐng)。本文重點(diǎn)分析大數(shù)據(jù)時(shí)代，監(jiān)控儲(chǔ)存模式的變化以及大數(shù)據(jù)帶來(lái)帶的智慧城市新面貌。

大數(shù)據(jù)時(shí)代的來(lái)臨

互聯(lián)網(wǎng)特別是移動(dòng)互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會(huì)經(jīng)濟(jì)各方面、大眾日常生活的滲透。有資料顯示，1998年全球網(wǎng)民平均每月使用流量是1MB(兆字節(jié))，2000年是10MB，2003年是100MB，2008年是1GB(1GB等于1024MB)，2014年將是10GB。全網(wǎng)流量累計(jì)達(dá)到1EB(即10億GB或1000PB)的時(shí)間在2001年是一年，在2004年是一個(gè)月，在2007年是一周，而2013年僅需一天，即一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤。我國(guó)網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過(guò)數(shù)千萬(wàn)筆交易，單日數(shù)據(jù)產(chǎn)生量超過(guò)50TB(1TB等于1000GB)，存儲(chǔ)量40PB(1PB等于1000TB)。百度公司目前數(shù)據(jù)總量接近1000PB，存儲(chǔ)網(wǎng)頁(yè)數(shù)量接近1萬(wàn)億頁(yè)，每天大約要處理60億次搜索請(qǐng)求，幾十PB數(shù)據(jù)。一個(gè)8Mbps(兆比特每秒)的攝像頭一小時(shí)能產(chǎn)生3.6GB數(shù)據(jù)，一個(gè)城市若安裝幾十萬(wàn)個(gè)交通和 安防攝像頭，每月產(chǎn)生的數(shù)據(jù)量將達(dá)幾十PB。醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方?，F(xiàn)在，一個(gè)病人的CT影像數(shù)據(jù)量達(dá)幾十GB，而全國(guó)每年門診人數(shù)以數(shù)十億計(jì)，并且他們的信息需要長(zhǎng)時(shí)間保存?？傊髷?shù)據(jù)存在于各行各業(yè)，一個(gè)大數(shù)據(jù)時(shí)代正在到來(lái)。

信息爆炸不自今日起，但近年來(lái)人們更加感受到大數(shù)據(jù)的來(lái)勢(shì)迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長(zhǎng)更快。2007年全球有5億個(gè)設(shè)備聯(lián)網(wǎng)，人均0.1個(gè)；2013年全球?qū)⒂?00億個(gè)設(shè)備聯(lián)網(wǎng)，人均70個(gè)。隨著寬帶化的發(fā)展，人均網(wǎng)絡(luò)接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每?jī)赡昃涂梢苑?，這一趨勢(shì)還將持續(xù)。目前，單一數(shù)據(jù)集容量超過(guò)幾十TB甚至數(shù)PB已不罕見(jiàn)，其規(guī)模大到無(wú)法在容許的時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。

數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對(duì)其進(jìn)行挖掘可能得到的價(jià)值更大，這就是大數(shù)據(jù)熱的原因。首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時(shí)代現(xiàn)實(shí)社會(huì)與網(wǎng)絡(luò)空間深度融合的產(chǎn)物，蘊(yùn)含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計(jì)，2012年底我國(guó)網(wǎng)民數(shù)為5.64億，手機(jī)網(wǎng)民為4.2億，通過(guò)分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見(jiàn)。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報(bào)告，全球企業(yè)的信息存儲(chǔ)總量已達(dá)2.2ZB(1ZB等于1000EB)，年增67%。醫(yī)院、學(xué)校和銀行等也都會(huì)收集和存儲(chǔ)大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會(huì)管理所需的信息。2011年，英國(guó)《自然》雜志曾出版專刊指出，倘若能夠更有效地組織和使用大數(shù)據(jù)，人類將得到更多的機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對(duì)社會(huì)發(fā)展的巨大推動(dòng)作用。

大數(shù)據(jù)：分隔的存儲(chǔ)系統(tǒng)

大的數(shù)據(jù)并不是一種特定類型的數(shù)據(jù)。每一種非結(jié)構(gòu)化數(shù)據(jù)均可被視為大數(shù)據(jù)。這包括在社交網(wǎng)站上的數(shù)據(jù)、在線金融交易數(shù)據(jù)、公司記錄、氣象監(jiān)測(cè)數(shù)據(jù)、衛(wèi)星數(shù)據(jù)和其他監(jiān)控、研究和開(kāi)發(fā)數(shù)據(jù)。大數(shù)據(jù)的量是巨大的而且是非結(jié)構(gòu)化的。

1、通過(guò)隔離管理大數(shù)據(jù)存儲(chǔ)

如果您在您的企業(yè)中有多個(gè)存儲(chǔ)箱，那么將數(shù)據(jù)庫(kù)、線交易處理(OLTP)和微軟Exchange應(yīng)用到特定的存儲(chǔ)系統(tǒng)絕對(duì)是一個(gè)好主意。而專其它存儲(chǔ)系統(tǒng)則用于大數(shù)據(jù)應(yīng)用，如門戶網(wǎng)站，在線流媒體應(yīng)用，等等。

如果您的企業(yè)負(fù)擔(dān)不起分隔的存儲(chǔ)系統(tǒng)，將特定的前端存儲(chǔ)端口到數(shù)據(jù)庫(kù)，OLTP，等等；致力于大數(shù)據(jù)應(yīng)用到其他端口。背后的基本原理是使用專用端口，而大數(shù)據(jù)流量是以千字節(jié)或兆字節(jié)衡量，OLTP應(yīng)用流量是以每秒的輸入/輸出操作(IOPS)衡量，因?yàn)閿?shù)據(jù)塊的大小是比大數(shù)據(jù)更大而比OLTP應(yīng)用程序更小。OLTP應(yīng)用程序是CPU密集型的，而大數(shù)據(jù)應(yīng)用程序更多的使用前端端口。因此，更多的端口可以專注于大數(shù)據(jù)應(yīng)用。

2、大數(shù)據(jù)分析

如今，很多公司提供兼容數(shù)據(jù)管理的存儲(chǔ)系統(tǒng)。你應(yīng)該在尋找你的大數(shù)據(jù)存儲(chǔ)管理解決方案時(shí)評(píng)估這些公司。如EMCIsilon的集群存儲(chǔ)系統(tǒng)對(duì)于大數(shù)據(jù)存儲(chǔ)管理是一個(gè)更好的選擇，因?yàn)樵谝粋€(gè)單一的文件系統(tǒng)中大數(shù)據(jù)能增長(zhǎng)到多字節(jié)的數(shù)據(jù)。除了存儲(chǔ)，大數(shù)據(jù)管理的另一項(xiàng)大的挑戰(zhàn)是數(shù)據(jù)分析。一般的數(shù)據(jù)分析應(yīng)用程序無(wú)法很好的處理大數(shù)據(jù)，畢竟涉及到大量的數(shù)據(jù)。

目前，諸如EMCGreenplum這樣的公司就在采用專門針對(duì)大數(shù)據(jù)的管理和分析的工具。這些應(yīng)用程序運(yùn)行在集群存儲(chǔ)系統(tǒng)上，緩解大數(shù)據(jù)的管理。建議選擇應(yīng)用程序可同時(shí)工作在群集存儲(chǔ)系統(tǒng)，并迅速有效地分析數(shù)據(jù)?？焖偎饕?，確保元數(shù)據(jù)始終駐留在固態(tài)硬盤(SSD)，如果存儲(chǔ)箱為您提供了這樣的選擇的話。

管理大數(shù)據(jù)的另一個(gè)需要重點(diǎn)考慮的是未來(lái)的數(shù)據(jù)增長(zhǎng)。你的大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)應(yīng)該是可擴(kuò)展的，足以滿足未來(lái)的存儲(chǔ)需求。

大數(shù)據(jù)：智慧城市的智慧引擎

大數(shù)據(jù)應(yīng)用于智慧城市，推動(dòng)我國(guó)城市化進(jìn)程。智慧城市是城市信息化向智慧化發(fā)展的必經(jīng)階段，同時(shí)在建設(shè)智慧城市過(guò)程中也會(huì)帶動(dòng)相關(guān)產(chǎn)業(yè)的整體發(fā)展，成為經(jīng)濟(jì)轉(zhuǎn)型、產(chǎn)業(yè)升級(jí)、城市提升的新引擎。

從智慧城市的體系結(jié)構(gòu)來(lái)看，由于智慧城市的基礎(chǔ)在于物聯(lián)網(wǎng)技術(shù)，因此智慧城市體系架構(gòu)和物聯(lián)網(wǎng)的體系結(jié)構(gòu)相類似，也可分為四層，分別為感知層、傳輸層、平臺(tái)層、應(yīng)用層。智慧城市相對(duì)于之前數(shù)字城市概念，最大的區(qū)別在于對(duì)感知層獲取的信息進(jìn)行了智慧的處理，因此也可以認(rèn)為智慧城市是數(shù)字城市的升級(jí)版。由城市數(shù)字化到城市智慧化，關(guān)鍵是要實(shí)現(xiàn)對(duì)數(shù)字信息的智慧處理，其核心是引入了大數(shù)據(jù)處理技術(shù)。

大數(shù)據(jù)技術(shù)是處理感知層數(shù)據(jù)的必然選擇

感知層是智慧城市體系對(duì)現(xiàn)實(shí)世界進(jìn)行感知、識(shí)別和信息采集的基礎(chǔ)性物理網(wǎng)絡(luò)，海量的數(shù)據(jù)在感知層產(chǎn)生。以視頻監(jiān)控為例，北京目前用于視頻監(jiān)控的攝像頭有50萬(wàn)個(gè)，一個(gè)攝像頭一個(gè)小時(shí)的數(shù)據(jù)量就是幾G，每天北京市的視頻采集數(shù)據(jù)量在3PB左右，而一個(gè)中等城市每年視頻監(jiān)控產(chǎn)生的數(shù)據(jù)在300PB左右，這些攝像頭實(shí)時(shí)回傳信息，海量數(shù)據(jù)對(duì)數(shù)據(jù)存儲(chǔ)、并發(fā)處理的要求是近乎苛刻的。同時(shí)，對(duì)于海量數(shù)據(jù)的處理不單是智慧化的必然要求，同時(shí)也是對(duì)IT投資的一種保護(hù)，否則非但不能充分挖掘數(shù)據(jù)的價(jià)值，還將為海量數(shù)據(jù)所累。

智慧城市的建設(shè)帶來(lái)數(shù)據(jù)量的爆發(fā)式增長(zhǎng)，而大數(shù)據(jù)就像血液一樣遍布智慧交通、智慧醫(yī)療、智慧生活等智慧城市建設(shè)的各個(gè)方面，城市管理正在從“經(jīng)驗(yàn)治理”轉(zhuǎn)向“科學(xué)治理”。

大數(shù)據(jù)為智慧城市的各個(gè)領(lǐng)域提供強(qiáng)大的決策支持。在城市規(guī)劃方面，通過(guò)對(duì)城市地理、氣象等自然信息和經(jīng)濟(jì)、社會(huì)、文化、人口等人文社會(huì)信息的挖掘，可以為城市規(guī)劃提供強(qiáng)大的決策支持，強(qiáng)化城市管理服務(wù)的科學(xué)性和前瞻性。在交通管理方面，通過(guò)對(duì)道路交通信息的實(shí)時(shí)挖掘，能有效緩解交通擁堵，并快速響應(yīng)突發(fā)狀況，為城市交通的良性運(yùn)轉(zhuǎn)提供科學(xué)的決策依據(jù)。在輿情監(jiān)控方面，通過(guò)網(wǎng)絡(luò)關(guān)鍵詞搜索及語(yǔ)義智能分析，能提高輿情分析的及時(shí)性、全面性，全面掌握社情民意，提高公共服務(wù)能力，應(yīng)對(duì)網(wǎng)絡(luò)突發(fā)的公共事件，打擊違法犯罪。在安防與防災(zāi)領(lǐng)域，通過(guò)大數(shù)據(jù)的挖掘，可以及時(shí)發(fā)現(xiàn)人為或自然災(zāi)害、恐怖事件，提高應(yīng)急處理能力和安全防范能力。