国产精品天干天天在线看啪_欧美日韩狂热免费高清视频_免费人妻无码中文视频在线_日韩国产精品一级_免费人成视频电影在线观看_国产三级无码不卡视频_伊人伊城久久综合网_在线观看黄a免费看视频网站_多多电影免费播放_亚洲av无码一区东京热

在互聯(lián)網(wǎng)極為發(fā)達的今天，大數(shù)據(jù)時代即將來領(lǐng)。本文重點分析大數(shù)據(jù)時代，監(jiān)控儲存模式的變化以及大數(shù)據(jù)帶來帶的智慧城市新面貌。

大數(shù)據(jù)時代的來臨

互聯(lián)網(wǎng)特別是移動互聯(lián)網(wǎng)的發(fā)展，加快了信息化向社會經(jīng)濟各方面、大眾日常生活的滲透。有資料顯示，1998年全球網(wǎng)民平均每月使用流量是1MB(兆字節(jié))，2000年是10MB，2003年是100MB，2008年是1GB(1GB等于1024MB)，2014年將是10GB。全網(wǎng)流量累計達到1EB(即10億GB或1000PB)的時間在2001年是一年，在2004年是一個月，在2007年是一周，而2013年僅需一天，即一天產(chǎn)生的信息量可刻滿1.88億張DVD光盤。我國網(wǎng)民數(shù)居世界之首，每天產(chǎn)生的數(shù)據(jù)量也位于世界前列。淘寶網(wǎng)站每天有超過數(shù)千萬筆交易，單日數(shù)據(jù)產(chǎn)生量超過50TB(1TB等于1000GB)，存儲量40PB(1PB等于1000TB)。百度公司目前數(shù)據(jù)總量接近1000PB，存儲網(wǎng)頁數(shù)量接近1萬億頁，每天大約要處理60億次搜索請求，幾十PB數(shù)據(jù)。一個8Mbps(兆比特每秒)的攝像頭一小時能產(chǎn)生3.6GB數(shù)據(jù)，一個城市若安裝幾十萬個交通和 安防攝像頭，每月產(chǎn)生的數(shù)據(jù)量將達幾十PB。醫(yī)院也是數(shù)據(jù)產(chǎn)生集中的地方?，F(xiàn)在，一個病人的CT影像數(shù)據(jù)量達幾十GB，而全國每年門診人數(shù)以數(shù)十億計，并且他們的信息需要長時間保存。總之，大數(shù)據(jù)存在于各行各業(yè)，一個大數(shù)據(jù)時代正在到來。

信息爆炸不自今日起，但近年來人們更加感受到大數(shù)據(jù)的來勢迅猛。一方面，網(wǎng)民數(shù)量不斷增加，另一方面，以物聯(lián)網(wǎng)和家電為代表的聯(lián)網(wǎng)設(shè)備數(shù)量增長更快。2007年全球有5億個設(shè)備聯(lián)網(wǎng)，人均0.1個；2013年全球?qū)⒂?00億個設(shè)備聯(lián)網(wǎng)，人均70個。隨著寬帶化的發(fā)展，人均網(wǎng)絡(luò)接入帶寬和流量也迅速提升。全球新產(chǎn)生數(shù)據(jù)年增40%，即信息總量每兩年就可以翻番，這一趨勢還將持續(xù)。目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理。

數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數(shù)據(jù)熱的原因。首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時代現(xiàn)實社會與網(wǎng)絡(luò)空間深度融合的產(chǎn)物，蘊含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計，2012年底我國網(wǎng)民數(shù)為5.64億，手機網(wǎng)民為4.2億，通過分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報告，全球企業(yè)的信息存儲總量已達2.2ZB(1ZB等于1000EB)，年增67%。醫(yī)院、學(xué)校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會管理所需的信息。2011年，英國《自然》雜志曾出版?？赋?，倘若能夠更有效地組織和使用大數(shù)據(jù)，人類將得到更多的機會發(fā)揮科學(xué)技術(shù)對社會發(fā)展的巨大推動作用。

大數(shù)據(jù)：分隔的存儲系統(tǒng)

大的數(shù)據(jù)并不是一種特定類型的數(shù)據(jù)。每一種非結(jié)構(gòu)化數(shù)據(jù)均可被視為大數(shù)據(jù)。這包括在社交網(wǎng)站上的數(shù)據(jù)、在線金融交易數(shù)據(jù)、公司記錄、氣象監(jiān)測數(shù)據(jù)、衛(wèi)星數(shù)據(jù)和其他監(jiān)控、研究和開發(fā)數(shù)據(jù)。大數(shù)據(jù)的量是巨大的而且是非結(jié)構(gòu)化的。

1、通過隔離管理大數(shù)據(jù)存儲

如果您在您的企業(yè)中有多個存儲箱，那么將數(shù)據(jù)庫、線交易處理(OLTP)和微軟Exchange應(yīng)用到特定的存儲系統(tǒng)絕對是一個好主意。而專其它存儲系統(tǒng)則用于大數(shù)據(jù)應(yīng)用，如門戶網(wǎng)站，在線流媒體應(yīng)用，等等。

如果您的企業(yè)負擔(dān)不起分隔的存儲系統(tǒng)，將特定的前端存儲端口到數(shù)據(jù)庫，OLTP，等等；致力于大數(shù)據(jù)應(yīng)用到其他端口。背后的基本原理是使用專用端口，而大數(shù)據(jù)流量是以千字節(jié)或兆字節(jié)衡量，OLTP應(yīng)用流量是以每秒的輸入/輸出操作(IOPS)衡量，因為數(shù)據(jù)塊的大小是比大數(shù)據(jù)更大而比OLTP應(yīng)用程序更小。OLTP應(yīng)用程序是CPU密集型的，而大數(shù)據(jù)應(yīng)用程序更多的使用前端端口。因此，更多的端口可以專注于大數(shù)據(jù)應(yīng)用。

2、大數(shù)據(jù)分析

如今，很多公司提供兼容數(shù)據(jù)管理的存儲系統(tǒng)。你應(yīng)該在尋找你的大數(shù)據(jù)存儲管理解決方案時評估這些公司。如EMCIsilon的集群存儲系統(tǒng)對于大數(shù)據(jù)存儲管理是一個更好的選擇，因為在一個單一的文件系統(tǒng)中大數(shù)據(jù)能增長到多字節(jié)的數(shù)據(jù)。除了存儲，大數(shù)據(jù)管理的另一項大的挑戰(zhàn)是數(shù)據(jù)分析。一般的數(shù)據(jù)分析應(yīng)用程序無法很好的處理大數(shù)據(jù)，畢竟涉及到大量的數(shù)據(jù)。

目前，諸如EMCGreenplum這樣的公司就在采用專門針對大數(shù)據(jù)的管理和分析的工具。這些應(yīng)用程序運行在集群存儲系統(tǒng)上，緩解大數(shù)據(jù)的管理。建議選擇應(yīng)用程序可同時工作在群集存儲系統(tǒng)，并迅速有效地分析數(shù)據(jù)?？焖偎饕?，確保元數(shù)據(jù)始終駐留在固態(tài)硬盤(SSD)，如果存儲箱為您提供了這樣的選擇的話。

管理大數(shù)據(jù)的另一個需要重點考慮的是未來的數(shù)據(jù)增長。你的大數(shù)據(jù)存儲管理系統(tǒng)應(yīng)該是可擴展的，足以滿足未來的存儲需求。

大數(shù)據(jù)：智慧城市的智慧引擎

大數(shù)據(jù)應(yīng)用于智慧城市，推動我國城市化進程。智慧城市是城市信息化向智慧化發(fā)展的必經(jīng)階段，同時在建設(shè)智慧城市過程中也會帶動相關(guān)產(chǎn)業(yè)的整體發(fā)展，成為經(jīng)濟轉(zhuǎn)型、產(chǎn)業(yè)升級、城市提升的新引擎。

從智慧城市的體系結(jié)構(gòu)來看，由于智慧城市的基礎(chǔ)在于物聯(lián)網(wǎng)技術(shù)，因此智慧城市體系架構(gòu)和物聯(lián)網(wǎng)的體系結(jié)構(gòu)相類似，也可分為四層，分別為感知層、傳輸層、平臺層、應(yīng)用層。智慧城市相對于之前數(shù)字城市概念，最大的區(qū)別在于對感知層獲取的信息進行了智慧的處理，因此也可以認為智慧城市是數(shù)字城市的升級版。由城市數(shù)字化到城市智慧化，關(guān)鍵是要實現(xiàn)對數(shù)字信息的智慧處理，其核心是引入了大數(shù)據(jù)處理技術(shù)。

大數(shù)據(jù)技術(shù)是處理感知層數(shù)據(jù)的必然選擇

感知層是智慧城市體系對現(xiàn)實世界進行感知、識別和信息采集的基礎(chǔ)性物理網(wǎng)絡(luò)，海量的數(shù)據(jù)在感知層產(chǎn)生。以視頻監(jiān)控為例，北京目前用于視頻監(jiān)控的攝像頭有50萬個，一個攝像頭一個小時的數(shù)據(jù)量就是幾G，每天北京市的視頻采集數(shù)據(jù)量在3PB左右，而一個中等城市每年視頻監(jiān)控產(chǎn)生的數(shù)據(jù)在300PB左右，這些攝像頭實時回傳信息，海量數(shù)據(jù)對數(shù)據(jù)存儲、并發(fā)處理的要求是近乎苛刻的。同時，對于海量數(shù)據(jù)的處理不單是智慧化的必然要求，同時也是對IT投資的一種保護，否則非但不能充分挖掘數(shù)據(jù)的價值，還將為海量數(shù)據(jù)所累。

智慧城市的建設(shè)帶來數(shù)據(jù)量的爆發(fā)式增長，而大數(shù)據(jù)就像血液一樣遍布智慧交通、智慧醫(yī)療、智慧生活等智慧城市建設(shè)的各個方面，城市管理正在從“經(jīng)驗治理”轉(zhuǎn)向“科學(xué)治理”。

大數(shù)據(jù)為智慧城市的各個領(lǐng)域提供強大的決策支持。在城市規(guī)劃方面，通過對城市地理、氣象等自然信息和經(jīng)濟、社會、文化、人口等人文社會信息的挖掘，可以為城市規(guī)劃提供強大的決策支持，強化城市管理服務(wù)的科學(xué)性和前瞻性。在交通管理方面，通過對道路交通信息的實時挖掘，能有效緩解交通擁堵，并快速響應(yīng)突發(fā)狀況，為城市交通的良性運轉(zhuǎn)提供科學(xué)的決策依據(jù)。在輿情監(jiān)控方面，通過網(wǎng)絡(luò)關(guān)鍵詞搜索及語義智能分析，能提高輿情分析的及時性、全面性，全面掌握社情民意，提高公共服務(wù)能力，應(yīng)對網(wǎng)絡(luò)突發(fā)的公共事件，打擊違法犯罪。在安防與防災(zāi)領(lǐng)域，通過大數(shù)據(jù)的挖掘，可以及時發(fā)現(xiàn)人為或自然災(zāi)害、恐怖事件，提高應(yīng)急處理能力和安全防范能力。