云計算時代 大數據與云計算和物聯網之間的關系(xi)
大數據(ju)時代的(de)到來(lai)(lai),是全(quan)球知(zhi)名咨詢公司(si)麥肯錫最早提出的(de),麥肯錫稱:“數據(ju),已經(jing)滲透到當今每一(yi)個行業和(he)(he)業務職(zhi)能(neng)領域,成為重要的(de)生產(chan)因(yin)素。人們對于海(hai)量數據(ju)的(de)挖掘和(he)(he)運用,預示著新(xin)一(yi)波生產(chan)率增長和(he)(he)消費者盈(ying)余浪(lang)潮的(de)到來(lai)(lai)。”
《互(hu)聯網進化(hua)論》一書中(zhong)提(ti)出(chu)“互(hu)聯網的未來功能和結(jie)構將(jiang)于人類(lei)大(da)腦高度相似,也將(jiang)具備(bei)互(hu)聯網虛(xu)擬(ni)(ni)感覺,虛(xu)擬(ni)(ni)運動,虛(xu)擬(ni)(ni)中(zhong)樞,虛(xu)擬(ni)(ni)記(ji)憶神經系(xi)統”,并(bing)繪制了(le)一幅互(hu)聯網虛(xu)擬(ni)(ni)大(da)腦結(jie)構圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大數據,云計算,物聯(lian)網(wang)和移動互(hu)聯(lian)網(wang)與傳統互(hu)聯(lian)網(wang)之間的關系。
從(cong)這幅圖中(zhong)我們可以看出:
物聯網對應了互聯網的感覺和運動神經系統。
云計算是互聯網(wang)的(de)核心硬件(jian)(jian)層和核心軟件(jian)(jian)層的(de)集合(he),也是互聯網(wang)中樞神經系統(tong)萌芽。
大數據代表了互聯網的信息層(數據海(hai)洋(yang)),是互聯網智(zhi)慧和意(yi)識產(chan)生的(de)基礎(chu)。
包括(kuo)物聯(lian)網(wang),傳統(tong)互聯(lian)網(wang),移動互聯(lian)網(wang)在(zai)源源不斷(duan)的向互聯(lian)網(wang)大數(shu)(shu)據層匯聚數(shu)(shu)據和接受(shou)數(shu)(shu)據。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左右。很多用戶把多個數(shu)據集放在一起,形成PB級的(de)(de)數據量。同時(shi)從數據源來(lai)(lai)談,大數據是指(zhi)這些(xie)數據來(lai)(lai)自(zi)多種數據源,以實時(shi)、迭代的(de)(de)方式來(lai)(lai)實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他通(tong)過大家日常網絡留下痕跡(ji)和腳印(yin)獲取大量的數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個(ge)數據,IMT1。4TB數據等各(ge)種的數據通過傳感器產生,也有在網(wang)上直接產生的,我們現在處于大數據時代,物聯網(wang)一(yi)分(fen)鐘可(ke)以產生非常多的東西(xi),蘋果(guo)下載2萬余(yu)次,一分鐘會上傳10萬條新微博(bo),全世(shi)界物聯網上(shang)虛(xu)擬(ni)網絡上(shang),產生了大量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億(yi),新浪微博(bo)晚上(shang)有100萬以(yi)上(shang)的響應請求,中國(guo)聯通(tong)也進行(xing)大數據搜集(ji),他們以(yi)前給(gei)用戶(hu)每一個(ge)月發一個(ge)帳單,很多用戶(hu)認為我沒有上(shang)這(zhe)么多,中國(guo)聯通(tong)改(gai)制就詳細記(ji)錄(lu)客戶(hu)的上(shang)網記(ji)錄(lu)一秒鐘(zhong)83萬條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發動機引(yin)擎(qing)收據(ju)588,企業(ye)資源(yuan)管理客戶關系(xi)管理等現在是(shi)大數據,企業(ye)本身也是(shi)每時每刻產生(sheng)大量數據。
2012年(nian)IDC公(gong)司(si)指(zhi)出(chu)在2005年由(you)機(ji)器產(chan)生(sheng)的數據(ju)占(zhan)到數據(ju)總量的11%,2020增加(jia)到(dao)42%。比如說(shuo)醫(yi)療,現在到(dao)醫(yi)院看病都要CT,清晰度很(hen)高300多兆,一(yi)個病人CT影響往往多大兩(liang)千幅(fu),數據量已經(jing)到了(le)幾(ji)十個GB,如(ru)今中國(guo)大城市(shi)的(de)醫院每(mei)天門診上(shang)完人(ren),全國(guo)每(mei)年住院已經達到了(le)兩(liang)億人(ren)次,按(an)照(zhao)醫療行業的(de)相關規定,一個患者(zhe)的(de)數據通常需要保留50年以上(shang)。
物(wu)聯(lian)(lian)網產生的(de)大(da)數(shu)(shu)(shu)據(ju)與(yu)一(yi)般(ban)的(de)大(da)數(shu)(shu)(shu)據(ju)有不(bu)(bu)同的(de)特點(dian)。物(wu)聯(lian)(lian)網的(de)數(shu)(shu)(shu)據(ju)是(shi)異構的(de)、多樣性(xing)的(de)、非結(jie)構和(he)有噪(zao)聲的(de),更大(da)的(de)不(bu)(bu)同是(shi)它的(de)高增長率。物(wu)聯(lian)(lian)網的(de)數(shu)(shu)(shu)據(ju)有明顯(xian)的(de)顆粒性(xing),其數(shu)(shu)(shu)據(ju)通常(chang)帶(dai)有時間、位置、環境和(he)行為等信(xin)息。物(wu)聯(lian)(lian)網數(shu)(shu)(shu)據(ju)可以說也是(shi)社(she)交數(shu)(shu)(shu)據(ju),但不(bu)(bu)是(shi)人(ren)(ren)與(yu)人(ren)(ren)的(de)交往信(xin)息,而是(shi)物(wu)與(yu)物(wu),物(wu)與(yu)人(ren)(ren)的(de)社(she)會(hui)合作信(xin)息。
物聯網(wang)的(de)(de)混搭(da)將使物聯網(wang)的(de)(de)數(shu)(shu)據變(bian)得更有用,將物聯網(wang)感知的(de)(de)數(shu)(shu)據與通過社(she)會媒(mei)體獲(huo)得的(de)(de)數(shu)(shu)據結合(he),也就是(shi)人跟機(ji)器的(de)(de)社(she)會聯網(wang),將使決策更科學。
與(yu)隱私(si)與(yu)法律有(you)關的(de)(de)特殊性,誰(shui)是物聯網數據的(de)(de)擁有(you)者,通過物聯網可以控制家用電器。
最后(hou),大(da)數(shu)(shu)據助力物(wu)(wu)聯(lian)網(wang),不僅僅是(shi)收(shou)集(ji)傳感(gan)性的(de)數(shu)(shu)據,實物(wu)(wu)跟虛擬物(wu)(wu)要結合(he)起來(lai)。今天(tian)北(bei)京交通堵塞,但是(shi)并不知(zhi)(zhi)道堵塞原因(yin),如果政府發(fa)布消息和市(shi)民(min)微博發(fa)布消息結合(he)起來(lai)就知(zhi)(zhi)道發(fa)生什么(me)事(shi),物(wu)(wu)聯(lian)網(wang)要過(guo)濾,過(guo)濾要有(you)一定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總(zong)有(you)一天會說準。
物聯網數(shu)據(ju)挖掘涉及到數(shu)據(ju)存(cun)儲,從實(shi)物虛(xu)擬物獲取(qu)存(cun)儲,然(ran)后進行(xing)一(yi)些虛(xu)擬化和找出(chu)數(shu)據(ju)摘要(yao),是要(yao)加(jia)標簽的。
數據(ju)挖掘(jue)模式,合并壓縮、清洗過濾、格式轉換(huan),法階段(duan)數據(ju)分析、知識發現、可視化、數據(ju)階段(duan),關聯(lian)規則,分類、聚類、序列、路(lu)徑(jing)。因此后面(mian)工作更大(da)更重要而且(qie)更難。
最近大家關注PM2.5,另外云南西北(bei)邊(bian)、西川西南邊(bian)干旱容易發生火災(zai),利用雷達、飛機可以搜集(ji)數(shu)據,也(ye)需要(yao)進行(xing)分析,然后產生判斷。
在(zai)水面取樣,通過衛星發(fa)出去(qu)(qu),利(li)用云計算、中(zhong)心數(shu)(shu)據(ju)挖(wa)掘,河流(liu)的環(huan)境污染,數(shu)(shu)字化的模(mo)式,我們可以發(fa)現有的地方有環(huan)境污染,所污染本(ben)身(shen)需要異源數(shu)(shu)據(ju),除了傳感器、物聯網數(shu)(shu)據(ju)有噪聲(sheng)的不干凈的,所以需要多種數(shu)(shu)據(ju)的結(jie)合(he),歷史數(shu)(shu)據(ju)的挖(wa)掘,然(ran)后(hou)進行分(fen)析預感、預警(jing),所以數(shu)(shu)據(ju)后(hou)面的處理,食品(pin)(pin)現在(zai)也(ye)是大家所關注的,手機拍(pai)下來食品(pin)(pin)到后(hou)臺去(qu)(qu)查(cha),是哪(na)個公司(si)的食品(pin)(pin),在(zai)什么地方生(sheng)(sheng)產(chan),食品(pin)(pin)生(sheng)(sheng)產(chan)日期等等,包(bao)括食品(pin)(pin)安(an)全(quan)(quan)不安(an)全(quan)(quan),營養成分(fen)怎么樣,食品(pin)(pin)監控,運用后(hou)臺數(shu)(shu)據(ju)等等。最近禽流(liu)感流(liu)行,怎么去(qu)(qu)監測(ce),凡是產(chan)生(sheng)(sheng)流(liu)感病(bing)人在(zai)網上(shang)尋找(zhao),吃什么藥好(hao)(hao),哪(na)個地方看病(bing)好(hao)(hao),或者(zhe)微博交流(liu)。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘(zhong),這(zhe)(zhe)樣看上去每時每刻只(zhi)有能夠(gou)監控很(hen)小一部分內容,通(tong)過(guo)軟件把整條路(lu)上變成一個視(shi)(shi)頻,再進一步我把所有馬路(lu)都通(tong)過(guo)大數據軟件后臺分析(xi)組成圖(tu)象,這(zhe)(zhe)圖(tu)象像上海市領導人坐飛機俯視(shi)(shi)地面一樣。所以這(zhe)(zhe)些都是后臺數據分析(xi)。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千(qian)萬條刷卡記(ji)錄,地(di)鐵每天1千萬人(ren)次,分析這(zhe)些數據可(ke)改善城市交(jiao)(jiao)通(tong)(tong)狀況。新加坡(po)的公共交(jiao)(jiao)通(tong)(tong)部門(men)十(shi)年(nian)來(lai)已經使用(yong)個人(ren)位(wei)置(zhi)數據做交(jiao)(jiao)通(tong)(tong)需求的預測(ce)。荷蘭的交(jiao)(jiao)通(tong)(tong)部門(men)利(li)用(yong)移動電話的定(ding)位(wei)功能預測(ce)汽車和行人(ren)的擁(yong)堵狀況。
最后講M2M的(de)(de)總(zong)量(liang),全世界的(de)(de)M2M到(dao)2011年將有(you)20億,2020年(nian)180億,預測2020年有500億連接,主要是在(zai)消費(fei)電子和(he)智能建筑兩個領域,將占70%。
2011年M2M全市(shi)場為2000億美元,2022年(nian)12000億美(mei)元,三分(fen)之(zhi)二收(shou)入來(lai)自設備與安裝(zhuang),三分(fen)之(zhi)一(yi)來(lai)自服務,2020年最大的M2M市場在中國(guo)和美國(guo),分別(bie)占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍(bei),物聯網(wang)將(jiang)成(cheng)為下一個萬億(yi)元級別的信息產業(ye)業(ye)務。
2014年10月(yue)22-23日,第二(er)屆國際物聯網暨傳(chuan)感技術與應用高峰論(lun)壇在杭州召開,參加(jia)論(lun)壇的100多位專家學(xue)者和(he)1000多位企業代表、行業精(jing)英(ying),將(jiang)一起共話物聯網聯手大數據帶來的(de)前景。組委會為了適應(ying)國際合作(zuo)的(de)需求(qiu),還(huan)配備了專業的同聲傳譯,保證交流無(wu)阻(zu)。