云計算(suan)時代 大(da)數據與(yu)云計算(suan)和物聯網之間的關(guan)系
大數據(ju)時代的(de)到(dao)來,是(shi)全球知名咨詢公司麥肯錫最(zui)早提出的(de),麥肯錫稱:“數據(ju),已經(jing)滲透到(dao)當今每一個行業和業務職能領域,成為重要的(de)生(sheng)產因(yin)素。人們對于海量數據(ju)的(de)挖(wa)掘和運用,預(yu)示著新一波(bo)生(sheng)產率增長和消費者盈余浪(lang)潮的(de)到(dao)來。”
《互(hu)聯網(wang)進化論》一書(shu)中(zhong)提出“互(hu)聯網(wang)的(de)未來功能(neng)和結(jie)(jie)構(gou)將于人類大(da)(da)腦高度相似(si),也將具備互(hu)聯網(wang)虛擬感(gan)覺,虛擬運(yun)動,虛擬中(zhong)樞,虛擬記憶神經系統(tong)”,并(bing)繪制(zhi)了(le)一幅互(hu)聯網(wang)虛擬大(da)(da)腦結(jie)(jie)構(gou)圖。
根據這一觀點,我們嘗試分析目前互聯網最流行的四個概念————-大(da)數據,云(yun)計(ji)算,物聯網(wang)(wang)和移動互聯網(wang)(wang)與(yu)傳(chuan)統互聯網(wang)(wang)之間的關(guan)系。
從這(zhe)幅圖中我們可(ke)以(yi)看出:
物聯(lian)網(wang)對應了互聯(lian)網(wang)的感覺和運動神經系統。
云計(ji)算(suan)是(shi)(shi)互聯網(wang)的(de)核心硬件層和核心軟件層的(de)集合,也是(shi)(shi)互聯網(wang)中樞(shu)神經系(xi)統萌芽(ya)。
大數據代表了互聯網的信息層(數據海洋),是互(hu)聯(lian)網(wang)智慧和意(yi)識產生的(de)基礎(chu)。
包括物聯(lian)網(wang),傳統(tong)互(hu)聯(lian)網(wang),移動互(hu)聯(lian)網(wang)在源源不斷的向互(hu)聯(lian)網(wang)大數據(ju)層匯聚數據(ju)和接受數據(ju)。
作為數據存儲巨頭,大數據理念是,首先從“大”入手,“大”肯定是指大型數據集,一般在10TB規模左右。很多用(yong)戶把多個數據集放(fang)在一起,形成PB級的數據(ju)(ju)(ju)量。同時從數據(ju)(ju)(ju)源(yuan)來談,大數據(ju)(ju)(ju)是指(zhi)這些數據(ju)(ju)(ju)來自多種數據(ju)(ju)(ju)源(yuan),以實時、迭代(dai)的方(fang)式來實現。
物聯網所需要感受的物件對象范圍非常之寬,物聯網收集數據,我們剛剛說虛擬東西也是物聯網對象,我們看很多東西收集,如瀏覽器、搜索引擎、智能終端、游戲終端、GPS等,他(ta)通過大(da)家日常(chang)網絡留下痕跡和腳印(yin)獲取(qu)大(da)量(liang)的數據。
物聯網產生大數據。美國人前幾年醫院一年產生500個(ge)數據,IMT1。4TB數據等各種的(de)數據通過傳感器產(chan)生(sheng)(sheng),也有(you)在(zai)網上直接(jie)產(chan)生(sheng)(sheng)的(de),我們(men)現在(zai)處(chu)于(yu)大數據時(shi)代,物聯網一分(fen)鐘可以產(chan)生(sheng)(sheng)非常多的(de)東西,蘋果下載(zai)2萬(wan)余次,一分(fen)鐘會上傳10萬(wan)條新(xin)微博,全世界物聯網(wang)上虛擬網(wang)絡上,產生了(le)大量的數據。
國外的這些公司數據量不一定有中國大,中國在一天創收10。5億,新(xin)浪微博晚上有100萬以上的響應請(qing)求(qiu),中國(guo)聯(lian)通也進(jin)行大數據搜集,他(ta)們以前給用(yong)戶每一個(ge)(ge)月發一個(ge)(ge)帳單,很多用(yong)戶認為我沒有上這(zhe)么多,中國(guo)聯(lian)通改(gai)制就詳細記錄(lu)客戶的上網記錄(lu)一秒(miao)鐘(zhong)83萬條。
虛擬運行管理產生數據量更大,這個比較是美國,每天是80個,發動機(ji)引擎收(shou)據(ju)588,企業(ye)資源管(guan)理客戶關系管(guan)理等現在是(shi)(shi)大(da)數據,企業(ye)本身也是(shi)(shi)每時每刻(ke)產生大(da)量數據。
2012年IDC公司(si)指出在2005年由機器產生的(de)數據占到數據總量的(de)11%,2020增加到42%。比(bi)如(ru)說醫療,現(xian)在到醫院看病(bing)都要CT,清晰度很高300多(duo)兆(zhao),一個病人CT影響往往多(duo)大兩千幅(fu),數據(ju)量已經到了幾十個GB,如今中國大城市的醫(yi)院每天門診上(shang)完人(ren),全國每年住院已(yi)經達到了兩億人(ren)次(ci),按照醫(yi)療行業的相關規定,一個患者的數據(ju)通常需要保留50年以上(shang)。
物(wu)聯(lian)(lian)網(wang)(wang)產生的(de)(de)大(da)數(shu)據與一般的(de)(de)大(da)數(shu)據有(you)不(bu)(bu)同的(de)(de)特點。物(wu)聯(lian)(lian)網(wang)(wang)的(de)(de)數(shu)據是(shi)異(yi)構的(de)(de)、多樣性的(de)(de)、非(fei)結構和有(you)噪聲的(de)(de),更(geng)大(da)的(de)(de)不(bu)(bu)同是(shi)它(ta)的(de)(de)高增長率。物(wu)聯(lian)(lian)網(wang)(wang)的(de)(de)數(shu)據有(you)明顯(xian)的(de)(de)顆粒性,其數(shu)據通(tong)常帶有(you)時(shi)間、位(wei)置、環(huan)境(jing)和行為等(deng)信(xin)(xin)息。物(wu)聯(lian)(lian)網(wang)(wang)數(shu)據可以說也(ye)是(shi)社交數(shu)據,但不(bu)(bu)是(shi)人與人的(de)(de)交往信(xin)(xin)息,而是(shi)物(wu)與物(wu),物(wu)與人的(de)(de)社會合作信(xin)(xin)息。
物聯(lian)(lian)網(wang)(wang)的混搭將使(shi)物聯(lian)(lian)網(wang)(wang)的數據(ju)變(bian)得更(geng)有用,將物聯(lian)(lian)網(wang)(wang)感知(zhi)的數據(ju)與通過社(she)會媒(mei)體(ti)獲得的數據(ju)結合,也就(jiu)是人(ren)跟(gen)機(ji)器(qi)的社(she)會聯(lian)(lian)網(wang)(wang),將使(shi)決策(ce)更(geng)科學(xue)。
與隱私與法律有關的(de)特殊性(xing),誰是物聯網(wang)數(shu)據的(de)擁有者,通(tong)過物聯網(wang)可(ke)以控制(zhi)家用電器。
最(zui)后,大數據助力物(wu)聯網(wang),不(bu)僅僅是(shi)收集(ji)傳感性的數據,實(shi)物(wu)跟(gen)虛(xu)擬物(wu)要結(jie)合起來(lai)。今天北京(jing)交通堵塞,但(dan)是(shi)并不(bu)知(zhi)道堵塞原因,如果政府發(fa)布消息(xi)和市民微博發(fa)布消息(xi)結(jie)合起來(lai)就(jiu)知(zhi)道發(fa)生什么事(shi),物(wu)聯網(wang)要過濾(lv),過濾(lv)要有(you)一定模式。
決策的時候還要考慮發布什么東西,會帶來什么影響,最近有地震,他能預測60%地震,總有一天會(hui)說準。
物(wu)聯網數據挖(wa)掘涉及到(dao)數據存儲(chu),從(cong)實物(wu)虛擬物(wu)獲取存儲(chu),然后進行一些虛擬化(hua)和找出數據摘要,是要加(jia)標(biao)簽的。
數據挖(wa)掘模式,合并壓縮、清(qing)洗過濾(lv)、格式轉換(huan),法階(jie)(jie)段數據分(fen)析(xi)、知識發現、可視化、數據階(jie)(jie)段,關聯規則(ze),分(fen)類(lei)、聚(ju)類(lei)、序列、路(lu)徑。因此后面工作更大更重(zhong)要而且更難(nan)。
最近大家關注PM2.5,另(ling)外云南(nan)西(xi)北(bei)邊、西(xi)川西(xi)南(nan)邊干旱容(rong)易發生火災,利用雷達、飛機可以搜集數據,也(ye)需(xu)要進行分析,然后(hou)產生判斷。
在(zai)水面取樣,通(tong)過衛星發出去(qu)(qu),利用云計算、中(zhong)心(xin)數(shu)據挖(wa)(wa)掘(jue)(jue),河(he)流(liu)(liu)的(de)(de)(de)環(huan)境(jing)污染,數(shu)字(zi)化的(de)(de)(de)模式,我們可以(yi)發現(xian)有的(de)(de)(de)地方(fang)(fang)有環(huan)境(jing)污染,所(suo)污染本身(shen)需(xu)要異源數(shu)據,除(chu)了傳感(gan)器、物聯網(wang)數(shu)據有噪聲的(de)(de)(de)不干凈的(de)(de)(de),所(suo)以(yi)需(xu)要多種數(shu)據的(de)(de)(de)結合(he),歷史數(shu)據的(de)(de)(de)挖(wa)(wa)掘(jue)(jue),然后(hou)進行分析(xi)預(yu)感(gan)、預(yu)警(jing),所(suo)以(yi)數(shu)據后(hou)面的(de)(de)(de)處理,食(shi)品(pin)(pin)現(xian)在(zai)也是(shi)大(da)家所(suo)關注的(de)(de)(de),手機(ji)拍下來食(shi)品(pin)(pin)到后(hou)臺(tai)去(qu)(qu)查,是(shi)哪個公司的(de)(de)(de)食(shi)品(pin)(pin),在(zai)什(shen)么地方(fang)(fang)生(sheng)產,食(shi)品(pin)(pin)生(sheng)產日期等(deng)等(deng),包(bao)括食(shi)品(pin)(pin)安全不安全,營養成分怎么樣,食(shi)品(pin)(pin)監(jian)控,運用后(hou)臺(tai)數(shu)據等(deng)等(deng)。最近禽流(liu)(liu)感(gan)流(liu)(liu)行,怎么去(qu)(qu)監(jian)測,凡(fan)是(shi)產生(sheng)流(liu)(liu)感(gan)病人在(zai)網(wang)上尋找,吃什(shen)么藥(yao)好(hao),哪個地方(fang)(fang)看病好(hao),或者微博(bo)交流(liu)(liu)。
智能交通虛擬化和可視化。交通管理中心再大,也裝不上所有的視頻,因此10秒鐘,這(zhe)樣看(kan)上去每時每刻只(zhi)有能夠監控很(hen)小一(yi)部分(fen)內容,通過軟件(jian)把整條路上變(bian)成一(yi)個視(shi)頻(pin),再進一(yi)步我(wo)把所(suo)有馬路都通過大數據軟件(jian)后臺(tai)分(fen)析組成圖象(xiang),這(zhe)圖象(xiang)像上海市領導人坐(zuo)飛(fei)機(ji)俯視(shi)地面一(yi)樣。所(suo)以這(zhe)些都是后臺(tai)數據分(fen)析。
大數據在社會管理上有很好的作用。美國紐約的警察分析交通用度與犯罪發生地點的關系有效改進治安。北京交通一卡通每天產生4千萬條刷卡記錄,地鐵每天1千萬人次,分析(xi)這些數據可改善城市(shi)交(jiao)通狀況。新加坡的(de)公共交(jiao)通部(bu)門十年來已(yi)經(jing)使用(yong)個人位置(zhi)數據做交(jiao)通需求的(de)預測。荷蘭的(de)交(jiao)通部(bu)門利用(yong)移(yi)動(dong)電話的(de)定位功能預測汽車(che)和(he)行人的(de)擁堵狀況。
最后講M2M的(de)總(zong)量,全世界的(de)M2M到2011年將有20億(yi),2020年180億(yi),預(yu)測2020年(nian)有500億連(lian)接(jie),主(zhu)要是在消費電子和(he)智能(neng)建筑兩個領域,將占70%。
2011年M2M全市場為2000億美元,2022年12000億美元,三分之二收(shou)入來(lai)自設備與安裝(zhuang),三分之一來(lai)自服務(wu),2020年最大的(de)M2M市場在(zai)中國和美國,分別占20%和19%。
經濟學人預測物聯網所帶來的產業價值將比互聯網大30倍,物聯網將成(cheng)為(wei)下一個萬億(yi)元級(ji)別(bie)的信(xin)息產(chan)業(ye)業(ye)務。
2014年10月(yue)22-23日,第二屆(jie)國際(ji)物(wu)聯網暨(ji)傳(chuan)感技(ji)術與應用高(gao)峰論壇在杭州召開,參(can)加論壇的(de)100多位(wei)專家學者和(he)1000多(duo)位企業(ye)代表、行業(ye)精英,將(jiang)一起共話物聯網聯手大數據帶來的前(qian)景。組委會為了適應(ying)國(guo)際合作的需求,還(huan)配備了專業的同(tong)聲(sheng)傳譯(yi),保證交流無阻。