欧美特黄一级影视|黄色视频免费看久久久|亚洲十八黄色电影|97中文字幕精品|欧洲一级片在线久久久狠|欧美一级二级A片|日韩无码一区二区不卡高清视频|黄色视频无挡超碰免费在线|破处高潮视频网站|人人操人人人人爱

大數(shù)據(jù)和實(shí)時(shí)分析的算法分類

2016/6/27 7:00:15 來(lái)源:機(jī)房360 作者:HERO編輯 分類:特別報(bào)道

     如今,大數(shù)據(jù)技術(shù)的發(fā)展和進(jìn)步開(kāi)辟了收集和傳輸大量的數(shù)據(jù)更有效的新方式。這場(chǎng)革命促進(jìn)了實(shí)時(shí)算法和方法的研究和發(fā)展。傳統(tǒng)上,機(jī)器學(xué)習(xí)算法并不是專為實(shí)時(shí)處理而設(shè)計(jì)的。事實(shí)上,數(shù)據(jù)的科學(xué)競(jìng)賽(如Netflix,Kaggle)由于算法昂貴,并且不切實(shí)際的使用,并且計(jì)算量很大,這往往屢受詬病。這是植根于感知的準(zhǔn)確性是更重要的,該算法的速度作為原始????置的數(shù)據(jù)挖掘是離線的,往往是分批計(jì)算。大數(shù)據(jù)的出現(xiàn)使其開(kāi)始有了改變,隨著越來(lái)越多的算法涌現(xiàn),對(duì)一個(gè)可擴(kuò)展的方式重新考慮。大多數(shù)時(shí)間的可擴(kuò)展性,單獨(dú)不妥協(xié)的算法的準(zhǔn)確性,作為計(jì)算其本質(zhì)上是相同的。大數(shù)據(jù)分析的實(shí)時(shí)處理帶來(lái)了一個(gè)更根本的變化,因?yàn)樗拗屏丝梢栽谶@種情況下可以采用的算法的計(jì)算復(fù)雜度。一個(gè)實(shí)時(shí)的流媒體算法應(yīng)該滿足以下條件:它應(yīng)該在一次處理一個(gè)例子中,最多檢查它一次,使用有限的內(nèi)存量,在有限的時(shí)間內(nèi)工作,并隨時(shí)在任何時(shí)候進(jìn)行預(yù)測(cè)。
  
  為了滿足這些要求,流媒體算法設(shè)計(jì)成為了一種時(shí)尚,一個(gè)學(xué)習(xí)的模型不斷更新,以反映來(lái)自流媒體傳入的例子。在處理一個(gè)傳入的例子后,無(wú)論數(shù)據(jù)稀疏,能夠產(chǎn)生預(yù)測(cè)的算法是必需的。對(duì)于流數(shù)據(jù)的前沿方法有來(lái)自許多不同的方向,在網(wǎng)上學(xué)習(xí),隨機(jī)線性代數(shù),云計(jì)算的分布式的優(yōu)化方法,甚至直到多類噪音和雜散數(shù)據(jù)的存在分類問(wèn)題。一般來(lái)說(shuō),這些方法并不是特別有???????,但預(yù)測(cè)的某些部分可能基于預(yù)先計(jì)算的模型。事實(shí)上,離線在線周期是一個(gè)傳統(tǒng)機(jī)器學(xué)習(xí)和實(shí)時(shí)分析之間的良好折衷,因?yàn)樗苿?dòng)其通過(guò)該方法的在線部分,并作為新的觀測(cè)進(jìn)來(lái)細(xì)化模型離線的方法。
  
  增量學(xué)習(xí)算法代表發(fā)適合于實(shí)時(shí)分析所提出的要求的一種方法。從本質(zhì)上說(shuō),這些算法有一個(gè)離線的核心模型,可以回顧歷史數(shù)據(jù),進(jìn)行新的觀察,并逐步進(jìn)入模型。為了保持模型的快速增量更新,這只是部分更新基于概念漂移是在流的檢測(cè)模型,然后在預(yù)定的時(shí)間開(kāi)始全面更新脫機(jī)。這使系統(tǒng)對(duì)新的觀察迅速作出反應(yīng),這是速度和準(zhǔn)確性之間的妥協(xié)。要注意,這取決于所采???????的算法的類型,有可能更新到充分建模,在這種情況下,沒(méi)有必要保持一個(gè)離線部分的算法。事實(shí)上,這使得增量算法的在線學(xué)習(xí)算法的主要標(biāo)準(zhǔn)是它是否能夠更新模型,并產(chǎn)生實(shí)時(shí)的預(yù)測(cè)。
  
  實(shí)時(shí)分析已被應(yīng)用在各種各樣的場(chǎng)景,包括社交媒體,金融和各種科學(xué)學(xué)科被采用。然而,可以處理大量的實(shí)時(shí)數(shù)據(jù)的工具仍然稀缺,主要是內(nèi)部解決方案。
  
  分類:
  
  Hoeffding選項(xiàng)樹(shù)是一個(gè)漸進(jìn)的決策樹(shù)算法。Hoeffding樹(shù)利用的事實(shí)是一個(gè)小樣本往往是足夠來(lái)選擇最佳的分裂特性。
  
  樸素貝葉斯是一個(gè)非常簡(jiǎn)單的和計(jì)算上輕型分類器,該模型的更新和新的樣本的分類可以實(shí)時(shí)進(jìn)行。樸素貝葉斯是增量學(xué)習(xí)的一個(gè)很好的例子,沒(méi)有一個(gè)離線組件,因?yàn)檫@種模式能夠產(chǎn)生沒(méi)有預(yù)測(cè)的歷史數(shù)據(jù),從而提高新的觀測(cè)能力。
  
  集群:
  
  StreamKM++計(jì)算該數(shù)據(jù)流的一小的加權(quán)樣品,它使用的k均值++算法作為隨機(jī)播種技術(shù)來(lái)選擇所述第一簇的值。
  
  D-流使用在線組件,每個(gè)輸入數(shù)據(jù)記錄映射到網(wǎng)格和離線組件計(jì)算網(wǎng)格密度和集群基于密度的網(wǎng)格。該算法采用密度衰減技術(shù)來(lái)捕獲數(shù)據(jù)流的動(dòng)態(tài)變化。
  
  回歸:
  
  LDA增量更新時(shí),新樣本到達(dá)LDA的最小二乘解。這種方法的優(yōu)點(diǎn)在于,它執(zhí)行其導(dǎo)致批次LDA的確切最小二乘解模型的完全更新。
  
  SAIRT是二元回歸樹(shù)的增量版本。面對(duì)未知的參與力度,如逐步和突然漂移功能,在功能,噪音和虛擬漂移的某些區(qū)域變化的數(shù)據(jù)流時(shí),它適應(yīng)的感應(yīng)模式。它監(jiān)視節(jié)點(diǎn)和忘記實(shí)施例的從選定區(qū)域,存儲(chǔ)在關(guān)聯(lián)到樹(shù)的葉子本地窗口,其余的是有用的。
  
  編輯:HERO
  

相關(guān)資訊

  • 綠色低碳趨勢(shì)下,DTDATA攜業(yè)內(nèi)專家探討如何實(shí)現(xiàn)數(shù)據(jù)中心高質(zhì)量發(fā)展

    在節(jié)能減排、“碳中和”趨勢(shì)下,綠色節(jié)能、低碳、可持續(xù)發(fā)展也成為了數(shù)據(jù)中心行業(yè)發(fā)展主基調(diào)。伴隨著數(shù)據(jù)中心規(guī)模持續(xù)高速增長(zhǎng),也帶來(lái)了諸多挑戰(zhàn),如何實(shí)現(xiàn)數(shù)據(jù)中心高質(zhì)量發(fā)展?看專家們?cè)趺凑f(shuō)。

    2022/3/14 10:00:31
  • 數(shù)據(jù)中心節(jié)能監(jiān)察:廣州、深圳發(fā)布最新政策

    最近國(guó)家發(fā)改委頻頻為數(shù)據(jù)中心發(fā)聲,廣州、深圳也隨之迎來(lái)了6月新政。

    2021/6/18 15:45:32
  • 黑石持續(xù)重倉(cāng)IDC數(shù)據(jù)中心的背后

    6月7日,黑石集團(tuán)(Blackstone Group Inc., BX)達(dá)成一項(xiàng)交易,以約67億美元(約合428.57億元人民幣)收購(gòu)數(shù)據(jù)中心運(yùn)營(yíng)商QTS Realty Trust Inc.(以下簡(jiǎn)稱QTS),并將該數(shù)據(jù)中心運(yùn)營(yíng)商私有化。這是自2015年黑石加大數(shù)據(jù)業(yè)務(wù)投資力度后又一次收購(gòu)數(shù)據(jù)中心項(xiàng)目。

    2021/6/9 10:44:08
  • GLOBAL SWITCH香港數(shù)據(jù)中心探秘~世界級(jí)的綠色數(shù)據(jù)中心

    與所有其他Global Switch數(shù)據(jù)中心一樣,Global Switch香港數(shù)據(jù)中心提供了具有高容災(zāi)能力的環(huán)境,可通過(guò)多種連接方式支持可擴(kuò)展的、靈活的解決方案。香港數(shù)據(jù)中心還符合Global Switch一流的運(yùn)營(yíng)和環(huán)境管理流程,并擁有超過(guò)Tier III的運(yùn)營(yíng)水準(zhǔn),成為了中國(guó)公司海外業(yè)務(wù)擴(kuò)張布局的…

    2021/5/26 11:40:39