首頁(yè) |
滾動(dòng) |
財(cái)經(jīng) |
國(guó)內(nèi) |
樂(lè)活 |
娛樂(lè) |
科技 |
教育 |
體育 |
時(shí)尚 |
汽車(chē) |
資訊 |
熱點(diǎn) |
資訊 |
大數(shù)據(jù)技術(shù)概述 熱聞
發(fā)布時(shí)間：2022-12-02 14:49:08
文章來(lái)源：綜合網(wǎng)絡(luò)
一、概念大數(shù)據(jù)技術(shù)是指在構(gòu)架大數(shù)據(jù)平臺(tái)的時(shí)候需要的技術(shù)。包含存儲(chǔ)系統(tǒng)，數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，資源調(diào)度，查詢引擎，實(shí)時(shí)框架等。下面以我目...
一、概念
大數(shù)據(jù)技術(shù)是指在構(gòu)架大數(shù)據(jù)平臺(tái)的時(shí)候需要的技術(shù)。包含存儲(chǔ)系統(tǒng)，數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)，資源調(diào)度，查詢引擎，實(shí)時(shí)框架等。下面以我目前所了解到的一些技術(shù)做簡(jiǎn)要介紹。目前之介紹簡(jiǎn)單概念。
二、技術(shù)詳解
1.基礎(chǔ)架構(gòu)：Hadoop
2.簡(jiǎn)介
Hadoop是一個(gè)由Apache基金會(huì)所開(kāi)發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開(kāi)發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。
2.分布式文件系統(tǒng)：HDFS
1.HDFS架構(gòu)
2.簡(jiǎn)介
指被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。
3.特點(diǎn)
HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的硬件上。而且它提供高吞吐量來(lái)訪問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集的應(yīng)用程序。
3.數(shù)據(jù)倉(cāng)庫(kù)：Hive
2.簡(jiǎn)介
Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，用來(lái)進(jìn)行數(shù)據(jù)提取、轉(zhuǎn)化、加載，這是一種可以存儲(chǔ)、查詢和分析存儲(chǔ)在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。
3.特點(diǎn)
執(zhí)行過(guò)程走M(jìn)apReduce比較慢，處理規(guī)模大，可擴(kuò)展性高，加載模式為讀時(shí)模式。后面就MapReduce會(huì)做專門(mén)的解釋。
4.存儲(chǔ)引擎：Kudu
2.簡(jiǎn)介
Apache Kudu是由Cloudera開(kāi)源的存儲(chǔ)引擎，可以同時(shí)提供低延遲的隨機(jī)讀寫(xiě)和高效的數(shù)據(jù)分析能力。Kudu支持水平擴(kuò)展，使用Raft協(xié)議進(jìn)行一致性保證，并且與Cloudera Impala和Apache Spark等當(dāng)前流行的大數(shù)據(jù)查詢和分析工具結(jié)合緊密。
3.特點(diǎn)
支持隨機(jī)讀寫(xiě)，支持OLAP 分析，太多列查詢時(shí)性能下降，跟關(guān)系型數(shù)據(jù)有點(diǎn)類似。其存儲(chǔ)文件不在HDFS上面，有自己的存儲(chǔ)文件系統(tǒng)。
5.分布式數(shù)據(jù)庫(kù)：HBase
2.簡(jiǎn)介
HBase是一個(gè)開(kāi)源的非關(guān)系型分布式數(shù)據(jù)庫(kù)，它參考了谷歌的BigTable建模，實(shí)現(xiàn)的編程語(yǔ)言為Java。它是Apache軟件基金會(huì)的Hadoop項(xiàng)目的一部分，運(yùn)行于HDFS文件系統(tǒng)之上，為 Hadoop 提供類似于BigTable 規(guī)模的服務(wù)。因此，它可以容錯(cuò)地存儲(chǔ)海量稀疏的數(shù)據(jù)。
3.特點(diǎn)
高可靠、高性能、面向列、可伸縮。
6.實(shí)時(shí)框架：Flink
2.簡(jiǎn)介
Apache Flink是一個(gè)框架和分布式處理引擎，用于對(duì)無(wú)界和有界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算。Flink設(shè)計(jì)為在所有常見(jiàn)的集群環(huán)境中運(yùn)行，以內(nèi)存速度和任何規(guī)模執(zhí)行計(jì)算。
3.特點(diǎn)
流處理特性、API支持、Libraries支持、整合支持。
關(guān)鍵詞：
樂(lè)活HOT
-
四川正式啟動(dòng)三級(jí)保供電調(diào)控措施
繼8月11日、14日連續(xù)兩次召開(kāi)電力保供工作緊急視頻會(huì)議后，8月15日，四川再次召開(kāi)電力保供調(diào)度會(huì)。記者從會(huì)上獲悉，預(yù)計(jì)全省最大用電負(fù)荷將
-
前7月四川能源項(xiàng)目累計(jì)完成投資4
今年以來(lái)，四川積極擴(kuò)大能源領(lǐng)域有效投資，前7月能源項(xiàng)目累計(jì)完成投資493億元、同比增長(zhǎng)4%。8月15日，省能源局相關(guān)負(fù)責(zé)人介紹，前7月煤炭類
-
四川加力加勁堅(jiān)決遏制事故多發(fā)頻
8月15日，全省防汛減災(zāi)、森林草原防滅火工作電視電話會(huì)議召開(kāi)，深刻汲取彭州8·13山洪災(zāi)害教訓(xùn)，分析研判當(dāng)前形勢(shì)，安排部署下一步重點(diǎn)工作
-
四川攀枝花推動(dòng)打造職業(yè)能力建設(shè)
8月9日，攀枝花技師學(xué)院實(shí)習(xí)工廠里，焊花四濺，機(jī)器聲此起彼伏。身穿工作服的教師周樹(shù)春，在一間間操作室里進(jìn)進(jìn)出出，指導(dǎo)學(xué)生們焊接。過(guò)去
-
上半年湖南物流需求平穩(wěn)增長(zhǎng)行業(yè)
記者從省發(fā)改委獲悉，上半年全省物流需求平穩(wěn)增長(zhǎng)，行業(yè)運(yùn)行總體平穩(wěn)。全省社會(huì)物流總額64096 2億元，同比增長(zhǎng)4 4%;全省物流業(yè)總收入為2270
-
湖南各地工業(yè)企業(yè)忙生產(chǎn)全力以赴
在全球最大地下工程裝備制造基地，掘進(jìn)機(jī)生產(chǎn)計(jì)劃已排到年底;千億級(jí)工程機(jī)械產(chǎn)業(yè)園區(qū)邊建設(shè)邊生產(chǎn)，打造智能制造標(biāo)桿……時(shí)已立秋，三湘大
-
江西贛州醫(yī)療衛(wèi)生服務(wù)體系進(jìn)一步
上猶縣水巖鄉(xiāng)衛(wèi)生院醫(yī)生蔡昌才驅(qū)車(chē)前往金盆村為村民駱運(yùn)招治病。以往，每月去醫(yī)院就診不僅路途遠(yuǎn)，還要排隊(duì)。這幾年有了家庭醫(yī)生后，直接送
-
江西堅(jiān)持問(wèn)題導(dǎo)向推進(jìn)藥品安全專
今年2月以來(lái)，省藥監(jiān)局深入開(kāi)展藥品安全專項(xiàng)整治行動(dòng)，堅(jiān)持問(wèn)題導(dǎo)向，以嚴(yán)厲打擊違法犯罪行為、全面排查風(fēng)險(xiǎn)隱患為手段，推進(jìn)專項(xiàng)整治行動(dòng)
-
江西九江多舉措為創(chuàng)業(yè)者營(yíng)造良好
沒(méi)想到，現(xiàn)在直接在窗口就能辦理，真是太方便了。蔣瓊在九江市經(jīng)營(yíng)一家造型工作室，近期有意擴(kuò)大生意規(guī)模，需要資金周轉(zhuǎn)。她帶齊資料來(lái)到九
-
上半年江西新余全市外貿(mào)進(jìn)出口總
記者從新余海關(guān)獲悉，今年上半年，新余市外貿(mào)取得了較好成績(jī)，全市外貿(mào)進(jìn)出口總值184 3億元，同比增長(zhǎng)84 3%，高出全國(guó)平均水平74 9個(gè)百分點(diǎn)
-
南昌高新區(qū)多舉措推動(dòng)重點(diǎn)項(xiàng)目建
作為南昌市第二季度集中開(kāi)工的重大項(xiàng)目之一，南昌數(shù)谷產(chǎn)業(yè)園項(xiàng)目總投資100億元，計(jì)劃2024年5月完工交付使用，擬引進(jìn)字節(jié)跳動(dòng)、華為(南昌)工
-
安徽淮南頒發(fā)優(yōu)才卡落實(shí)高層次人
淮南市向中國(guó)工程院院士、安徽理工大學(xué)校長(zhǎng)袁亮頒發(fā)了第一張淮南市高層次人才優(yōu)才卡。為深化我為人才辦實(shí)事實(shí)踐活動(dòng)，落實(shí)高層次人才服務(wù)保
-
宿州市埇橋區(qū)細(xì)化工作舉措筑牢防
連日來(lái)，宿州市埇橋區(qū)不斷細(xì)化各項(xiàng)工作舉措，壓實(shí)防汛各項(xiàng)責(zé)任，提升應(yīng)急救援保障能力，筑牢防汛安全堤。目前，該區(qū)防汛物資已儲(chǔ)備到位，全
-
安徽無(wú)為市“交地即交證”優(yōu)化營(yíng)
近日，無(wú)為市自然資源和規(guī)劃局、無(wú)為市福渡鎮(zhèn)人民政府在無(wú)為潤(rùn)峰中海置業(yè)有限公司項(xiàng)目部現(xiàn)場(chǎng)舉行交地即交證頒證儀式，標(biāo)志該市交地即交證優(yōu)
-
安徽全椒縣推動(dòng)農(nóng)村寄宿制學(xué)校試
設(shè)施齊全的衛(wèi)生食堂、水沖式的獨(dú)立衛(wèi)生間、樓道墻體粉刷一新的宿舍……走進(jìn)安徽省全椒縣武崗學(xué)校，已經(jīng)運(yùn)行滿一年的農(nóng)村特色寄宿制學(xué)校成果
娛樂(lè)LOVE
安徽安慶市正式成立“老年助餐慈善基
記者日前從安慶市民政局獲悉，該市慈善會(huì)近日設(shè)立老年助餐慈善基金，共同守護(hù)老年人舌尖上的幸福。該基金專項(xiàng)用于資助城鄉(xiāng)社區(qū)老年食堂、社
安徽淮北積極落實(shí)2022年電網(wǎng)防汛度汛
近日，國(guó)網(wǎng)淮北供電公司工作人員來(lái)到110千伏中泰變電站開(kāi)展防汛隱患排查。該公司積極落實(shí)2022年防汛度汛措施，提前細(xì)化應(yīng)急預(yù)案，推進(jìn)極端
安徽全椒縣完善拓展人力信息資源助企
今年以來(lái)，全椒縣不斷完善拓展人力資源信息庫(kù)、勞務(wù)對(duì)接信息庫(kù)、企業(yè)用工需求信息庫(kù)三庫(kù)信息資源，已摸排400多家次企業(yè)缺工崗位信息1 2萬(wàn)個(gè)
宿州市埇橋區(qū)柔性引進(jìn)博士推進(jìn)鄉(xiāng)村振
宿州市埇橋區(qū)實(shí)施博士匯工程，柔性引進(jìn)29名博士擔(dān)任副鄉(xiāng)鎮(zhèn)長(zhǎng)或園區(qū)副主任，他們將為加快產(chǎn)業(yè)發(fā)展、推進(jìn)鄉(xiāng)村振興強(qiáng)化智力支持。目前，博士專
安徽印發(fā)出臺(tái)全面實(shí)施零基預(yù)算改革方
為進(jìn)一步提高財(cái)政資源配置效率和資金使用效益，省政府印發(fā)《安徽省全面實(shí)施零基預(yù)算改革方案》，明確從編制2023年預(yù)算起，在全省范圍內(nèi)全面
5月份安徽居民消費(fèi)價(jià)格同比上漲2.3%
近日,國(guó)家統(tǒng)計(jì)局安徽調(diào)查總隊(duì)發(fā)布了我省5月份居民消費(fèi)價(jià)格統(tǒng)計(jì)數(shù)據(jù)。統(tǒng)計(jì)顯示,我省居民消費(fèi)價(jià)格同比上漲2 3%,同比漲幅比上月回落0 4個(gè)百分
安徽多種方式引導(dǎo)群眾防范非法集資風(fēng)
合肥地鐵1號(hào)線、3號(hào)線上滾動(dòng)播放防范非法集資宣傳視頻,淮南市發(fā)布《致老年群眾的一封信》……6月份是一年一度防范和處置非法集資宣傳月,今
鐵路部門(mén)持續(xù)加大長(zhǎng)三角地區(qū)運(yùn)力投放
記者從中國(guó)鐵路上海局集團(tuán)有限公司獲悉,隨著上海疫情防控形勢(shì)持續(xù)向好,為進(jìn)一步適應(yīng)旅客出行需要,助力復(fù)工復(fù)產(chǎn),鐵路部門(mén)自6月10日起持續(xù)加
安徽六安持續(xù)精準(zhǔn)施策全力促進(jìn)工業(yè)發(fā)
六安市與蔚來(lái)汽車(chē)簽署合作協(xié)議,共建智能電動(dòng)汽車(chē)零部件配套產(chǎn)業(yè)園區(qū)。該園區(qū)一期計(jì)劃2023年上半年投產(chǎn),建成后將具備年產(chǎn)30萬(wàn)噸鋁壓鑄產(chǎn)能,
安徽淮北全力維護(hù)外賣(mài)送餐員合法權(quán)益
為切實(shí)防范化解新業(yè)態(tài)領(lǐng)域重大風(fēng)險(xiǎn)隱患,強(qiáng)化外賣(mài)送餐員權(quán)益保障工作,淮北市市場(chǎng)監(jiān)管局充分發(fā)揮職能作用,全力維護(hù)外賣(mài)送餐員合法權(quán)益。淮北
湖南漣源開(kāi)展專項(xiàng)行動(dòng)一對(duì)一為企業(yè)紓
位于漣源市的湖南三合美新材料科技有限公司，兩條生產(chǎn)線滿負(fù)荷運(yùn)行，生產(chǎn)聚氨酯和巖棉復(fù)合板。因產(chǎn)品升級(jí)與產(chǎn)能擴(kuò)充，急需新增兩條生產(chǎn)線，
湖南藍(lán)山縣進(jìn)村入戶排查整治自建房安
老叔，這棟房屋墻體有開(kāi)裂痕跡，要維修加固，安全重要!5月20日，藍(lán)山縣塔峰鎮(zhèn)果木村，黨員干部上門(mén)開(kāi)展農(nóng)村自建房安全隱患排查整治。連日來(lái)
一季度湖南萬(wàn)元產(chǎn)值綜合能耗同比下降
近日，湖南省工業(yè)通信業(yè)節(jié)能監(jiān)察中心發(fā)布一季度全省六大高耗能行業(yè)能源消耗統(tǒng)計(jì)監(jiān)測(cè)報(bào)告。據(jù)該報(bào)告，一季度全省146家主要高耗能企業(yè)的萬(wàn)元
濟(jì)南起步區(qū)一年來(lái)累計(jì)簽約優(yōu)質(zhì)項(xiàng)目11
萬(wàn)里黃河第一隧濟(jì)南黃河濟(jì)濼路隧道建成通車(chē)，占地4000余畝的新能源乘用車(chē)零部件產(chǎn)業(yè)園加快施工……記者21日采訪獲悉，建設(shè)實(shí)施方案獲批復(fù)一
山東發(fā)布通知啟動(dòng)傳統(tǒng)民居保護(hù)利用試
省住房城鄉(xiāng)建設(shè)廳、省財(cái)政廳近日聯(lián)合印發(fā)《關(guān)于做好傳統(tǒng)民居保護(hù)利用試點(diǎn)工作的通知》，在全省部署開(kāi)展傳統(tǒng)民居保護(hù)利用試點(diǎn)工作。此次試點(diǎn)