什么是大數(shù)據(jù)架構(gòu)以及主要研究方向

2022-09-05 13:57:25　|　來源：中培企業(yè)IT培訓(xùn)網(wǎng)

大數(shù)據(jù)架構(gòu)偏重基建和架構(gòu)，更多注重的是Hadoop、Spark、Storm等大數(shù)據(jù)框架的實現(xiàn)原理、部署、調(diào)優(yōu)和穩(wěn)定性問題，以及它們與Flume、Kafka等數(shù)據(jù)流工具以及可視化工具結(jié)合技巧，再有就是一些工具的商業(yè)應(yīng)用問題，如Hive、Cassandra、HBase、PrestoDB等。能夠?qū)⑦@些概念理解清楚，并能夠用辯證的技術(shù)觀點進行組合使用，達到軟/硬件資源利用的最大化，服務(wù)提供的穩(wěn)定化，這是大數(shù)據(jù)架構(gòu)人才的目標。

主要研究方向

架構(gòu)理論：高并發(fā)、高可用、并行計算、MapReduce、Spark等

數(shù)據(jù)流應(yīng)用：Flume、Fluentd、Kafka、ZeroMQ等

儲存應(yīng)用：HDFS、Ceph等軟件應(yīng)用：Hive、HBase、Cassandra、PrestoDB等。可視化應(yīng)用：HightCharts、ECharts、D3、HTML5、CSS3等。

大數(shù)據(jù)架構(gòu)師對可視化應(yīng)用部分要求不高，只需大致了解即可，但其他架構(gòu)層面、數(shù)據(jù)流層面、存儲層面、軟件應(yīng)用層面等都需要做比較深入的理解和落地應(yīng)用。至少在每一個層面中挑選一個完全純屬的應(yīng)用產(chǎn)品。

想要了解更多關(guān)于大數(shù)據(jù)資訊信息，請關(guān)注中培偉業(yè)李老師二維碼：