大數(shù)據 發(fā)表時間:2019/4/25 11:29:53??作者:bbtao??
大數(shù)據 發(fā)表時間:2019/4/25 11:29:53??作者:bbtao??
提到大數(shù)據，我們首先會想到3V,即：數(shù)據量大、業(yè)務復雜、速度快。而對開發(fā)者來說，我們無需關心什么是大數(shù)據，大數(shù)據會帶來哪些影響。開發(fā)者的日常工作，主要是解決哪些業(yè)務問題，通過哪些技術手段增加企業(yè)的業(yè)務價值，并進一步提高用戶體驗。但是，如果我們能全面地了解大數(shù)據的當前和未來狀態(tài)，可以讓開發(fā)工作變得得心應手。
??那么，開發(fā)人員在處理大數(shù)據時，需要記住哪些要領呢?
??1、把基本流程自動化，重點關注業(yè)務問題
??很多開發(fā)者都知道，要想構建一個更酷的解決方案，需要關注最重要的業(yè)務問題，并且要與各個部門通力合作，共同完成。但是，開發(fā)人員不了解的是，很多流行的大數(shù)據技術，只滿足于特定用例，我們需要根據特定的應用場景，選擇適合的解決方案。所以，在構建大數(shù)據解決方案時，我們要充分了解數(shù)據邏輯，構建數(shù)據提取規(guī)則，并考慮數(shù)據的遵從性和安全性要求，還要考慮如何與其他軟件無縫集成。
??如果只借助開發(fā)人員或者解決方案架構師的思維來考慮問題，我們的最終方案肯定不夠全面，如何讓我們的解決方案覆蓋面更廣，盡可能地解決更多的問題，其實是有規(guī)律可循的。首先，把思考數(shù)據來源作為常態(tài);其次，我是否與主抓業(yè)務數(shù)據的人建立了合作關系;其三，我處理業(yè)務的結果是什么，業(yè)務人員是否能看到價值?
??假如，你從事的是零售業(yè)，就應該從開發(fā)的角度進一步提高零售體驗;假如你從事的是石油和天然氣行業(yè)，就要想如何通過技術手段有效地從地下開采石油。總之，作為開發(fā)人員，要專注于如何為特定業(yè)務提供價值，進而影響到特定行業(yè)，而不是把大量時間都花費在橫向功能的擴展上。
??從頭開始，構建一個端到端的數(shù)據管道。雖然一開始非常有成就感，但是后期隨著企業(yè)業(yè)務的擴張，你需要構建10個、100個甚至1000個數(shù)據管道，就會被大數(shù)據所累了。因為你的原始代碼限制了你數(shù)據管道的擴展能力。所以，把基本流程自動化，會讓我們有更多時間關注專業(yè)的業(yè)務功能。
??2、智能數(shù)據系統(tǒng)可解決大規(guī)模數(shù)據帶來的問題
??對于大規(guī)模數(shù)據，有人害怕，而人則覺得不足為奇，無非是提供更多的存儲空間，把所有的數(shù)據存儲下來。其實，過于擔心和毫不關心，都不可取。
??大數(shù)據雖然不是什么新鮮物種，但是隨著數(shù)據量的增多，數(shù)據的安全性、數(shù)據訪問等問題，就會接踵而來。一旦出現(xiàn)問題，由大數(shù)據帶來的懲罰，就會被放大更多倍。大規(guī)模數(shù)據其實不止體現(xiàn)在容量上，在種類、使用方式等，都有很多不同點，我們需要通過自助式服務改變傳統(tǒng)的大數(shù)據管理模式。并且，開發(fā)人員不能憑空想象隨意構建大數(shù)據解決方案，需要通過大量的測試案例去規(guī)避一些性能、安全和可伸縮性等問題。
??智能數(shù)據系統(tǒng)是一種新型大數(shù)據應用，也是過去軟件開發(fā)過程中的核心應用?，F(xiàn)在，智能數(shù)據系統(tǒng)也可以用于大數(shù)據開發(fā)，解決大數(shù)據系統(tǒng)的可靠性、可伸縮性和可擴展性等問題。
??3、全面提升數(shù)據安全意識
??無論是靜止數(shù)據，還是動態(tài)數(shù)據，當數(shù)據返回數(shù)據中心時，請確保有足夠的保護措施和服務器空間。尤其是靜態(tài)數(shù)據，更要關注其安全性。必要的時候，開發(fā)人員要接受專業(yè)的數(shù)據保護培訓。
??另外，不只是開發(fā)人員自己要有數(shù)據保護能力，還要讓整個企業(yè)都要有提升數(shù)據安全性的意識。
??4、遠離關系型數(shù)據庫
??從數(shù)據庫的選擇上，要遠離關系型數(shù)據庫。關系型數(shù)據庫非常善于處理事務的更新操作，尤其是處理更新過程中復雜一致性的問題。但是，關系型數(shù)據庫并不擅長處理一些大數(shù)據管理方面的關鍵操作，比如：無法大規(guī)模擴展，無法動態(tài)地創(chuàng)建新的集群，不善于處理非結構化數(shù)據等。即使有些關系型數(shù)據庫，能構建大數(shù)據解決方案，但是代價非常昂貴。并且，在SQL和關系型數(shù)據庫的組合模式中，難以實現(xiàn)某些類型語句的簡單查詢。
??在大數(shù)據解決方案中，NoSQL是最大贏家，這種數(shù)據庫結構可以適用于微服務架構。另外，在大數(shù)據的不同用例下要使用不同的編碼工具，所以Kubernetes (k8)變得越來越重要，成為DevOps解決方案中最終的應用。
??5、掌握幾個關鍵的大數(shù)據技術
??在硅谷，如果你掌握了Kafka、Spark等主流的大數(shù)據技術，意味著你可以找到一份非常不錯的工作。這說明，擁抱新技術是大勢所趨。但這并不代表這些大數(shù)據技術就是萬能的，我們要通過更有效的方法和更成熟的經驗不斷調優(yōu)，讓企業(yè)構建適合的大數(shù)據平臺。
??總之，構建一個全面、靈活的大數(shù)據平臺，并非易事。對于開發(fā)者來說，如果你只專注于某一個數(shù)據模型，那么可能會陷入大數(shù)據的“坑”，未來大數(shù)據擴展會成問題。如果你想構建一個完全原始、干凈的數(shù)據平臺，那么在實際應用中，你所構建的數(shù)據平臺將無法進行工作。（文章來源/IT168）
基于家族經銷商生意，自身作為經銷商業(yè)主，從事商品經銷行業(yè)二十余年，期間在數(shù)個著名企業(yè)兼任業(yè)務經理及培訓師等職。
悅頓體育照明品牌創(chuàng)始人，20年來專注于各級各類體育運動場館的專業(yè)化照明！點亮精彩，照亮運動！有需要的朋友攜手合作！賬號為微信號，運動健康，你我共享！
展覽策劃 | 項目管理 | 品牌展示 深耕展覽行業(yè)20年 | 累計服務客戶2000+ | 專注品牌文化與商業(yè)價值融合（13918729898同V）
