在一個(gè)新的環(huán)境中工作了兩個(gè)多月，從業(yè)務(wù)模式、平臺(tái)建設(shè)、工作方法和團(tuán)隊(duì)工作風(fēng)格各個(gè)方面都有了一些認(rèn)識(shí)。有了這些認(rèn)識(shí)，更能讓你體會(huì)到工作的發(fā)力點(diǎn)在哪里，這次自己的工作方法做了很大的調(diào)整，沒有去平移過去的工作經(jīng)驗(yàn)，因?yàn)楫?dāng)前的很多預(yù)設(shè)條件和過去不同（具體就不一一列舉）。其實(shí)運(yùn)維工作很多時(shí)候都聚焦在兩個(gè)方面，一個(gè)是工具建設(shè)；一個(gè)是數(shù)據(jù)建設(shè)。在工具平臺(tái)建設(shè)層面上，進(jìn)一步突破的阻力很大，一則缺乏標(biāo)準(zhǔn)化的基礎(chǔ)；其次還在于大家意識(shí)的改變。因此這次想從數(shù)據(jù)分析體系入手，用數(shù)據(jù)說話，用數(shù)據(jù)評(píng)價(jià)運(yùn)維服務(wù)。簡而言之，就是數(shù)據(jù)驅(qū)動(dòng)運(yùn)維（Data-Driven Ops）。
 　　我把數(shù)據(jù)運(yùn)維驅(qū)動(dòng)定義為一種方法，它是通過我們對(duì)運(yùn)維目標(biāo)的識(shí)別，借助全量的數(shù)據(jù)體系來評(píng)價(jià)運(yùn)維過程，以確認(rèn)和目標(biāo)的達(dá)成程度。此時(shí)看到了幾個(gè)問題，數(shù)據(jù)驅(qū)動(dòng)運(yùn)維的目標(biāo)是什么？全量的數(shù)據(jù)體系是什么樣子的？如何建設(shè)？最終又如何反作用于運(yùn)維過程？
 　　數(shù)據(jù)驅(qū)動(dòng)了運(yùn)維什么？
 　　運(yùn)維的日常場景很多，看似繁雜，其實(shí)最終都會(huì)有對(duì)應(yīng)的目標(biāo)導(dǎo)向，比如說對(duì)產(chǎn)品質(zhì)量的首要負(fù)責(zé)；對(duì)效率提升有著狂熱的癡迷；對(duì)成本有著近乎苛刻的要求，這一切源于生產(chǎn)集群都是有運(yùn)維管理的。生產(chǎn)集群提供的是面向用戶的服務(wù)，服務(wù)的質(zhì)量的好與壞首先必須傳遞到運(yùn)維側(cè)，通過數(shù)據(jù)的方式進(jìn)行評(píng)測。維護(hù)一個(gè)(超)大規(guī)模的生產(chǎn)集群，又必須促使運(yùn)維在繁雜的工作中，找到提升效率和人力解放的方法。在很多時(shí)候，我們?yōu)榱颂峁└玫姆?wù)質(zhì)量，服務(wù)提供方不一定需要付出更多的資源成本，也許當(dāng)前的資源就能夠支撐未來的容量，而不是無數(shù)據(jù)支撐下，我們就給出了對(duì)應(yīng)的擴(kuò)容變更方。
 　　什么樣數(shù)據(jù)可以驅(qū)動(dòng)運(yùn)維？
 　　面對(duì)核心的運(yùn)維價(jià)值和目標(biāo)，我們需要說明樣的數(shù)據(jù)來說明我們當(dāng)前的狀態(tài)，此時(shí)需要運(yùn)維采集"大"的數(shù)據(jù)來分析。一開始不要設(shè)定哪些數(shù)據(jù)是我們需要的，哪些不是我們需要的，但是需要有一個(gè)數(shù)據(jù)歸類的方法，找到數(shù)據(jù)之間的關(guān)系。一個(gè)方法，就是跟著用戶訪問流，看請(qǐng)求經(jīng)過了那些資源和服務(wù)，然后統(tǒng)一采集這些資源和服務(wù)對(duì)象的數(shù)據(jù)。初步歸類如下：
 　　A）面向用戶
 　　端對(duì)于我們來說是非常重要的數(shù)據(jù)采集點(diǎn)，端采集的數(shù)據(jù)需要更直接的反應(yīng)用戶對(duì)我們產(chǎn)品的感知。從用戶側(cè)來說，我們一般可以看到兩類數(shù)據(jù)，一類是面向產(chǎn)品運(yùn)營人員的；一類是面向技術(shù)人員。在數(shù)據(jù)驅(qū)動(dòng)運(yùn)維的價(jià)值中，我們可以采集面向技術(shù)人員的數(shù)據(jù)指標(biāo)作重點(diǎn)，而少量的采集產(chǎn)品側(cè)的數(shù)據(jù)。
少量的產(chǎn)品側(cè)數(shù)據(jù)，比如說IP、用戶數(shù)、PV。這樣的產(chǎn)品數(shù)據(jù)，可以讓運(yùn)維在某些場景下，能夠找到事件的相關(guān)性。比如說當(dāng)前的資源容量和業(yè)務(wù)之間的關(guān)系等等。
 　　技術(shù)指標(biāo)，則包含很多，而不同的產(chǎn)品有不同的特征。比如說現(xiàn)在游戲的九游客戶端，我們可以重點(diǎn)收集如下指標(biāo)，崩潰率、啟動(dòng)速度、首屏加載時(shí)間、下載速度、用戶界面點(diǎn)擊情況、頁面功能返回值、重點(diǎn)元素的加載時(shí)間、DNS請(qǐng)求的時(shí)間等等。還有一個(gè)非常重要的數(shù)據(jù)，雖然它和產(chǎn)品無關(guān)，但是在有端的情況下，能夠幫忙快速測試獲取的，就是我們的機(jī)房出口質(zhì)量數(shù)據(jù)，可以通過客戶端hook測試點(diǎn)的方法達(dá)到。網(wǎng)頁端要采集的數(shù)據(jù)和方法基本上也和端類似，不一一列舉。
 　　B）面向資源
 　　我們向用戶提供產(chǎn)品和服務(wù)的時(shí)候，其實(shí)是i有很多的資源在支撐，人力資源、帶寬資源、服務(wù)器資源、IDC資源、機(jī)柜資源等等，我們可以看出資源的對(duì)象非常多。如何識(shí)別這些資源對(duì)象，還是有方法可循的。在我們建設(shè)CMDB的時(shí)候，我們通過業(yè)務(wù)導(dǎo)向的方法，已經(jīng)對(duì)我們的資源做了一次識(shí)別和入庫，此時(shí)在cmdb中都建立了要管理的資源對(duì)象及其屬性。對(duì)資源狀態(tài)數(shù)據(jù)的收集，是為了評(píng)估它的容量，以確保對(duì)業(yè)務(wù)未來的支撐。可以轉(zhuǎn)移一些指標(biāo)來看一下如何和業(yè)務(wù)關(guān)聯(lián)？
 　　帶寬、服務(wù)器、IDC、機(jī)柜、CPU、內(nèi)存、網(wǎng)卡、磁盤IO，這些資源決定著服務(wù)的支撐能力。可以建立標(biāo)準(zhǔn)的容量模型，來計(jì)算資源的使用率。同時(shí)設(shè)定資源的容量模型，確保業(yè)務(wù)的突發(fā)情況。在面向用戶的數(shù)據(jù)采集中，我們采集了部分的業(yè)務(wù)數(shù)據(jù)，此時(shí)可以根據(jù)業(yè)務(wù)的趨勢(shì)，進(jìn)一步去看未來的資源容量變更情況。
 　　C）面向公共服務(wù)
 　　公共服務(wù)是指我們常見的存儲(chǔ)服務(wù)、cache服務(wù)、負(fù)載均衡服務(wù)、名字服務(wù)等等，比如說分布式存儲(chǔ)、DNS。是在之前資源基礎(chǔ)上，一個(gè)面向應(yīng)用的能力封裝。在CMDB中，其實(shí)把服務(wù)也當(dāng)作一種資源，但個(gè)人還是喜歡把它剝離出來看，因它的特征表現(xiàn)和數(shù)據(jù)采集的方法都和傳統(tǒng)資源采集方法截然不同。
 　　不同的服務(wù)需要關(guān)注的指標(biāo)都非常不同，比如說DNS服務(wù)，你會(huì)關(guān)注的解析成功率和解析時(shí)間，你還要關(guān)注各地LDNS的解析次數(shù)，甚至還要關(guān)注某次變更之后LDNS的解析異常情況等等。Mysql、memcache、分布式文件存儲(chǔ)等各類服務(wù)，所需要關(guān)注的指標(biāo)都截然不同。
 　　D）面向接口
 　　我們知道用戶的請(qǐng)求在頁面或者客戶端產(chǎn)生之后，一定會(huì)轉(zhuǎn)換到內(nèi)部分布式系統(tǒng)之間大量的調(diào)用。分布式系統(tǒng)典型特征，不是函數(shù)式的編程模型，更多的是RPC事件調(diào)用的方式，因此此時(shí)對(duì)這類數(shù)據(jù)的采集顯得尤為重要。接口數(shù)據(jù)有很多和其他數(shù)據(jù)采集表現(xiàn)不同的特征。第一、數(shù)據(jù)量非常大，因此一般采用抽樣模型。不過這個(gè)地方一定要接口調(diào)用量，在很少的情況下，建議全量模式；第二、實(shí)施難度大。不同的語言，不同的RPC調(diào)用模型，采集的方式都有不同，需要開發(fā)深度的配合；第三、采集的數(shù)據(jù)分析成本高。因?yàn)榱看螅褂脗鹘y(tǒng)的技術(shù)方法和分析模型難以應(yīng)對(duì)；第四、數(shù)據(jù)價(jià)值最大。在故障發(fā)現(xiàn)和運(yùn)維優(yōu)化層面，這個(gè)數(shù)據(jù)最有說服力，隨用戶服務(wù)好壞的最直接表現(xiàn)；第五、采集數(shù)據(jù)模型最容易統(tǒng)一。關(guān)注的都是服務(wù)訪問的延時(shí)和失敗情況，在加上服務(wù)實(shí)例之間的描述就可以了。
 　　E）面向整合
 　　當(dāng)我們采集了以上四類數(shù)據(jù)之后，我們會(huì)發(fā)現(xiàn)這些數(shù)據(jù)是一個(gè)離散狀態(tài)，而非關(guān)聯(lián)。用關(guān)聯(lián)的視角，更多是從業(yè)務(wù)拓?fù)洹⑽锢硗負(fù)浼坝脩粼L問流三個(gè)角度去看，整合之后的數(shù)據(jù)更能體現(xiàn)數(shù)據(jù)的價(jià)值。關(guān)聯(lián)的數(shù)據(jù)也給提煉核心數(shù)據(jù)價(jià)值帶來很大的困擾，因多樣化的數(shù)據(jù)帶來的干擾，此時(shí)需要回到運(yùn)維價(jià)值驅(qū)動(dòng)的角度。還有一種整合的數(shù)據(jù)，直接是在用戶的實(shí)際訪問流中通過染色的機(jī)制來實(shí)現(xiàn)數(shù)據(jù)采集，這個(gè)數(shù)據(jù)對(duì)故障定位的意義非常大，能夠快速發(fā)現(xiàn)問題，通過染色機(jī)制，看用戶請(qǐng)求在內(nèi)部服務(wù)之間穿越，尋找故障根源點(diǎn)。
 　　什么方法可以幫助構(gòu)建數(shù)據(jù)體系？
 　　上節(jié)我們已經(jīng)詳細(xì)敘述了需要收集的數(shù)據(jù)，那么有哪些方法來指導(dǎo)我們完成這樣的數(shù)據(jù)收集、分析呢？
 　　第一個(gè)方法：目標(biāo)價(jià)值驅(qū)動(dòng)法。數(shù)據(jù)的意義都是最終未來到導(dǎo)向運(yùn)維的幾個(gè)價(jià)值（質(zhì)量、效率、成本），有了這些價(jià)值，我們?cè)倩氐轿覀冊(cè)u(píng)估的對(duì)象，無論是產(chǎn)品功能、資源、服務(wù)還是接口等等，我們都有了評(píng)價(jià)的指標(biāo)體系。基于這個(gè)評(píng)價(jià)體系，我們不斷深入挖掘數(shù)據(jù)的構(gòu)成。
 　　第二個(gè)方法：運(yùn)維場景分析法。在我們?nèi)粘５倪\(yùn)維場景中，我們可以提煉一些核心場景，比如故障定位、服務(wù)優(yōu)化、自動(dòng)化調(diào)度、服務(wù)管理等等。有了這些核心場景，我們就需要相應(yīng)的數(shù)據(jù)支撐，此時(shí)也可以挖掘一些有價(jià)值的數(shù)據(jù)。對(duì)于故障定位來說，我們需要降低故障定位的成本，提高故障定位的效率，此時(shí)必然需要全面的數(shù)據(jù)體現(xiàn)，從而能夠快速發(fā)現(xiàn)故障源；服務(wù)優(yōu)化，有了業(yè)務(wù)運(yùn)營數(shù)據(jù)的積累，我們才知道我們服務(wù)的瓶頸在哪里，甚至一次版本變更后的服務(wù)質(zhì)量變好和變壞都可以通過數(shù)據(jù)來直接評(píng)估；自動(dòng)化調(diào)度，我們需要實(shí)時(shí)的知道服務(wù)器資源、帶寬的資源使用情況，從而確定準(zhǔn)確的調(diào)度策略；服務(wù)管理，服務(wù)的生命周期的管理，需要在服務(wù)的每一個(gè)階段，給出數(shù)據(jù)運(yùn)營的狀態(tài)，比如說服務(wù)部署、服務(wù)變更等等。
 　　第三個(gè)方法：遺留系統(tǒng)整合法。在我們?nèi)粘５倪\(yùn)維系統(tǒng)中，業(yè)務(wù)規(guī)模是從小到大的，開始我們肯定使用了大量的開源系統(tǒng)，比如說監(jiān)控cacti、nagios等等，這些數(shù)據(jù)在長期的運(yùn)行過程中，必然積累了很多有意義的數(shù)據(jù)，運(yùn)維日常的活動(dòng)也沉淀其中，此時(shí)我們可以把整合和替換遺留系統(tǒng)為目標(biāo)。面對(duì)遺留系統(tǒng)，一定有很多需求而放棄了的。我想有了這個(gè)數(shù)據(jù)改造基礎(chǔ)之后，讓用戶需求來持續(xù)滾動(dòng)數(shù)據(jù)的分析體系，方法快速有效。
 　　什么方法可以構(gòu)建驅(qū)動(dòng)體系?
 　　前面介紹了，我們需要整理什么樣的數(shù)據(jù)及數(shù)據(jù)怎么收集。那如何讓數(shù)據(jù)產(chǎn)生價(jià)值呢？數(shù)據(jù)運(yùn)營如果不遵循一套方法，最終變成毫無價(jià)值的數(shù)據(jù)。
 　　第一、堅(jiān)持?jǐn)?shù)據(jù)運(yùn)維的文化。在日常的運(yùn)維活動(dòng)中，我們需要堅(jiān)持?jǐn)?shù)據(jù)說話，堅(jiān)持?jǐn)?shù)據(jù)共享，堅(jiān)持避免以定性的方法對(duì)運(yùn)維過程、運(yùn)維故障、運(yùn)維事件的描述。甚至在有KPI的運(yùn)維團(tuán)隊(duì)中，建議把這類的數(shù)據(jù)驅(qū)動(dòng)的運(yùn)維價(jià)值反應(yīng)到KPI中，確保團(tuán)隊(duì)成員對(duì)運(yùn)維數(shù)據(jù)是足夠重視的。
 　　第二、適當(dāng)考慮數(shù)據(jù)的實(shí)時(shí)性。一個(gè)不能實(shí)時(shí)反應(yīng)運(yùn)維狀態(tài)的數(shù)據(jù)是沒有價(jià)值的，此時(shí)數(shù)據(jù)分析人員和運(yùn)維人員需要把握一個(gè)邊界，不能所有的數(shù)據(jù)都以實(shí)時(shí)的形式給出，過多實(shí)時(shí)的數(shù)據(jù)一則成本很高，其次數(shù)據(jù)干擾很大。此時(shí)可以區(qū)分不同角色的數(shù)據(jù)需求，一線運(yùn)維告警人員更多的是看服務(wù)狀態(tài)，因此告警的需求多一些；更上層的運(yùn)維管理人員希望看到的是服務(wù)某個(gè)周期（天、周、月）的運(yùn)行狀態(tài)（趨勢(shì)、對(duì)比、多維）；研發(fā)人員的數(shù)據(jù)需求和一線運(yùn)維人員差不多；產(chǎn)品人員更多的是關(guān)注產(chǎn)品的趨勢(shì)和用戶體驗(yàn)等等。
 　　第三、業(yè)務(wù)元數(shù)據(jù)需要沉淀在cmdb，建立底層數(shù)據(jù)關(guān)聯(lián)。使用這樣一套公共的基準(zhǔn)元數(shù)據(jù)規(guī)則，可以更好的整合數(shù)據(jù)，比如說業(yè)務(wù)分類。以業(yè)務(wù)的角度大家容易統(tǒng)一理解數(shù)據(jù)，讓數(shù)據(jù)反向作用于我們維護(hù)的業(yè)務(wù)，非常直觀。
第四、持續(xù)滾動(dòng)反饋的數(shù)據(jù)體系。讓數(shù)據(jù)持續(xù)滾動(dòng)起來，方法很簡單，就是和運(yùn)維目標(biāo)關(guān)聯(lián)，通過目標(biāo)驅(qū)動(dòng)，自上而下的重視這些目標(biāo)價(jià)值。在持續(xù)滾動(dòng)的過程，不斷完善數(shù)據(jù)源及數(shù)據(jù)分析和展現(xiàn)方法等等。
 　　其實(shí)當(dāng)前階段，最看重的數(shù)據(jù)價(jià)值是數(shù)據(jù)驅(qū)動(dòng)了思維和意識(shí)的達(dá)成。這段時(shí)間和我的運(yùn)維研發(fā)團(tuán)隊(duì)在這個(gè)方向上達(dá)成了一致，在六月份我們會(huì)討論具體的行動(dòng)計(jì)劃。先寫這么多，給自己思路做個(gè)記錄。