近年來運維技術(shù)飛速發(fā)展，運維團隊建設(shè)了各種系統(tǒng)，虛擬化、容器化、持續(xù)集成等等。但如何有效地利用這些系統(tǒng)最終實現(xiàn)站點的高可用、高性能、高可擴展?在大數(shù)據(jù)時代，智能運維是基于大數(shù)據(jù)之上的。大數(shù)據(jù)里90%都是非結(jié)構(gòu)化數(shù)據(jù)，日志是重要的非結(jié)構(gòu)化數(shù)據(jù)，日志無處不在，因此，從日志里面挖掘的價值非常高。

　　2017年9月27日，由中國新一代IT產(chǎn)業(yè)推進聯(lián)盟主辦，CIO時代APP承辦的"第62期CIO時代信息化大講堂"活動在北京CIO時代學(xué)院報告廳成功舉行。日志易項目總監(jiān)趙亮作為本次活動的特邀講師，發(fā)表了題為《智能運維與海量日志分析》的主題演講。本次活動吸引了企業(yè)技術(shù)人員、高校學(xué)生、業(yè)界CIO等40多人參會，活動現(xiàn)場提問不斷，氣氛活躍。本次講座活動由CIO時代APP市場運營張林穎主持。

　　日志易項目總監(jiān) 趙亮

　　他主要從智能運維、小功能介紹、場景分析及價值以及機器學(xué)習(xí)四個方面進行了詳細(xì)闡述。

　　日志是鮮活的，是可以發(fā)聲的。他表示，要把機器學(xué)習(xí)、人工智能應(yīng)用在運維領(lǐng)域，來實現(xiàn)智能運維，然后兩者結(jié)合服務(wù)于三大模塊：服務(wù)臺、自動化、監(jiān)控。機器學(xué)習(xí)、大數(shù)據(jù)在不同企業(yè)的落地技術(shù)是不一樣的，機器學(xué)習(xí)在整個行業(yè)里還處于一個發(fā)展的階段，跟實際要求的預(yù)期還存在一定的差距。

　　智能運維架構(gòu)

　　1、數(shù)據(jù)采集，采集是基礎(chǔ)，包括日志、事件、性能指標(biāo)。

　　2、數(shù)據(jù)存儲，主要是非結(jié)構(gòu)化數(shù)據(jù)存儲，日志這種數(shù)據(jù)是非常典型的。

　　3、數(shù)據(jù)分析，把整個數(shù)據(jù)源進行整體的分析，主要把握深度分析、實時分析兩大模塊，也是智能運維中最為關(guān)鍵的環(huán)節(jié)，要很精準(zhǔn)的做到非結(jié)構(gòu)化數(shù)據(jù)分析，來達到想要的指標(biāo)。

　　4、數(shù)據(jù)展現(xiàn)?？梢酝ㄟ^可視化、自然語言來實現(xiàn)。

　　大數(shù)據(jù)技術(shù)應(yīng)用于IT運維，通過數(shù)據(jù)分析提升IT運維。Gartner估計，到2017年15%的大企業(yè)會積極使用ITOA，而在2014年這一數(shù)字只有5%。

　　ITOA 四種數(shù)據(jù)源的比較

　　1、機器數(shù)據(jù)(日志)。日志無所不在，但不同應(yīng)用輸出的日志內(nèi)容的完整性、可用性不同。

　　2、通信數(shù)據(jù)(網(wǎng)絡(luò)抓包)。網(wǎng)絡(luò)流量信息全面，但一些事件未必觸發(fā)網(wǎng)絡(luò)流量。

　　3、代理數(shù)據(jù)(嵌入代碼)。代碼級精細(xì)監(jiān)控，但侵入性，會帶來安全、穩(wěn)定、性能問題。

　　4、探針數(shù)據(jù)(模擬用戶請求)。端到端監(jiān)控，但不是真實用戶度量(Real User Measurement)。

　　日志管理系統(tǒng)演進

　　1、日志1.0 數(shù)據(jù)庫。固定的schema無法適任意日志格式，無法處理大數(shù)據(jù)量。

　　2、日志2.0 Hadoop/NoSQL。需要開發(fā)成本，批處理、實時性差，不支持全文檢索。

　　3、日志3.0 實時搜索分析。實時、靈活、全文檢索。

　　4、日志4.0。主要是應(yīng)用機器學(xué)習(xí)、人工智能技術(shù)。

　　日志易的“小功能”主要表現(xiàn)在豐富的數(shù)據(jù)采集手段、多種數(shù)據(jù)整理方式、內(nèi)置多種解析規(guī)則、細(xì)粒度權(quán)限設(shè)置、數(shù)據(jù)脫敏、日志生命周期管理、簡單多樣的告警手段幾個方面，使日志易的“小功能”專業(yè)而全面。

　　場景分析及價值

　　一、安全審計及合規(guī)

　　2017年6月1日，《中華人民共和國網(wǎng)絡(luò)安全法》正式實施，其對業(yè)務(wù)系統(tǒng)安全審計提出了新的要求。日志易既對外做SOC(安全運營中心)的支撐平臺，又對內(nèi)做UBA(用戶行為分析)。很多企業(yè)在使用之后，滿足了合規(guī)要求。

　　二、統(tǒng)一日志管理

　　目前接入600多個子系統(tǒng)應(yīng)用日志，202臺網(wǎng)絡(luò)設(shè)備日志，45臺F5設(shè)備日志，47臺存儲設(shè)備日志，每秒產(chǎn)生的200萬條日志，由于日志量龐大，為了降低防火墻策略的復(fù)雜度以及防火墻流量壓力，將網(wǎng)絡(luò)設(shè)備、服務(wù)器、業(yè)務(wù)應(yīng)用日志通過專門網(wǎng)口接入到內(nèi)網(wǎng)萬兆交換機，直接轉(zhuǎn)發(fā)到日志易集群。各業(yè)務(wù)系統(tǒng)服務(wù)器中部署日志易采集agent，用于增量讀取業(yè)務(wù)日志，目前已部署1300多個。

　　活動現(xiàn)場

　　在此次講座中，趙亮先生深度講解了日志易的內(nèi)部技術(shù)原理，深入淺出。嘉賓們認(rèn)真聽講，紛紛表示不虛此行。

　　“CIO時代信息化大講堂”活動每隔周三下午19:00-20:30定期舉辦公開講座，更多干貨分享以及活動動態(tài)，請關(guān)注CIO時代APP。掃描下方二維碼即可下載。