應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點新聞
企業(yè)注冊個人注冊登錄

易鯨捷劉明:海量數(shù)據(jù)爆發(fā)在即,數(shù)據(jù)庫能力日趨重要

2018-08-16 11:27 物聯(lián)網(wǎng)世界

導(dǎo)讀:如何存放海量數(shù)據(jù),如何對海量數(shù)據(jù)進行高性能的計算?

  數(shù)據(jù),毫無疑問是物聯(lián)網(wǎng)萬物互聯(lián)愿景背后的最核心意義。此前,Gartner報告顯示,全球IoT數(shù)據(jù)量正在以每年59%的速度遞增,如何管理海量數(shù)據(jù)即將成為物聯(lián)網(wǎng)行業(yè)一項極大的挑戰(zhàn)。

  7月31日,由中國物聯(lián)網(wǎng)產(chǎn)業(yè)應(yīng)用聯(lián)盟主辦、深圳市物聯(lián)傳媒承辦的2018深圳國際物聯(lián)網(wǎng)平臺與數(shù)據(jù)安全高峰論壇 于深圳會展中心順利舉行。貴州易鯨捷信息技術(shù)有限公司首席產(chǎn)品架構(gòu)師劉明 受邀出席論壇,并以數(shù)據(jù)庫有關(guān)的技術(shù)及市場應(yīng)用為話題進行演講分享。

  貴州易鯨捷信息技術(shù)有限公司首席產(chǎn)品架構(gòu)師 劉明

  劉明表示,相較于互聯(lián)網(wǎng),物聯(lián)網(wǎng)其實仍然處于尚未成熟的階段。僅看目前的眾多終端設(shè)備,或者是無法接入網(wǎng)絡(luò),或者是即便連上,產(chǎn)生的數(shù)據(jù)也無法用來進行完整研究。但一旦以上環(huán)節(jié)成熟,如何存放海量數(shù)據(jù),如何對海量數(shù)據(jù)進行高性能的計算 ,是未來數(shù)據(jù)庫需要面臨的技術(shù)挑戰(zhàn) 。

  一、物聯(lián)網(wǎng)需要什么樣的數(shù)據(jù)庫?

  傳統(tǒng)數(shù)據(jù)庫經(jīng)過幾十年的發(fā)展已經(jīng)非常成熟。比如OLTP數(shù)據(jù)庫非常擅長數(shù)據(jù)的實時入庫增刪改查,但仍存在性能不足,往往使用單機系統(tǒng)而無法應(yīng)對海量數(shù)據(jù)分析的缺陷;又比如OLAP數(shù)據(jù)庫非常擅長海量數(shù)據(jù)的快速高性能匯總計算,但缺乏實時性,常常作為離線批處理系統(tǒng),將積累了幾個小時甚至更長時間的數(shù)據(jù)進行一次批量入庫與分析,無法滿足物聯(lián)網(wǎng)要求實時性的眾多場景需求。

  于是,針對新時代下高并發(fā)、實時性的數(shù)據(jù)處理需求,后續(xù)還出現(xiàn)了NoSQL數(shù)據(jù)庫,以解決傳統(tǒng)數(shù)據(jù)庫難以協(xié)同解決的問題。但NoSQL種類繁多,往往是為了解決某一個特定的場景而高度定制化,往往導(dǎo)致每一款數(shù)據(jù)庫的開發(fā)接口、開發(fā)方法都是特殊的,缺乏統(tǒng)一標(biāo)準(zhǔn),也限制了通用性。

  所以,當(dāng)我們考慮數(shù)據(jù)庫需要具備的能力時,就要考慮它能否實現(xiàn)數(shù)據(jù)的快速收集、快速入庫、實時分析 ,以及具備一定程度的行業(yè)通用性 。

  二、數(shù)據(jù)庫能給企業(yè)帶來什么好處?

  對這一點,劉明先生用了易鯨捷數(shù)據(jù)庫EsgynDB的3個實例,說明了數(shù)據(jù)庫在物聯(lián)網(wǎng)時代的典型作用及優(yōu)勢。

  在電力系統(tǒng)的應(yīng)用

  以往,國家電網(wǎng)的數(shù)據(jù)庫能力有限,入庫速度不足,家庭電表每天只能采集數(shù)據(jù)一次,企業(yè)電表每小時采集數(shù)據(jù)一次。這樣的時效限制,毫無疑問影響了企業(yè)對用電量的預(yù)測、對電力調(diào)度的合理性分析,也導(dǎo)致國家電網(wǎng)需要10%以上的電能冗余來保證電壓的穩(wěn)定和安全。

  那么面對智能電網(wǎng)的發(fā)展需求,首先就要提高數(shù)據(jù)的采集頻率。在易鯨捷與某省國家電網(wǎng)的合作項目中,就將3800萬塊電表信息的采集頻率由每天一次提升到每2分鐘一次,大大實現(xiàn)了節(jié)能降耗的國家戰(zhàn)略級目標(biāo)。

  在商業(yè)地產(chǎn)/廣場中的應(yīng)用

  在易鯨捷與萬達集團的項目合作中,最初是將萬達商業(yè)地產(chǎn)/廣場中近11萬塊智能電表信息全部錄到數(shù)據(jù)庫里,進行數(shù)據(jù)的實時入庫與分析,已便企業(yè)進行理解反饋。而目前,不光是電表,包括商場的溫度、濕度、新風(fēng)等各系統(tǒng)的數(shù)據(jù)采集都可以加載進EsgynDB中,全面實現(xiàn)商業(yè)地產(chǎn)在能耗上的管理控制。此外,EsgynDB可以存儲過去半年、一年甚至更久的數(shù)據(jù),進而利用人工智能模型得出最適宜的溫度、濕度等,一方面打造舒適的購物環(huán)境,另一方面為商場能源管理帶來好處。

  在智能制造中的應(yīng)用

  以往,工業(yè)制造的諸多生產(chǎn)環(huán)節(jié)只能依靠老師傅的經(jīng)驗,缺乏一定的數(shù)據(jù)表現(xiàn)力。對此,在這次的三方產(chǎn)業(yè)研合作里,面對著機床刀具的適時更換及故障判斷這一命題,富士康負(fù)責(zé)提供生產(chǎn)經(jīng)驗知識庫,華中科技大學(xué)周濟院士團隊負(fù)責(zé)AI算法,易鯨捷則負(fù)責(zé)數(shù)據(jù)庫支撐與整體智能平臺。最終實現(xiàn)數(shù)據(jù)采集、經(jīng)驗分析、數(shù)據(jù)建模及趨勢判斷,幫助匹配企業(yè)現(xiàn)有IT體系,改善企業(yè)經(jīng)營數(shù)據(jù)的實時分析,優(yōu)化產(chǎn)線投入產(chǎn)出比。

  從以上案例也可看出,物聯(lián)網(wǎng)數(shù)據(jù)的采集、存儲、分析等功能的實現(xiàn)離不開數(shù)據(jù)庫的運維,并且數(shù)據(jù)庫需要具備一定程度的通用性,以便在物聯(lián)網(wǎng)不同行業(yè)領(lǐng)域?qū)崿F(xiàn)快速的布局運作。

  三、結(jié)語

  數(shù)據(jù)庫作為一項通用應(yīng)用,技術(shù)實現(xiàn)上通常存在較高門檻,需要專業(yè)的團隊來運營維護。比如易鯨捷所推出的這款基于Hadoop大數(shù)據(jù)平臺的企業(yè)級分布式數(shù)據(jù)庫EsgynDB,融合了成熟的SQL、HTAP、很好的擴展性三大特點,具備明顯的性能優(yōu)勢,在智能制造、智能電網(wǎng)等領(lǐng)域產(chǎn)生了多項典型應(yīng)用。

  筆者相信,隨著物聯(lián)網(wǎng)數(shù)據(jù)的爆發(fā)增長,留給數(shù)據(jù)庫產(chǎn)業(yè)的想象空間依然十分巨大,一切都還值得期待。

  如果您已經(jīng)開始策劃2019年大數(shù)據(jù)、云計算、物聯(lián)網(wǎng)安全事業(yè),請關(guān)注:

  2019年3月13-15日,第十一屆國際物聯(lián)網(wǎng)展——蘇州站;

  2019年7月30-8月1日,第十二屆國際物聯(lián)網(wǎng)展——深圳站。