醫療大數據應用基礎服務系統技術方案

本發明專利技術涉及一種醫療大數據應用基礎服務系統，其特征在于該系統包括大數據云ETL子系統、大數據基礎內核子系統、醫療大數據分析挖掘子系統、系統運行管理監控子系統；大數據云ETL子系統負責對醫院信息系統的相關數據進行抽取、清洗轉換和加載；大數據基礎內核子系統利用大數據基礎能力中所使用的Storm流計算、MapReduce批量計算、Spark、醫療大數據元數據、HBASE半結構化數據存儲等技術，實現醫療大數據的存儲、計算和分析；醫療大數據分析利用數據探索、挖掘建模和模型評估，對醫療大數據基礎內核平臺存儲的數據進行分析；管理監控系統負責為整個醫療大數據應用基礎平臺提供所需的支持、監控、配置和安全服務。

【技術實現步驟摘要】

本專利技術涉及大數據
，特別是涉及一種醫療大數據應用基礎服務系統。
技術介紹
近年來隨著互聯網、云計算、移動和物聯網等的迅猛發展，無所不在的移動設備、RFID、無線傳感器每分每秒都在產生數據，數以億計用戶的互聯網服務時時刻刻在產生巨量的交互，要處理的數據量巨大，數據一直都在以每年50%的速度增長，而業務需求和競爭壓力對數據處理的實時性、有效性又提出了更高要求，傳統的常規技術手段根本無法應付，因此，大數據技術（BigData）成為近來的一個技術熱點，引起了廣泛的重視。大數據創造價值是基于這樣一個核心邏輯，即當今社會在商業、經濟、政府及相關領域中，決策行為越來越取決于數據和分析，而不再是經驗和直覺。大數據技術可以為決策提供一定的“預見參考”，而成功的分析和預見往往能帶來商業和經濟價值。除了較早前就開始利用大數據的互聯網公司，醫療行業是讓大數據分析最先發揚光大的傳統行業之一。醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，因此，醫療行業將和銀行、電信、保險等行業一起首先邁入大數據時代。麥肯錫在其報告中指出，排除體制障礙，大數據分析可以幫助美國的醫療服務業一年創造3000億美元的附加價值。通過大數據技術可以加速醫學的猜想、發現到醫療實踐的轉化：借助于不斷增長的私密和公開醫療數據，大數據技術幫助人們存儲管理好醫療大數據并從大體量、高復雜的數據中提取價值，相關的醫療技術、產品將不斷涌現，將有可能給醫療行業開拓一個新的黃金時代。大數據技術在醫療領域的應用具有非常廣闊的前景，但由于網絡安全性不高、技術不足、觀念落后等原因，大數據技術在醫療領域的應用還存在一些困難：首先數據量大，數據類型復雜。醫療領域的數據量巨大，數據類型復雜。到2020年，醫療數據將增至35ZB，相當于2009年數據量的44倍。另外，在醫院，每個患者不但要經過辨證論治的個體化診療，還會經過各種理化檢測進行疾病及其預后的診斷，所以不光有病歷資料中包含的信息，還會有生化檢查、多種影像或病理切片檢查的生物學信息，數據類型十分復雜。這給數據的存儲、分析、處理、傳輸等帶來很大挑戰。其次，信息采集不足，收集渠道不暢。要想在醫療領域使用大數據技術，首先要有足夠的病人、藥物等相關信息，這是數據分析的基礎，然而許多病人可能出于隱私考慮不愿提供這些信息，制藥企業也有可能因為商業利益不愿共享藥物成分等敏感信息。另外，各個醫院及機構的醫療信息、軟件及硬件服務都各自獨立，缺乏合理接口，大數據收集的渠道不暢，導致采集與應用存在一定程度上的脫離。第三，大數據高效分析能力欠缺，采集到足夠信息后，需要由相關領域的專業人士與信息技術專家一起對數據進行有針對性地歸納和分析，得出由大量新興技術（如HadoopMapReduce、內存數據庫等）組成的高性能的專業的分析技術架構解決方案，而這種跨學科、跨領域合作能否順利實現，是大數據技術實際應用中的重要問題。此外，大數據的安全缺乏保障。隨著數據量的不斷增加，數據存儲的物理安全性越來越重要，對數據的多副本與容災機制提出更高的要求。但是網絡和數字化生活使得犯罪分子更容易獲得關于人的信息，也有了更多不易被追蹤和防范的犯罪手段，大數據的保護越來越重要。為解決目前醫療大數據應用中普遍存在的上述挑戰，需要設計一種醫療大數據應用基礎平臺以解決數據量大且數據類型復雜、信息采集不足與收集渠道不暢、大數據高效分析能力和安全保障欠缺等問題。
技術實現思路
本專利技術提供了一種醫療大數據應用基礎服務系統，用以解決目前醫療大數據數據量大且數據類型復雜、信息采集不足與收集渠道不暢、大數據高效分析能力和安全保障欠缺等問題，本專利技術解決所述問題的技術方案為。一種醫療大數據應用基礎服務系統，其特征是包括大數據云ETL子系統、大數據基礎內核子系統、醫療大數據分析挖掘子系統、運行管理監控子系統：1)大數據云ETL子系統：主要包括數據抽取、數據清洗轉換、數據加載、調度引擎等，是醫療大數據應用基礎平臺的數據來源工具，負責對醫院信息系統的相關數據進行抽取、清洗轉換和加載。2)大數據基礎內核子系統：主要包括Storm流計算、MapReduce批量計算、Spark、醫療大數據元數據、醫療大數據模型、HBASE半結構化數據存儲，實現醫療大數據的存儲、計算和分析。3)醫療大數據分析挖掘子系統：主要包括數據探索、挖掘建模、模型評估，對醫療大數據基礎內核平臺存儲和處理的結構和非結構化數據進行分析和挖掘。4)運行管理監控子系統:主要包括狀態監控、配置節點管理、集群節點管理、節點和服務狀態管理、數據安全管理，為醫療大數據應用基礎平臺提供所需的支持、監控、配置和安全服務。附圖說明圖1為本專利技術系統總體架構圖。圖2為本專利技術Storm流計算架構圖。圖3為本專利技術MapReduce處理流程圖。具體實施方式下面將結合本專利技術實施例中的附圖及具體實施例進一步說明本專利技術的技術方案。應當理解，此處所描述的具體實施例僅僅用于解釋本專利技術，并不用于限定本專利技術。本專利技術提供了一種醫療大數據應用基礎服務系統，其特征是包括大數據云ETL子系統、大數據基礎內核子系統、醫療大數據分析挖掘子系統、運行管理監控子系統。整個系統在軟件架構上主要分為大數據云ETL、大數據基礎內核、醫療大數據分析挖掘和系統運行管理監控，用以支持醫療大數據眾多典型應用（電子病歷大數據產品、藥品研發、實時統計分析、就診行為分析、傳染病模型分析、基本藥物臨床應用分析、臨床決策支持、遠程病人數據分析），滿足個人（醫生、臨床研究員、公眾）和機構（醫療器械、商業保險、醫療企業）中的不同用戶對于海量數據訪問、處理和分析的需求。系統體系架構如圖1所示，大數據云ETL子系統是在大數據平臺的基礎上，對醫院信息系統（HIS、PACS、CIS、RIS、LIS、EMR）的相關數據進行抽取、清洗轉換和加載，并通過調度引擎進行任務調度與監控，從而提供數據整合的解決方案。醫療大數據基礎內核子系統是利用大數據基礎能力中所使用的Storm流計算、MapReduce批量計算、Spark內存計算、Metadata元數據管理、DataModel醫療大數據模型、HDFS分布式文件存儲、HBASE半結構化數據存儲等，實現醫療大數據的存儲、計算和分析。醫療大數據分析挖掘子系統利用數據探索、挖掘建模和模型評估，對醫療大數據基礎內核平臺存儲和處理的結構和非結構化數據進行分析和挖掘，從而支持用戶的業務和管理活動。運行管理監控子系統對整體的產品運行體系提供所需的支持、監控、配置和安全服務。對云ETL提供可視化的配置服務，對系統的軟硬件環境、網絡、運行程序、處理任務進行統一的監控，對數據進行保密性處理和安全性管理，對業務用戶的使用提供單點登錄、權限配置和訪問管理等服務。大數據云ETL子系統包括數據抽取、數據清洗轉換、數據加載、調度引擎模塊。數據抽取是采用分布式抽取與數據同步功能將結構化數據和非結構化數據抽取到大數據云ETL的過程，在抽取的過程中需本文檔來自技高網...

【技術保護點】
一種醫療大數據應用基礎服務系統，其特征在于該系統包括大數據云ETL子系統、大數據基礎內核子系統、醫療大數據分析挖掘子系統、運行管理監控子系統。

【技術特征摘要】
1.一種醫療大數據應用基礎服務系統，其特征在于該系統包括大數據云ETL子系統、大數據基礎內核子系統、醫療大數據分析挖掘子系統、運行管理監控子系統。
2.根據權利要求1所述的大數據云ETL子系統，其特征是主要包括數據抽取、數據清洗轉換、數據加載、調度引擎等，是醫療大數據應用基礎平臺的數據來源工具，負責對醫院信息系統的相關數據進行抽取、清洗轉換和加載。
3.根據權利要求1所述的大數據基礎內核子系統，其特征是主要包括Storm流計算、MapReduce批量計算、Spark、醫...

【專利技術屬性】
技術研發人員：彭革剛，沈清，郭穎，封展柏，陳之輝，彭可，石猛，封模春，李晶晶，
申請(專利權)人：湖南互動傳媒有限公司，
類型：發明
國別省市：湖南;43