公安行業(yè)大數(shù)據(jù)處理平臺的設計與實現(xiàn).pdf

1、隨著全球信息化飛速發(fā)展，“云計算”和“大數(shù)據(jù)”時代的到來，傳統(tǒng)的網絡和計算架構已經不能適應“大數(shù)據(jù)”高速響應的要求。開啟海量數(shù)據(jù)大數(shù)據(jù)處理推進公安行業(yè)信息化建設以及推動公安行業(yè)信息化多層次以及全方位發(fā)展，從而更進一步提高公安干警的核心能力，提升公安行業(yè)保障國家安全以及維護社會穩(wěn)定的能力，具有重要的意義。
　　本課題對公安行業(yè)基于海量數(shù)據(jù)的大數(shù)據(jù)處理平臺的設計與實現(xiàn)進行了研究和探索，主要工作如下：
　　橫向貫通，全面匯集公安網

2、、政務網以及社會信息數(shù)據(jù)資源，建設以應用服務資源庫為核心，以規(guī)范化、深整合、強關聯(lián)、可追溯為特點的公安大數(shù)據(jù)資源庫，實現(xiàn)數(shù)據(jù)資源的深度整合，重點發(fā)揮數(shù)據(jù)資源的綜合利用價值，將孤立、無序、可信度低的數(shù)據(jù)資源轉化為邏輯一致、有機關聯(lián)、可信度高的信息資源，并將信息資源打造為公安重要核心裝備。
　　建設以云計算為核心的大數(shù)據(jù)基礎池，包括以海量數(shù)據(jù)清洗、規(guī)范、整合以及底層運算為目標的基礎數(shù)據(jù)資源庫；以支撐各類公安分析、研判工作為目標的應用服

3、務資源庫；以數(shù)據(jù)處理、管理、監(jiān)控為核心的數(shù)據(jù)資源管理平臺；依照公安行業(yè)業(yè)務數(shù)據(jù)以及應用需求，對海量結構化、非結構化數(shù)據(jù)進行清洗、規(guī)范、合并以及組織，最終實現(xiàn)對公安行業(yè)大數(shù)據(jù)資源的分布式混合數(shù)據(jù)的存儲、處理、服務、管理體系，建設可動態(tài)伸縮的大數(shù)據(jù)處理以及應用支撐體系。
　　本項目采用Hadoop、Hbase技術框架支持滿足公安數(shù)據(jù)存儲、數(shù)據(jù)查詢、離線分析的海量數(shù)據(jù)資源池，通過ElasticSearch技術建立分布式全文檢索庫實現(xiàn)全庫