BI商(shāng)業智能與大(dà)數據應用的區别；
BI（Business Intelligence），即商(shāng)務智能，它是一(yī)套完整的解決方案，用來将企業中(zhōng)現有的數據進行有效的整合，快速準确的提供報表并提出決策依據，幫助企業做出明智的業務經營決策。
伴随着BI的發展，ETL，數據集成平台等概念相繼提出。ETL（Extraction Transformation Loading），即數據提取、轉換和加載，數據集成平台主要功能對各種業務數據進行抽取和相關轉化，以此來滿足BI、數據倉庫對數據格式和内容挖掘的要求。

1     數據集成平台
數據集成平台的基礎工(gōng)作與ETL有很大(dà)的相似性，其主要功能是實現不同系統不同格式數據地抽取，并且按照目标需求轉化成爲相應的格式。數據集成開(kāi)始是點對點的，慢(màn)慢(màn)地發現這種模式對于系統之間，不同所有權的企業數據流向以及數據标準控制很難，爲此，誕生(shēng)了對統一(yī)企業數據平台的需求，來實現企業級之間的數據交互。
數據集成平台就像網絡中(zhōng)的Hub，可以連接所有應用系統，實現系統之間數據的互通有無。數據集成平台以BI、數據倉庫需求而産生(shēng)，現在已經跨越了最初的需求，上升到了一(yī)個更高的階段。

2.     大(dà)數據

如今大(dà)數據應用更多關注非結構化數據，更多談論互聯網，Twitter、Facebook、博客等非結構化數據，如此理解大(dà)數據應用，顯然就有些走偏了。結構化數據也屬于大(dà)數據，且呈現出相同的特點和特征，如數據量大(dà)，增長越來越快，對數據處理要求高等。結構化數據是廣義大(dà)
數據中(zhōng)含金量或者價值密度最高的一(yī)部分(fēn)數據，與之相比，非結構化數據含金量高但價值密度低。在Hadoop平台出現之前，沒有人談論大(dà)數據。數據應用主要是結構化數據，多采用IBM、HP等老牌廠商(shāng)的小(xiǎo)型機或服務器設備。
采用傳統方法處理這些價值密度低的非結構化數據，被認爲是不值得的，因爲其産出實在是有限。Hadoop平台出現之後，提供了一(yī)種開(kāi)放(fàng)的、廉價的、基于普通商(shāng)業硬件的平台，其核心是分(fēn)布式大(dà)規模并行處理，從而爲非結構化數據處理創造條件。
大(dà)數據應用的數據來源應該包括結構化數據，如各種數據庫、各種結構化文件、消息隊列和應用系統數據等，其次才是非結構化數據，又(yòu)可以進一(yī)步細分(fēn)爲兩部分(fēn)，一(yī)是社交媒體(tǐ)，如Twitter、Facebook、博客等産生(shēng)的數據，包括用戶點擊的習慣/
特點，發表的評論，評論的特點，網民之間的關系等，這些都構成了大(dà)數據來源。另外(wài)一(yī)部分(fēn)數據，也是數據量比較大(dà)的數據，就是機器設備以及傳感器所産生(shēng)的數據。以電信行業爲例，CDR、呼叫記錄，這些數據都屬于原始傳感器數據，主要來自路由器或者基站。此外(wài)，手機的置傳感器，各種手持設備、門禁系統，攝像頭、ATM機等，其數據量也非常巨大(dà)。

3.     大(dà)數據分(fēn)析工(gōng)具
對于分(fēn)析大(dà)數據的工(gōng)具，目前所有的分(fēn)析工(gōng)具都側重于結構化分(fēn)析，例如針對社交媒體(tǐ)評論方向的分(fēn)析，根據特定的詞頻(pín)或者語義，通過統計正面/負面評論的比例，來确定評論性質。如果有一(yī)個應用系統是接收結構化數據的，例如一(yī)個分(fēn)析系統，接收這些語義就可以便于分(fēn)析。

4.     大(dà)數據應用實例
讓大(dà)數據應用落地，其中(zhōng)的關鍵在于與行業應用的深度融合。
1)      公安行業
公安行業的視頻(pín)影像處理是一(yī)個特定應用領域，傳統BI、ETL工(gōng)具拿這些數據沒有辦法，采用分(fēn)布式Hadoop進行處理能夠帶來很
好的效益，因爲Hadoop可以處理數據量足夠大(dà)。公安行業實際上已采集了大(dà)量視頻(pín)影像數據，利用這些數據，可以追蹤一(yī)個嫌疑犯的行蹤，什麽時間在全國哪些地區出現過。這些應用不可能單純依靠人的力量，需要借助人臉識别、圖像識别技術、模式處理，數據壓縮等技術，需要海量處理軟件，抓出相關特征，幫助公安人員(yuán)提高工(gōng)作效率。

2)      電信行業
在電信行業，計費(fèi)系統實際上是對各種數據進行整合後的結果，是一(yī)個縮小(xiǎo)的數據。借助大(dà)數據應用，運營商(shāng)可以原始大(dà)數據進行
分(fēn)析，例如分(fēn)析傳感器數據是否有異常，從而判斷設備異常等，這些都是一(yī)些用傳統BI工(gōng)具無法實現的分(fēn)析，其結果往往會出乎意料，幫助運營商(shāng)提高服務水平以及用戶的滿意度。

3)      互聯網行業
在互聯網行業，通過分(fēn)析手機上網軌迹，可以分(fēn)析了解客戶群，了解用戶的偏好，此外(wài)，獲取地理位置的信息，也具有特定價值。
從這些行業大(dà)數據應用分(fēn)析來看，一(yī)個是視頻(pín)影像處理，一(yī)個是日志(zhì)分(fēn)析，另外(wài)一(yī)個是處理特定文件格式的分(fēn)析處理，彼此之間顯然沒有任何通
用性的特點，其共同點就是利用了廉價的大(dà)數據處理平台。

大(dà)數據處理的十大(dà)工(gōng)具；
大(dà)數據的日益增長,給企業管理大(dà)量的數據帶來了挑戰的同時也帶來了一(yī)些機遇。下(xià)面是用于信息化管理的大(dà)數據工(gōng)具列表：

1.ApacheHive

Hive是一(yī)個建立在hadoop上的開(kāi)源數據倉庫基礎設施，通過Hive可以很容易的進行數據的ETL,對數據進行結構化處理,并對Hadoop上大(dà)數據文件
進行查詢和處理等。Hive提供了一(yī)種簡單的類似SQL的查詢語言—HiveQL,這爲熟悉SQL語言的用戶查詢數據提供了方便。
2JaspersoftBI套件
Jaspersoft包是一(yī)個通過數據庫列生(shēng)成報表的開(kāi)源軟件。行業領導者發現Jaspersoft軟件是一(yī)流的,許多企業已經使用它來将SQL表轉化爲pdf,，這
使每個人都可以在會議上對其進行審議。另外(wài)，JasperReports提供了一(yī)個連接配置單元來替代HBase。

3.1010data

1010data創立于2000年，是一(yī)個總部設在紐約的分(fēn)析型雲服務，旨在爲華爾街的客戶提供服務，甚至包括NYSEEuronext、遊戲和電信的客戶。
它在設計上支持可伸縮性的大(dà)規模并行處理。它也有它自己的查詢語言,支持SQL函數和廣泛的查詢類型，包括圖和時間序列分(fēn)析。這個私有雲的方法減少了客戶在基礎設施管理和擴展方面的壓力。

4.Actian
Actian之前的名字叫做IngresCorp，它擁有超過一(yī)萬客戶而且正在擴增。它通過Vectorwise以及對ParAccel實現了擴展。這些發展分(fēn)别導緻了
ActianVector和ActianMatrix的創建。它有Apache，Cloudera，Hortonworks以及其他發行版本可供選擇。

5.PentahoBusinessAnalytics

從某種意義上說,Pentaho與Jaspersoft相比起來,盡管Pentaho開(kāi)始于報告生(shēng)成引擎，但它目前通過簡化新來源中(zhōng)獲取信息的過程來支持大(dà)數據處
理。Pentaho的工(gōng)具可以連接到NoSQL數據庫，例如MongoDB和Cassandra。PeterWayner指出,PentahoData(一(yī)個更有趣的圖形編程界面工(gōng)具)有很多内置模塊，你可以把它們拖放(fàng)到一(yī)個圖片上,然後将它們連接起來。

6.KarmasphereStudioandAnalyst
KarsmasphereStudio是一(yī)組構建在Eclipse上的插件,它是一(yī)個更易于創建和運行Hadoop任務的專用IDE。在配置一(yī)個Hadoop工(gōng)作時，
Karmasphere工(gōng)具将引導您完成每個步驟并顯示部分(fēn)結果。當出現所有數據處于同一(yī)個Hadoop集群的情況時，KarmaspehereAnalyst旨在簡化
篩選的過程,。

7.Cloudera

Cloudera正在努力爲開(kāi)源Hadoop,提供支持，同時将數據處理框架延伸到一(yī)個全面的“企業數據中(zhōng)心”範疇,這個數據中(zhōng)心可以作爲首選目标和管
理企業所有數據的中(zhōng)心點。Hadoop可以作爲目标數據倉庫，高效的數據平台，或現有數據倉庫的ETL來源。企業規模可以用作集成Hadoop與傳
統數據倉庫的基礎。Cloudera緻力于成爲數據管理的“重心”。

8.HPVerticaAnalyticsPlatformVersion7
HP提供了用于加載Hadoop軟件發行版所需的參考硬件配置,因爲它本身并沒有自己的Hadoop版本。計算機行業領袖将其大(dà)數據平台架構命名爲
HAVEn(意爲Hadoop,Autonomy,Vertica,EnterpriseSecurityand“n”applications)。惠普在Vertica7版本中(zhōng)增加了一(yī)個“FlexZone”，允許用
戶在定義數據庫方案以及相關分(fēn)析、報告之前探索大(dà)型數據集中(zhōng)的數據。這個版本通過使用HCatalog作爲元數據存儲，與Hadoop集成後爲用戶
提供了一(yī)種探索HDFS數據表格視圖的方法。

9.TalendOpenStudio
Talend’s工(gōng)具用于協助進行數據質量、數據集成和數據管理等方面工(gōng)作。Talend是一(yī)個統一(yī)的平台，它通過提供一(yī)個統一(yī)的，跨企業邊界生(shēng)命周
期管理的環境，使數據管理和應用更簡單便捷。這種設計可以幫助企業構建靈活、高性能的企業架構,在次架構下(xià)，集成并啓用百分(fēn)之百開(kāi)源服務的分(fēn)布式應用程序變爲可能。

10.ApacheSpark
ApacheSpark是Hadoop開(kāi)源生(shēng)态系統的新成員(yuán)。它提供了一(yī)個比Hive更快的查詢引擎，因爲它依賴于自己的數據處理框架而不是依靠Hadoop的
HDFS服務。同時，它還用于事件流處理、實時查詢和機器學習等方面。

責任編輯：中(zhōng)山網站建設
 【網訊網絡】國家高新技術企業》十年專注軟件開(kāi)發，網站建設，網頁設計，APP開(kāi)發，小(xiǎo)程序，微信公衆号開(kāi)發，定制各類企業管理軟件（OA、CRM、ERP、訂單管理系統、進銷存管理軟件等)！服務熱線：0760-88610046、13924923903，http://www.wansion.net