sgusers3的部落格

巨量資料（BIG DATA）時代來臨，迷你倉GOOGLE的檢索搜尋、YOUTUBE的影片分享與FACEBOOK的社交等，全球性網路服務多元，加上快速普及的智慧型行動電話，都加速巨量資料的形成，零售業又是運用巨量資料領先的行業，藉以快速掌握顧客喜好，調整生產銷售決策。巨量資料之應用可依資料型態與來源區分。一般企業處理的資料類型，以傳統資料庫之結構化資料、網頁、XML文件等半結構化的資料為主，來自社群、感測網路的資料相對較少。雖然不同行業型態的企業對巨量資料處理分析的應用不同，但一般企業應用仍以尋找新市場機會、協助決策、提升營運╱服務效率，或針對顧客需求進行精準行銷等為主。零售業領先使用零售業是運用巨量資料相對領先的行業，藉以快速掌握顧客的喜好變化，調整生產銷售決策，創造營收成長的新動能。例如，美國零售業龍頭WAL-MART鎖定FACEBOOK、TWITTER等熱門社群網站，企圖從顧客在網站上之商品討論，快速掌握潛在消費需求。電子商務業者AMAZON也從過去購買歷史資料之分析，進而提供個人化商品建議，提供加值服務，確保消費者之黏著度。EBAY每天收集消費者對數萬種商品進行的數百萬次網上查詢，進行商品分析，擬定行銷策略等，目前每天新增資料量高達50PB（PETABYTE）。對上述企業而言，巨量資料的應用可謂其競爭力與業務創新之重要來源。透過巨量資料分析，將使企業之科技服務模式從被動演進至主動出擊型態，可協助企業掌握先機，形成差異化，提高競爭優勢。此外，巨量資料在公共、醫療等各領域，亦有不同應用。對政府部門之公共領域應用而言，可透過感測網路之建置，持續收集資料，運用累積之巨量資料分析，進行都市計畫建設、防災措施乖規劃或解決塞車問題等，協助解決社會相關問題。醫療領域在病歷等相關資料，累積達到一定巨量化程度後，如何從中找出可用價值，值得深思。例如，從相同疾病之病患交叉分析，找出關聯性深入研究，有助於疾病預防與醫療突破。巨量資料分析與雲端運算之發展有密不可分的關係，巨量資料興起，將帶動全球雲端服務市場發展，甚至被視為雲端運算的殺手級應用之一。巨量資料處理與分析mini storage非單一技術，而是運算、儲存、資料庫、分析軟體等眾多技術的整合。就資訊部署而言，欲進行巨量資料的分散式運算，若不藉助雲端之運算、儲存或網路等可靈活調度的資源，自行投資電腦等相關資訊設備，成本負擔將當相沉重。帶動雲端運算新商機因此，雖然各行業皆可藉由巨量資料分析協助經營決策等，但大部分並只需進行每週╱每月╱每季等不同頻率的資料分析；即使需要即時性分析，企業亦不需要為此投入大量資源，建構資料分析環境，運用雲端強大且彈性調度之運算、儲存、網路等軟硬體資源，可謂最佳選擇。目前已有雲端服務業者在雲端平台上提供相關租用服務，如資料運算技術HADOOP，大幅降低企業進行巨量資料分析之門檻。在巨量資料分析相關技術與產品持續進展下，目前新產業正在萌芽，相關業者亦在摸索最適合的服務模式。除軟體技術、分析工具、硬體設備，資料分析專業人才更是不可或缺的要素。巨量資料分析專家與一般軟體程式設計師不同，需具備數學專業、統計分析方法等技術面能力與相關經驗，技術或可經由學習課程逐漸熟悉，經驗累積則需一段時間慢慢養成。根據日本相關研究單位的估計，一位分析專才養成之成功率僅約1∼2％。大量資料收集不是問題，但分析不易，若無法透過專業分析人員萃取其中精髓，產生實質價值，熱潮恐怕無法持續維持。此外，資料量愈龐大，或有助於便利服務的提供，公共建設的推動，但另一方面，亦暗藏侵犯個人隱私的風險。對於資料管理機制、收集運用之目的、階段等細節，若未對客戶清楚說明，取得同意，將有觸犯相關法規之風險。屬於個人的資料若被公開，將直接會間接帶給個人困擾，甚至造成危險。因此，如何在使用資料之同時，兼顧個人隱私保護，是相關業者在應用巨量資料時，須審慎面對的課題。在雲端運算環境趨於成熟，大幅降低巨量資料分析應用門檻之下，各領域企業、政府等各界皆須積極面對巨量資料可能帶來的衝擊與效益。從應用面觀之，運用巨量資料進行分析，企業可望從中發掘新業務機會，進行精準行銷，或提升市場競爭力等，政府機關可藉此協助都市規畫或災害預防，解決社會問題，個人亦可能因此改善生活品質。（本文作者為資策會MIC ITIS計畫產業分析師）迷你倉