數據質量低，你會損失什么？
大數據是物聯網數據感知、云計算數據計算、三網融合數據服務實現的核心基礎。大數據時代的到來對學校存儲和管理數據、從數據中提取有價值的信息提出了挑戰。對大數據進行有效分析的前提是必須要保證數據的質量，專業的數據分析工具只有在高質量的大數據環境中才能提取出隱含的、準確的、有用的信息。
然而，由于大數據具有復雜、多樣、多變等特點，學校要想保證大數據的高質量卻并非易事，數據質量很難保證。下文重點從流程、技術和管理三方面來分析大數據環境下保證大數據質量的挑戰及重要性。從流程的角度，可以將數據生產過程分為數據收集、數據存儲和數據使用三個階段，三個階段對保證大數據質量分別提出了不同的挑戰。大數據的多樣性決定了數據來源的復雜性。大數據的數據來源眾多，數據結構隨著數據來源的不同而各異，學校要想保證從多個數據源獲取的結構復雜的大數據的質量并有效地對數據進行整合，是一項艱巨的任務。來自于大量不同數據源的數據之間存在著沖突、不一致或相互矛盾的現象。在數據獲取階段保證數據定義的一致性、元數據定義的統一性及數據質量是大數據為各學校提出的挑戰。另外，由于大數據的變化速度較快，有些數據的“有效期”非常短，如果沒有實時地收集所需的數據，有可能收集到的就是“過期的”、無效的數據，在一定程度上會影響大數據的質量。數據收集階段是整個數據生命周期的開始，這個階段的數據質量對后續階段的數據質量起著直接的決定性的影響。因此，學校應該重視源頭上的大數據質量問題，為大數據的分析和應用提供高質量的數據基礎。由于大數據的多樣性，單一的數據結構已經遠遠不能滿足大數據存儲的需要，學校應該使用專門的數據庫技術和專用的數據存儲設備進行大數據的存儲，保證數據存儲的有效性。數據存儲是實現高水平數據質量的基本保障，如果數據不能被一致、完整、有效的存儲，數據質量將無從談起。因此，學校要想充分挖掘大數據的核心價值，首先必須完成傳統的結構化數據存儲處理方式向同時兼具結構化與非結構化數據存儲處理方式的轉變，不斷完善大數據環境下高校數據庫的建設，為保證大數據質量提供基礎保障。同時，學校應該根據大數據結構的要求和特點合理地設計數據存儲和使用規則，以方便對數據的快速讀取。如果數據存儲不合理，不僅會浪費系統的存儲空間，而且還會給后期的數據使用帶來極大的不便，甚至會產生錯誤、無效的數據，難以保證數據質量。數據價值的發揮在于對數據的有效分析和應用，大數據涉及的使用人員眾多，很多時候是同步地、不斷地對數據進行提取、分析、更新和使用。舉例來說，由于大數據規模龐大、變化速度快，對數據的處理速度要求較高，如果數據處理不及時，有些變化速度快的數據就失去了其最有價值的階段。本文的技術視角主要是指從數據庫技術、數據質量監控技術、數據分析技術的角度來研究保證大數據質量的挑戰及其重要性。大數據及其相關分析技術的應用能夠為學校提供更加準確的預測信息、更好的決策基礎以及更精準的干預政策，然而如果大數據的數據質量不高，所有這些優勢都將化為泡影。在大數據時代，學校的數據量不僅巨大，而且數據結構種類繁多，數據之間的關系也較為復雜，若要識別、檢測大數據中錯誤、缺失、無效、延遲的數據，往往需要遍歷數百萬甚至數億條記錄或語句，從這個角度來講，大數據環境為數據質量的監控和管理帶來了巨大的挑戰。這種情況下，這就要求各學校應根據實際業務的需要，在配備高效的數據存儲設備的同時，開發、設計或引進先進的、智能化的、專業的大數據分析技術和方法，以實現大數據中數據質量問題的監控，以及對大數據的整合、分析、可視化等操作，充分地提取、挖掘大數據潛在的應用價值。管理視角主要探討學校高層管理者、專業管理和技術分析人員對保證大數據質量的重要性。首先，大數據的管理需要高層管理者的重視和支持。只有這樣，一系列跟大數據有關的應用及發展規劃才能有望得到推動，保證大數據質量的各項規章制度才能得到順利的貫徹和落實。如果高層管理者缺乏大數據意識以及對大數據價值的正確理解，通常會給大數據管理帶來阻礙。缺少高層管理者的支持，學校對大數據管理、分析和應用的重視程度就會有所降低，大數據的質量就無法得到全面、有效的保證，從而將會大大弱化大數據價值的發揮。因此，企業應該在高層管理的領導和帶領下，加強大數據質量意識，建立完善的數據質量保證制度。其次，專業數據管理人員的配備是保證大數據質量不可或缺的部分。由于大數據本身的復雜性增加了大數據管理的難度，既懂得數據分析技術，同時又諳熟學校各項業務的新型復合型管理人員是當下應用大數據方案最急需的人才，而首席數據官( Chief Data Officer，CDO) 就是這類人才的典型代表。任命 CDO 來專門負責大數據所有權管理、定義元數據標準、制定并實施大數據管理決策等一系列活動是十分必要的。此外，在大數據生產過程的任何一個環節，學校都應該配備相應的專業人員，通過熟悉掌握數據的產生流程進行數據質量的監控，例如在數據獲取階段，應指定專門人員負責記錄定義并記錄元數據，以便于數據的解釋，保證學校各管理部門人員對數據的一致、正確理解，保證大數據源頭的質量。像互聯網、云計算以及物聯網等技術一樣，大數據時代的到來勢必會再次讓信息技術領域煥然一新。如何保證大數據的質量，如何提取并利用隱藏在大數據中的信息以完善學校信息系統、提升數據決策能力，成為教育信息化領域從業人員必須面對的問題。因此，從數據收集、數據存儲到數據使用，學校必須制定詳細、縝密的數據質量管理制度，在數據庫設計時要考慮各個方面可能發生的種種意外情形，利用專門的數據質量監控系統和可視化平臺，任命專業的數據管理人才加強對大數據的管理，提高學校內部的數據質量管理意識，以保證大數據的數據質量，從而挖掘出更多準確、有效、有價值的信息。作者：宗威、吳鋒
圖片來源：網絡
內容來源：中國教育信息化（ID：zgjyxxh）
1. 優學云測評推出培訓機構個性化教學解決方案
2. 優學云測評推出中小學校個性化教學解決方案
3. 優學云測評推出招生平臺流量提升方案
4. 優學云測評推出企業人才發展平臺解決方案——人才庫管理
5. 優學云測評幫助個性化教育成為現實
優學云測評精選的每一篇文章都會注明來源和作者（除非找不到），文章版權歸原作者所有，若有侵犯權益，請聯系我們刪除。本文所述內容僅代表作者觀點，不代表優學云測評立場。對于本文以及其中全部或者部分內容、文字的真實性、完整性、準確性和合法性本公眾號不作任何保證或承諾。