溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要介紹“web數據質量監控有哪些優缺點”的相關知識，小編通過實際案例向大家展示操作過程，操作方法簡單快捷，實用性強，希望這篇“web數據質量監控有哪些優缺點”文章能幫助大家解決問題。
最近SaaS平臺、APP等產品，總是采集的數據中存在各種各樣的問題，如標題解析成JavaScript代碼，或者包含一段無用的字符、或者出現一個亂碼字符串等等。
先前的那套監控機制的弊病似乎越來越大，已無法滿足數據監控的需求。
隨著現在的數據類型、定制的采集腳本、涉及到的人員等不斷增多，采集難度的不斷加大，各種各樣的問題頻繁出現。
為了制定一套真正能夠實時監控數據質量，并能夠快速定位問題，同時能夠及時反饋，快速迭代采集器或腳本的體系，在原有分散監控的基礎上，在數據推送接口處再次添加一層集中監控。
分散監控是指：各采集器或腳本自行監控數據的質量。但是有時由于任務急，或者為了省事，其實根本沒有添加監控模塊。
集中監控是指：在kafka統一推送接口處對數據質量、排重等進行處理；
(1)優點
① 能夠減輕統一推送接口處壓力，縮短數據入kafka的時間；
② 減少接口出現異常的頻率；
(2)缺點
① 相關人員可能修改監控指標，導致混亂，無法達到數據質量監控效果，無法定位問題；
② 可能由于任務緊急、或者為了省事，根本沒有添加監控和排重機制，導致大量的數據重復和劣質數據，影響ES性能，同時嚴重影響產品的用戶體驗。
③ 浪費資源。由于每個采集器或定制腳本均需考慮監控問題，無形中增加了許多重復工作，增加了人力成本；
④ 產品迭代較慢。懶惰是人的本性，沒有流程、機制的督促，絕大部分人都會用最省事的方法來處理問題。甚至認為這就是一個小問題，無關緊要，拖著拖著就忘了。
(1)優點
① 減少人力等資源浪費；
② 統一規范監控機制；
③ 異常問題前置，提高產品的用戶體驗；
④ 降低人為風險。
⑤ 依據監控結果，通過流程和監控體系，督促相關人員不斷迭代產品。
⑥ 對管理者來說，能夠實時了解各部分采集中存在的問題，能夠從全局思考，優化采集策略等。
⑦ 能夠根據監控結果，一定程度上為管理者提供績效考核的依據。
(2)缺點
① 增加了統一接口邏輯處理復雜度，增加了異常的概率；
② 降低了數據處理的速度。綜合考慮，在可接受范圍內，或滿足需求時，可暫不考慮。
關于“web數據質量監控有哪些優缺點”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識，可以關注億速云行業資訊頻道，小編每天都會為大家更新不同的知識點。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
