資料清洗經驗 什麼是資料清洗如何做好

2021-09-13 18:10:31 字數 1208 閱讀 1025

1樓:微策略中國

如何去整理分析資料,其中乙個很重要的工作就是資料清洗。資料清洗是指對「髒」資料進行對應方式的處理,髒在這裡意味著資料的質量不夠好,會掩蓋資料的價值,更會對其後的資料分析帶來不同程度的影響。有調查稱,乙個相關專案的進展,80%的時間都可能會花費在這個工作上面。

因為清洗必然意味著要對資料有一定的理解,而這個工作是自動化或者說計算機所解決不了的難題,只能靠人腦對資料進行重新審查和校驗,找到問題所在,並通過一些方法去對對應的資料來源進行重新整理。

清洗資料的方式大概可以分為以下幾類,篩選、清除、補充、糾正,例如:

去除不需要的字段:簡單,直接刪除即可。但要記得備份。

填充缺失內容:以業務知識或經驗推測填充缺失值;以同一指標的計算結果(均值、中位數、眾數等)填充缺失值;以不同指標的計算結果填充缺失值。

格式不一致:時間、日期、數值、全半形等顯示格式不一致,這種問題通常與輸入端有關,在整合多**資料時也有可能遇到,將其處理成一致的某種格式即可。例如一列當中儲存的是時間戳,某些跨國公司的不同部門在時間的格式上有可能存在差別,比如2019-01-12,2019/01/12等,這時候需要將其轉換成統一格式。

內容中有不需要的字元:某些情況使得有些資料中包含不需要的字元。例如從網路爬到的資料會包含一些編碼解碼的字元如%22,這種情況下,需要以半自動校驗半人工方式來找出可能存在的問題,並去除不需要的字元。

資料提取:例如咱們只有使用者身份證的資訊,但是需要使用者生日一列,這時候我們可以直接從身份證號中按照一定規律將生日資訊提取出來。

2樓:暖神格格

1. 獲取:主要**包括——自有(關聯式資料庫同步)、自採(探針/爬蟲等手段)、外購(合法的白色資料、非法的灰色資料、違法的黑色資料);涉及的關鍵點:

資料的維度定義;探針節點的選擇及採集方式(依據具體業務而定,一般無非是部署在資料產生者隨路式或者資料產生者必經路徑上蹲點式兩種,各有優劣);外購資料來源的選擇及價值識別(可信度等)。資料**兩種,移動式(某德地圖、某度地圖這一類)和定點式(測速攝像頭、監控攝像頭),假定都是未分析的原始資料。

2. 清洗入庫:對資料來源進行清洗及其他所需的預處理入庫。本文的重點,見正文。

3. 分析、給資料打標籤以用於後續的挖掘:基於業務需求選擇所需的字段並分析,比如哪些路段擁堵、擁堵程度如何。

4. 挖掘:這就看開腦洞的程度了,比如紅綠燈時長優化**、車輛流向優化(禁左、禁右、單行等)效果**這種相對簡單的的以及未來突發交通熱點**等等各種複雜的。

清洗水晶吊燈有什麼方式?水晶吊燈如何清洗

水晶珠的擦拭 擦珠時,一定要有綿軟布料沾上洗潔精稀釋的水,輕輕地在水晶珠的正背面同時擦拭 擦拭時不能捏住珠向下拉,以免扯斷珠串 保持燈體平衡 如果要把珠串全部拆下清潔,大型燈具要注意拆珠串時的燈體的平衡,不要拆完一邊再拆另一邊而造成燈體傾斜,導致燈體或外框變形 應當前後左右搭配著拆卸。擦拭支架配件 ...

清洗馬桶該注意什麼呢?為什麼?如何正確的清洗馬桶?

1.清潔馬桶之前,要給房間通風。開啟房間的所有窗戶,把放在馬桶水箱上的東西都移走。2.戴上家用橡膠手套。3.先用清水沖洗一遍馬桶,再開啟馬桶蓋。4.以環繞的手法在廁所內壁倒入潔廁劑,蓋上馬桶蓋浸泡幾分鐘。期間開始清理馬桶的外側。5.在馬桶的外側擦上消毒液,水箱 沖水按鈕 馬桶邊緣 馬桶墊圈,乙個地方...

專業清洗窗簾如何計價,清洗窗簾一般什麼價位

專業清洗窗簾的商家 1.首先派專業的人員上門檢視面 料材質。2.根據面料材質制定 專3.根據面料材質安排清屬洗時間 這樣可以降低清洗成本,相互的 4.提供免費上門早上拆下午安裝服務 一天服務完成,別墅或量大的客戶除外 重慶永川居易窗簾維護 18725728786 洗窗簾要看怎麼洗的,如果是拆卸下來,...