私信我或關注猿來如此呀公衆号，回複：數據學習，免費領取學習資源包

數據分析過程中最頭疼也是工作量最大的部分算是探索和清洗了，探索的目的是了解數據，了解數據背後隐藏的規律，清洗的目的則是為了讓幹淨的數據進入分析或建模的下一個環節。作者将通過三篇文章，詳細講解工作中常規的數據清洗方法， 包括數據類型的轉換，重複數據的處理，缺失值的處理以及異常數據的識别和處理 。這是第一篇文章，主要分享的内容包括，文中涉及到的數據可以至文末查看下載鍊接：

數據類型的轉換

冗餘數據的識别和處理

數據類型的判斷和轉換

如下表所示，為某公司用戶的個人信息和交易數據，涉及的字段為用戶id、性别、年齡、受教育水平、交易金額和交易日期。從表面上看，似乎沒有看出數據背後可能存在的問題，那接下來就将其讀入到Python中，并通過探索的方式發現數據中的問題。

讀取數據，以及查看數據規模、查看數據中各變量的數據類型的代碼如下：

# 導入第三方包 import pandas as pd # 讀入外部數據 data3 = pd.read_excel(io=r'C:UsersAdministratorDesktopdatasdata3.xlsx') # 查看數據的規模 data3.shape out: (3000, 6) # 查看表中各變量的數據類型 # data3.dtypes out:

表中各變量的數據類型如表下表所示：

上述代碼利用shape“方法”返回了數據集的規模，即該數據包含3000行6列；通過dtypes“方法”則返回了數據集中各變量的數據類型——除id變量和age變量為數值型，其餘變量均為字符型。直觀上能夠感受到一點問題，即數據類型不對，例如用戶id應該為字符型，消費金額custom_amt為數值型，訂單日期為日期型。如果發現數據類型不對，如何借助于Python工具實現數據類型的轉換呢？可參照如下代碼的實現。

# 數值型轉字符型 data3['id'] = data3['id'].astype(str) # 字符型轉數值型 data3['custom_amt'] = data3['custom_amt'].str[1:].astype(float) # 字符型轉日期型 data3['order_date'] = pd.to_datetime(data3['order_date'], format = '%Y年%m月%d日') # 重新查看數據集的各變量類型 data3.dtypes out:

這些數據經過處理後，各個字段的數據類型如下表所示：

如上結果所示，三個變量全都轉換成了各自所期望的數據類型。astype“方法”用于數據類型的強制轉換，可選擇的常用轉換類型包括str（表示字符型）、float（表示浮點型）和int（表示整型）。由于消費金額custom_amt變量中的值包含人民币符号“￥”，所以在數據類型轉換之前必須将其删除（通過字符串的切片方法删除，[1:]表示從字符串的第二個元素開始截斷）。對于字符轉日期問題，推薦使用更加靈活的to_datetime函數，因為它在format參數的調節下，可以識别任意格式的字符型日期值。

需要注意的是，Python中的函數有兩種表現形式，一種是常規理解下的函數（語法為func(parameters)，如to_datetime函數），另一種則是“方法”（語法為obj.func(parameters)，如dtypes和astype“方法”）。兩者的區别在于 “方法”是針對特定對象的函數（即該“方法”隻能用在某個固定類型的對象上），而函數并沒有這方面的限制。

基于如上類型的轉換結果，最後浏覽一下數據的展現形式：

# 預覽數據的前5行 data3.head()

冗餘數據的判斷和處理

如上過程是對數據中各變量類型的判斷和轉換，除此還需要監控表中是否存在“髒”數據，如冗餘的重複觀測和缺失值等。可以通過duplicated“方法”進行 “髒”數據的識别和處理。仍然對上邊的data3數據為例進行操作，具體代碼如下所示。

# 判斷數據中是否存在重複觀測 data3.duplicated().any() out: False

如上結果返回的是False，說明該數據集中并不存在重複觀測。假如讀者利用如上的代碼在數據集中發現了重複觀測，可以使用drop_duplicates“方法”将冗餘信息删除。

需要說明的是，在使用duplicated“方法”對數據行作重複性判斷時，會返回一個與原數據行數相同的序列（如果數據行沒有重複，則對應False，否則對應True），為了得到最終的判斷結果，需要再使用any“方法”（即序列中隻要存在一個True，則返回True）。

duplicated“方法”和drop_duplicates“方法”都有一個非常重要的參數，就是subset。默認情況下不設置該參數時，表示對數據的所有列進行重複性判斷；如果需要按指定的變量做數據的重複性判斷時，就可以使用該參數指定具體的變量列表。舉例如下：

# 構造數據 df = pd.DataFrame(dict(name = ['張三','李四','王二','張三','趙五','丁一','王二'], gender = ['男','男','女','男','女','女','男'], age = [29,25,27,29,21,22,27], income = [15600,14000,18500,15600,10500,18000,13000], edu = ['本科','本科','碩士','本科','大專','本科','碩士'])) # 查看數據 df

目測有兩條數據完全一樣，就是用戶張三，如果直接使用drop_duplicates“方法”，而不做任何參數的修改時，将會删除第二次出現的用戶張三。代碼如下：

# 默認情況下，對數據的所有變量進行判斷 df.drop_duplicates()

假設在數據清洗中，用戶的姓名和年齡相同就認為是重複數據，那麼該如何基于這兩個變量進行重複值的删除呢？此時就需要使用subset參數了，代碼如下：

df.drop_duplicates(subset=['name','age'])

需要注意的是，使用drop_duplicates“方法”删除重複數據，并不能直接影響到原始數據，即原始數據中還是存在重複觀測的。如需使drop_duplicates“方法”的删除功能作用在原始數據中，必須将inplace參數設置為True。

來源網絡，侵權删除

私信我或關注猿來如此呀公衆号，回複：數據學習，免費領取學習資源包

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部