什么是Pandas?
Pandas的名称来自于面板数据（panel data）和Python数据分析（data analysis）.
Pandas是一个强大的分析结构化数据的工具集,基于NumPy构建,提供了 高级数据结构 和 数据操作工具,它是使Python成为强大而高效的数据分析环境的重要因素之一.
一个强大的分析和操作大型结构化数据集所需的工具集
基础是NumPy,提供了高性能矩阵的运算
提供了大量能够快速便捷地处理数据的函数和方法
应用于数据挖掘,数据分析
提供数据清洗功能
pandas官网: http://pandas.pydata.org
pandas的常用数据类型:
Series 一维,带标签数组DataFrame 二维,Series容器Series:
Series是一种类似于一维数组的 对象,由一组数据（各种NumPy数据类型）以及一组与之对应的索引 （数据标签）组成. 类似一维数组的对象 由数据和索引组成 索引(index)在左,数据(values)在右 索引是自动创建的Series创建:
In [1]: import pandas as pd In [2]: import string In [3]: import numpy as np In [4]: t = pd.Series(np.arange(10),index=list(string.ascii_uppercase[:10])) ——>指定索引创建 In [5]: t Out[5]: A 0 B 1 C 2 D 3 E 4 F 5 G 6 H 7 I 8 J 9 dtype: int64 In [6]: type(t) Out[6]: pandas.core.series.Series --------------------------------- In [7]: a = {string.ascii_uppercase[i]: i for i in range(10)} ——>通过字典推导式创建一个字典 In [8]: a Out[8]: {'A': 0, 'B': 1, 'C': 2, 'D': 3, 'E': 4, 'F': 5, 'G': 6, 'H': 7, 'I': 8, 'J': 9} In [9]: pd.Series(a) ——>通过字典创建一个Series,索引对应字典中的键 Out[9]: A 0 B 1 C 2 D 3 E 4 F 5 G 6 H 7 I 8 J 9 dtype: int64 In [10]: pd.Series(a,index=list(string.ascii_uppercase[5:15])) Out[10]: F 5.0 重新给字典指定其他的索引之后,如果能够对应上,就取其 G 6.0 值,如果不能,就为Nan H 7.0 I 8.0 J 9.0 K NaN L NaN M NaN N NaN O NaN dtype: float64 为什么类型为float呢? numpy中nan为float,pandas会 自动根据数据类更改series的dtype类型 如果要修改dtype类型,修改方法和numpy的方法一样 如: pd.Series(range(10)).astype(float)Series切片和索引:
In [15]: t Out[15]: A 0 B 1 C 2 D 3 E 4 F 5 G 6 H 7 I 8 J 9 dtype: int64 In [16]: t[2::2] # 切片操作 Out[16]: C 2 E 4 G 6 I 8 dtype: int64 In [17]: t[2] # 根据索引取值 Out[17]: 2 In [18]: t[[2,3,6]] # 取不连续的值 Out[18]: C 2 D 3 G 6 dtype: int64 In [19]: t[t>4] # 布尔索引 Out[19]: F 5 G 6 H 7 I 8 J 9 dtype: int64 In [20]: In [20]: t["F"] # 根据键取值 Out[20]: 5 In [22]: t[["A","F"]] # 取不连续的值 Out[22]: A 0 F 5 dtype: int64 切片:直接传入start end或者步长即可 索引: 一个的时候直接传入序号或者index,多个的时候传入序号或者index的列表Series的索引和值:
In [25]: t.index Out[25]: Index(['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J'], dtype='object') In [26]: t.values Out[26]: array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) In [27]: type(t.values) Out[27]: numpy.ndarray Series对象本质上由两个数组构成,一个数组构成对象的键(index,索引), 一个数组构成对象的值(values), 键——>值 ndarray的很多方法都可以运用于series类型,比如argmax, clip series具有where方法,但是结果和ndarray不同 如: In [30]: t.where(t>2) Out[30]: A NaN B NaN C NaN D 3.0 E 4.0 F 5.0 G 6.0 H 7.0 I 8.0 J 9.0 dtype: float64pandas读取外部数据:
我们的这组数据存在csv中,我们直接使用pd.read_csv即可 和我们想象的有些差别,我们以为他会是一个Series类型,但是他是一个DataFrame, 那么接下来我们就来了解这种数据类型 对于数据库比如mysql或者mongodb中数据我们如何使用呢？ 读取mysql: pd.read_sql(sql_sentence,connection) 读取mongodb: client = MongoClient() collection = client["douban"]["t1"] data = list(collection.find()) t1 = data[0] t1 = pd.Series(t1)DataFrame:
In [31]: t = pd.DataFrame(np.arange(12).reshape(3,4)) In [32]: t Out[32]: 0 1 2 3 0 0 1 2 3 1 4 5 6 7 2 8 9 10 11 DataFrame对象既有行索引,又有列索引 行索引,表明不同行,横向索引(竖着的索引),叫index,0轴,axis=0 列索引,表名不同列,纵向索引(横着的索引),叫columns,1轴,axis=1 In [35]: t = pd.DataFrame(np.arange(12).reshape(3,4),index=list("ABC"),columns=list("WXYZ")) In [36]: t Out[36]: W X Y Z A 0 1 2 3 B 4 5 6 7 C 8 9 10 11 向DataFrame中传入字典: In [37]: data = {"name":["xiaowang","xiaoli"],"age":[13,14],"id":[1001,1002]} In [38]: data Out[38]: {'name': ['xiaowang', 'xiaoli'], 'age': [13, 14], 'id': [1001, 1002]} In [39]: pd.DataFrame(data) Out[39]: name age id 0 xiaowang 13 1001 1 xiaoli 14 1002 这就意味着我们可以直接将mongodb中的数据传入到DataFrame中 列表里面套字典: In [46]: data = [{"age":18,"id":1001,"name":"aa"},{"name":"bb","id":1002}, ... {"name":"cc","age":16}] In [47]: data Out[47]: [{'age': 18, 'id': 1001, 'name': 'aa'}, {'name': 'bb', 'id': 1002}, {'name': 'cc', 'age': 16}] In [48]: pd.DataFrame(data) Out[48]: age id name 0 18.0 1001.0 aa 1 NaN 1002.0 bb 2 16.0 NaN ccDataFrame的基础属性:
df.shape # 行数列数 df.dtypes # 列数据类型 df.ndim # 数据维度 df.index # 行索引 df.columns # 列索引 df.values # 对象值,二维ndarray数组DataFrame整体情况查询:
df.head(3) # 显示头部几行,默认5行 df.tail(3) # 显示末尾几行,默认5行 df.info() # 相关信息概览:行数,列数,列索引,列非空值个数,列类型,列类型,内存占用 df.describe() # 快速综合统计结果:计数,均值,标准差,最大值,四分位数,最小值常用的统计描述方法:
方法 说明 count 非NA值的数量 describe 针对Series或各DataFrame列计算汇总统计 min、max 计算最小值和最大值 argmin、argmax 计算能够获取到最小值和最大值的索引位置（整数） idxmin、idxmax 计算能够获取到最小值和最大值的索引值 quantile 计算样本的分位数（0到1) sum 值的总和 mean 值的平均数 median 值的算术中位数（50%分位数) mad 根据平均值计算平均绝对离差 var 样本值的方差 std 样本值的标准差 skew 样本值的偏度（三阶矩) kurt 样本值的峰度（四阶矩) cumsum 样本值的累计和 cummin、cummax 样本值的累计最大值和累计最小值 cumprod 样本值的累计积 diff 计算一阶差分（对时间序列很有用) pct_change 计算百分数变化排序:
# by指定排序的字段,ascending默认为True,升序. df.sort_values(by="Count_AnimalName",ascending=False)取行或者列:
df_sorted = df.sort_values(by="Count_AnimalName") 选择行 df_sorted[:100] 我们具体要选择某一列该怎么选择呢？ df["Count_AnimalName "] 我们要同时选择行和列改怎么办？ df[:100][" Count_AnimalName "]pandas之loc:
df.loc 通过标签索引行数据. In [50]: t Out[50]: W X Y Z A 0 1 2 3 B 4 5 6 7 C 8 9 10 11 In [51]: t.loc["A","W"] # 取某个指定元素 Out[51]: 0 In [52]: t.loc["A",["W","Z"]] # 取一行和不连续多列 Out[52]: W 0 Z 3 Name: A, dtype: int64 In [53]: type(t.loc[["A"],["W","Z"]]) # 类型为DataFrame Out[53]: pandas.core.frame.DataFrame In [54]: t.loc[["A","C"],["W","Z"]] # 取不连续的多行和多列 Out[54]: W Z A 0 3 C 8 11 In [55]: t.loc["A":,["W","Z"]] # 取多行和多列("A"及以后的行) Out[55]: W Z A 0 3 B 4 7 C 8 11 In [56]: t.loc["A":"C",["W","Z"]] # 取多行和多列,("A"到"C"行) Out[56]: W Z A 0 3 B 4 7 C 8 11 冒号在loc里面是闭合的,即会选择到冒号后面的数据pandas之iloc:
df.iloc 通过位置获取行数据 In [57]: t Out[57]: W X Y Z A 0 1 2 3 B 4 5 6 7 C 8 9 10 11 In [58]: t.iloc[1:3,[2,3]] Out[58]: Y Z B 6 7 C 10 11 In [59]: t.iloc[1:3,1:3] Out[59]: X Y B 5 6 C 9 10 In [60]: t.loc["A","Y"]=100 # 更改数据 In [61]: t Out[61]: W X Y Z A 0 1 100 3 B 4 5 6 7 C 8 9 10 11 In [62]: t.iloc[1:2,0:2] = np.nan # 此处panads会自动转换类型 In [63]: t Out[63]: W X Y Z A 0.0 1.0 100 3 B NaN NaN 6 7 C 8.0 9.0 10 11pandas之布尔索引:
在给定的数据集中:假如我们想找到所有的使用次数超过800的狗的名字,应该怎么选择？ 数据来源：https://www.kaggle.com/new-york-city/nyc-dog-names/data In [67]: df = pd.read_csv("./笔记/python/dogNames2.csv") In [68]: df[800<df["Count_AnimalName"]] Out[68]: Row_Labels Count_AnimalName 1156 BELLA 1195 2660 CHARLIE 856 3251 COCO 852 9140 MAX 1153 12368 ROCKY 823 回到之前狗的名字的问题上,假如我们想找到所有的使用次数超过700并且名字的字符串的长度大于4的狗的名字, 应该怎么选择？ In [71]: df[(df["Row_Labels"].str.len()>4) & (df["Count_AnimalName"]>700)] Out[71]: Row_Labels Count_AnimalName 1156 BELLA 1195 2660 CHARLIE 856 8552 LUCKY 723 12368 ROCKY 823 ------------------------------------ &表示且,|表示或 注意: 不同的条件直接需要用括号括起来pandas之str字符串方法:
方法 说明 cat 实现元素级的字符串连接操作,可指定分隔符 contains 返回表示各字符串是否含有指定模式的布尔型数组 count 模式的出现次数 endswith、startswith 相当于对各个元素执行x.endswith(pattern)或x.startswith(pattern) findall 计算各字符串的模式列表 get 获取各元素的第i个字符 join 根据指定的分隔符将Series中各元素的字符串连接起来 len 计算各字符串的长度 lower、upper 转换大小写.相当于对各个元素执行x.lower()或x.upper() match 根据指定的正则表达式对各个元素执行re.match pad 在字符串的左边、右边或左右两边添加空白符 center 相当于pad(side='both') repeat 重复值.例如,s.str.repeat(3)相当于对各个字符串执行x*3 replace 用指定字符串替换找到的模式 slice 对Series中的各个字符串进行子串截取 split 根据分隔符或正则表达式对字符串进行拆分 strip、rstrip.lstrip 去除空白符,包括换行符.相当于对各个元素执行x.strip(),x.rstrip(),x.lstrip() 例: df["Row_Labels"].str.len()缺失数据的处理:
我们的数据缺失通常有两种情况： 一种就是空,None等,在pandas是NaN(和np.nan一样) 另一种是我们让其为0 对于NaN的数据,在numpy中我们是如何处理的？ 在pandas中我们处理起来非常容易 判断数据是否为NaN：pd.isnull(df),pd.notnull(df) 处理方式1：删除NaN所在的行列dropna (axis=0, how='any', inplace=False) 处理方式2：填充数据,t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0) 处理为0的数据：t[t==0]=np.nan 当然并不是每次为0的数据都需要处理 计算平均值等情况,nan是不参与计算的,但是0会 ------------------------------- In [76]: t2 Out[76]: age id name 0 18.0 1001.0 aa 1 NaN 1002.0 bb 2 16.0 NaN cc In [77]: pd.isnull(t2) # NaN的位置显示为True Out[77]: age id name 0 False False False 1 True False False 2 False True False In [78]: pd.notnull(t2) # 非NaN的位置显示为True Out[78]: age id name 0 True True True 1 False True True 2 True False True In [81]: t2[pd.notnull(t2["age"])] # 显示年龄不为NaN的行 Out[81]: age id name 0 18.0 1001.0 aa 2 16.0 NaN cc In [82]: t2.dropna(axis=0) # 去除NaN所在的行 Out[82]: age id name 0 18.0 1001.0 aa In [83]: t2.dropna(axis=0,how="all") # "all"代表这一行全部为NaN的时候才去除这一行 Out[83]: age id name 0 18.0 1001.0 aa 1 NaN 1002.0 bb 2 16.0 NaN cc In [84]: t2.dropna(axis=0,how="any") # how参数默认的值为"any" Out[84]: age id name 0 18.0 1001.0 aa In [87]: t2.dropna(axis=0,how="any",inplace=True) # inplace参数代表在原数据的基础上去除,默认返回去除后的数据 In [88]: t2 Out[88]: age id name 0 18.0 1001.0 aa In [91]: t2 Out[91]: age id name 0 18.0 1001.0 aa 1 NaN 1002.0 bb 2 16.0 NaN cc In [92]: t2.fillna(0) # 将NaN的地方填充为0 Out[92]: age id name 0 18.0 1001.0 aa 1 0.0 1002.0 bb 2 16.0 0.0 cc In [93]: t2.fillna(t2.mean()) # 将NaN的地方填充所在列的均值 Out[93]: age id name 0 18.0 1001.0 aa 1 17.0 1002.0 bb 2 16.0 1001.5 cc In [94]: t2["age"] = t2.fillna(t2["age"].mean()) # 指定填充”age“列的NaN In [95]: t2 Out[95]: age id name 0 18 1001.0 aa 1 17 1002.0 bb 2 16 NaN cc -------------------------------pandas常用统计方法:
假设现在我们有一组从2006年到2016年1000部最流行的电影数据,我们想知道这些电影数据中评分的平均分,导演的人数等信息,我们应该怎么获取？
数据来源：https://www.kaggle.com/damianpanek/sunday-eda/data
数据样式:
Rank, Title, Genre, Description, Director, Actors, Year, Runtime (Minutes),Rating,Votes,Revenue (Millions),Metascore 1,Guardians of the Galaxy,"Action,Adventure,Sci-Fi",A group of intergalactic criminals are forced to work together to stop a fanatical warrior from taking control of the universe.,James Gunn,"Chris Pratt, Vin Diesel, Bradley Cooper, Zoe Saldana",2016, 108, 7.2, 60545, 270.32, 59代码:
import pandas as pd path = "./IMDB-Movie-Data.csv" # 读取数据 df = pd.read_csv(path) # 数据的基本信息 print(df.info()) # 取第一行数据类观察数据 print(df.head(1)) # 求均值 print(df["Rating"].mean()) # 提取导游数据转换成列表,在转换成集合去掉重复的,然后求长度即可 print(len(set(df["Director"].tolist()))) print(len(df["Director"].unique())) # 提取演员信息,利用列表推导式的双重for将双重列表装换成单层 temp_list = df["Actors"].str.split(", ").tolist() temp_list = [j for i in temp_list for j in i] print(len(set(temp_list))) # 电影时长的最大值和最小值以及中位数 print(df["Runtime (Minutes)"].max()) print(df["Runtime (Minutes)"].argmax()) print(df["Runtime (Minutes)"].min()) print(df["Runtime (Minutes)"].argmin()) print(df["Runtime (Minutes)"].median()) 对于这一组电影数据，如果我们想rating，runtime的分布情况，应该如何呈现数据？runtime代码:
import pandas as pd from matplotlib import pyplot as plt path = "./IMDB-Movie-Data.csv" # 准备数据 df = pd.read_csv(path) # 提取 runtime_data = df["Runtime (Minutes)"].values max_runtime = runtime_data.max() min_runtime = runtime_data.min() # 组数 d = 5 bin_nums = (max_runtime - min_runtime)//d # 设置图片大小 plt.figure(figsize=(20,8),dpi=80) # 选择直方图 plt.hist(runtime_data,bin_nums) # 设置刻度 x_ticks = [i for i in range(min_runtime,max_runtime+d,d)] plt.xticks(x_ticks) # 添加描述 plt.xlabel("Runtime (Minutes)") plt.ylabel("total numbers") # 显示 plt.show()效果图:
rating代码:
import pandas as pd from matplotlib import pyplot as plt # 准备数据 df = pd.read_csv("./IMDB-Movie-Data.csv") # print(df.head(1)) # print(df.info()) # 提取数据 rating_info = df["Rating"] data_list = rating_info.values # 计算最大值和最小值 max_data = data_list.max() min_data = data_list.min() # print(max_data,min_data) # d = 20 # num_bin = (max_data-min_data)//0.5 # 设置不等距离的刻度 num_bin = [1.9,3.5] i = 3.5 # 循环添加刻度 while i<=9.0: i += 0.5 num_bin.append(i) print(num_bin) # 设置图片大小 plt.figure(figsize=(20,8),dpi=80) # 画直方图 plt.hist(data_list,num_bin) # 设置x轴刻度,使其与hist传入的num_bin列表对应 plt.xticks(num_bin) # 画图 plt.show()效果图:
对于这一组电影数据,如果我们希望统计电影分类(genre)的情况,应该如何处理数据？思路：重新构造一个全为0的数组,列名为分类,如果某一条数据中分类出现过,就让0变为1代码:
from matplotlib import pyplot as plt import numpy as np import pandas as pd path = "./IMDB-Movie-Data.csv" # 准备数据 df = pd.read_csv(path) # print(df["Genre"].head(3)) # 提取 temp_list = df["Genre"].str.split(",").tolist() # 获取一个含有每种分类的列表 gen_list = list(set([j for i in temp_list for j in i])) # 构造一个全为0的数组,(colums对应每种分类-上标-列标) zero_df = pd.DataFrame(np.zeros((df.shape[0],len(gen_list))),columns=gen_list) # 向数组里面填充数据 for i in range(df.shape[0]): # zero_df.loc[0,["Sci-fi","Mucical"]] = 1 zero_df.loc[i,temp_list[i]] = 1 # 求出每一列的和(即每一种分类) toal = zero_df.sum(axis=0) # 排序 toal = toal.sort_values() # 设置图片大小 plt.figure(figsize=(20,8),dpi=80) # 画条形图 plt.bar(range(len(toal)),toal,width=0.3,color="orange") # 设置x刻度 index返回的是行索引的数组 plt.xticks(range(len(toal)),toal.index) # 显示图片 plt.show()效果图:
