数据预处理

Pandas

train = pd.read_csv("*******************.csv",head=0)

你听我解释：从csv文件中读取到了数据，并将他们存入了dataframe中。我们只需要调用read_csv函数并将csv文件的路径作为函数参数即可。header关键字告诉Pandas这些数据是否有列名，在哪里。如果没有列名，你可以将其置为None。Pandas非常智能，所以你可以省略这一关键字。

train.head(5)

train.tail(4)

len(train) # 获得数据行数

train.shape # 维度

train.info() # 数据表基本信息（维度、列名称、数据格式、所占空间等）

train.dtypes # 每一列数据的格式

train[‘B’].dtype # 某一列格式

train.isnull() # 查看某一列空值

train[‘B’].unique() # 查看某一列的唯一值

train.values #　查看数据表的值

train.columns　#　查看列名称

train.describe()

你听我解释：快速查看前5行数据,后4行数据

train.B # B为列明，返回一个series

train.B > 100 # >100相应位置为True 否则为False

train[(train.B > 90 ) & (train.B <100)] # 同上

train[(train.C.str.start_with("magic")] # 字符串情况

train.fillna(value=0)

train[‘B’].fillna(train[‘B’].mean())

train[‘B’]=train[‘B’].map(str.strip)

train[‘B’]=train[‘B’].str.lower()

train[‘B’].astype(‘int’)

train.rename(columns={‘B’: ‘C’})

train[‘B’].drop_duplicates()

train[‘B’].drop_duplicates(keep=’last’)

train[‘B’].replace(‘bb’, ‘bbb’)

对于该属性的缺失值处理：方法一，默认填充值的范围[(mean - std) ,(mean + std)]。方法二，将缺失的Age当做label,将其他列的属性当做特征，通过已有的Age的记录训练模型，来预测缺失的Age值。方法三：缺失数极小，所以这里考虑使用该属性最多的值填充。

对该连续型数据进行处理：常用的方法有两种，方法一，等距离划分。方法二，通过卡方检验/信息增益/GINI系数寻找差异较大的分裂点。
 

def 函数名(B):

return 街上最靓的仔

train["新列"] = train.B.apply(函数名)

你听我解释：使用apply的方法从旧的列中生成新的列，对整个数据集应用某个函数，可以使用dataset.applymap()

我不听我不听：匿名函数

train.groupby(train.B // 10 * 10).max()

train.unstack(0)

train_inner=pd.merge(df,df1,how='inner')

train_left=pd.merge(df,df1,how='left')

train_right=pd.merge(df,df1,how='right')

train_outer=pd.merge(df,df1,how='outer')

train_result = train.append(train2)

train_result = train_left.join(train_right, on='key')

pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,

keys=None, levels=None, names=None, verify_integrity=False,

copy=True)

train.set_index(‘B’)

train.sort_values(by=[‘B’])

train.sort_index()

train[‘B’] = np.where(train[‘B’] > 3000,’hi’,’ih’)

train.loc[(train[‘B’] == ‘hi’) & (df_inner[‘B’] >= 4000), ‘C’]=1

train.loc[3]

train.iloc[0:5]

train.reset_index()

train=train.set_index(‘B’)

train[:’2013-01-04’]

train.iloc[:3,:2]

train.iloc[[0,2,5],[4,5]]

train.ix[:’2013-01-03’,:4]

train[‘city’].isin([‘beijing’])

train.loc[df_inner[‘city’].isin([‘beijing’,’shanghai’])]

pd.DataFrame(BBBB.str[:3])

train.query(‘city == [“beijing”, “shanghai”]’)

train.query(‘city == [“beijing”, “shanghai”]’).price.sum()

train.groupby(‘city’).count()

train.groupby(‘city’)[‘id’].count()

train.groupby([‘city’,’size’])[‘id’].count()

train.groupby(‘city’)[‘price’].agg([len,np.sum, np.mean])

train.sample(n=3)

weights = [0, 0, 0, 0, 0.5, 0.5]

train.sample(n=2, weights=weights)

train.sample(n=6, replace=False)

train.sample(n=6, replace=True)

train.describe().round(2).T

train[‘price’].std()

trainr[‘price’].cov(df_inner[‘m-point’])

train.cov()

train[‘price’].corr(df_inner[‘m-point’])

train.corr()

train.to_excel(‘excel_to_python.xlsx’, sheet_name=’abc’)

train.to_csv(‘excel_to_python.csv’)

相关知识

iris鸢尾花数据集最全数据分析写在前面本文介绍数据预处理
图像分类之花卉图像分类（二）数据预处理代码
Keras花卉分类全流程（预处理+训练+预测）
切花贮运前预处理措施
O2/CO2气调预处理对鲜切双孢蘑菇愈伤的影响机制研究
机器学习之路：经典的鸢尾花数据集
切花贮运前的预处理措施
空气质量检测数据的处理与分析方法
【时间序列数据季节性分析与调整】： R实现
YOLO识别病虫害数据集

网址: 数据预处理 https://www.huajiangbk.com/newsview1094530.html