原由:由于需要修改的csv文件太多,所以写了个小脚本来执行,不想手工操作太费时间了。
场景:程序需要读取csv文件的字段,来进行报告生成,但由于程序上缺少判断,所以需要在csv文件中修改某一列的数据。
代码如下:
1 import pandas as pd 2 import os 3 # 获取文件名 4 file_path = r'D:\测试文档\备份文件--教育部\快速分析\测试数据信息库\2021' 5 file_name = os.listdir(file_path) 6 print(file_name) 7 8 for file_name in file_name: 9 # 分析并读取csv文件数据 10 df = pd.read_csv(r'D:\测试文档\备份文件--教育部\快速分析\测试数据信息库\2021\{0}'.format(file_name), encoding='gbk') 11 # 修改指定列的数据,fillna只填充缺失值 12 df['KSLXDM'] = df['KSLXDM'].fillna(1, inplace=False) 13 # 写入csv文件 14 df.to_csv(r'D:\测试文档\备份文件--教育部\快速分析\测试数据信息库\2021\{0}'.format(file_name), index=False) 15 print(file_name) 16 print('next>>>')
总结:
pandas是一个强大的数据分析库,对文件操作太友好了。nice