这两天在测试过程中,遇到这样的问题:
数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。
比如说,这样的数据
需要对AskPrice值相同对应的AskQuantity 统计出来。
直接上脚本 :
import pandas as pd import csv df=pd.read_csv('D:\test\orderBook.csv') df_sum = df.groupby('AskPrice')['AskQuantity'].sum() df_sum.to_csv('D:\test\orderBook2.csv')
然后运行得到:
这对于大数据量的处理特别方便。
补充知识:python处理csv文件(场景分类)
最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。
import numpy as np import os import xlrd import pandas as pd import shutil list_0 = [] list_file = [] flag = [] filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data') af = pd.read_excel('19.xlsx') ww = af.values.tolist() for i in ww: for j in i: list_0.append(j) for name in filename: list_file.append(name[0:-4]) for name in list_file: if name in list_0: flag.append(True) else: flag.append(False) for name in list_file: if flag[list_file.index(name)]: oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg' newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg' shutil.copyfile(oldname,newname)
unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte
1:升级pip python -m pip install --upgrade pip
2:改python文件内容:找到lib\site-packages\pip\compat\__init__.py
return s.decode('utf-8')
将‘utf-8'改成'gbk'
以上这篇python 实现读取csv数据,分类求和 再写进 csv就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。
更新日志
- 群星.2003-存为爱2CD【环球】【WAV+CUE】
- 韩磊《试音天碟》高清音频[WAV+CUE]
- 邓涛《寂寞蒲公英(黑胶CD)》[WAV]
- 江志丰.2011-爱你的理由【豪记】【WAV+CUE
- 群星《传承-太平洋影音45周年纪念版 (CD2)》[320K/MP3][140.01MB]
- 群星《传承-太平洋影音45周年纪念版 (CD2)》[FLAC/分轨][293.29MB]
- 首首经典《滚石红人堂I 一人一首成名曲 4CD》[WAV+CUE][2.5G]
- s14上单t0梯度怎么排名 s14世界赛上单t0梯度排行榜
- tes目前进了几次s赛 LPL队伍tes参加全球总决赛次数总览
- 英雄联盟巅峰礼赠什么时候开始 2024巅峰礼赠活动时间介绍
- 冯骥发文谈睡觉重要性 网友打趣:求求你先做DLC
- 博主惊叹《少女前线2》万圣节大雷皮肤:这真能过审吗?
- 《生化危机8》夫人比基尼Mod再引骂战:夸张身材有错吗?
- 江蕙.1994-悲情歌声【点将】【WAV+CUE】
- 戴娆.2006-绽放【易柏文化】【WAV+CUE】