标签：python list algorithm iteration data-processing
我一直在研究一个问题,我从大输出.txt文件中获取数据,现在必须以.csv的形式解析和重组某些值.
我已经编写了一个脚本,根据它的数据类型(航班ID,纬度,经度等)将所有数据输入到列中的.csv中,但它的顺序不正确.所有值都应根据相同的航班ID进行分组,从最早的时间戳到最新的时间戳.幸运的是,我的.csv具有正确时间顺序的所有值,但未根据航班ID进行适当组合.
要清除我的描述,它现在看起来像这样,
(“时间x”只是为了说明)：
20110117559515, , , , , , , , ,2446,6720,370,42 (Time 0)
20110117559572, , , , , , , , ,2390,6274,410,54 (Time 0)
20110117559574, , , , , , , , ,2391,6284,390,54 (Time 0)
20110117559587, , , , , , , , ,2385,6273,390,54 (Time 0)
20110117559588, , , , , , , , ,2816,6847,250,32 (Time 0)
...
它应该像这样订购：
20110117559515, , , , , , , , ,2446,6720,370,42 (Time 0)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time 1)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time 2)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time 3)
20110117559515, , , , , , , , ,24xx,67xx,3xx,42 (Time N)
20110117559572, , , , , , , , ,2390,6274,410,54 (Time 0)
20110117559572, , , , , , , , ,23xx,62xx,4xx,54 (Time 1)
... and so on
.csv I输出中有130万行,以简化操作.我99％有信心我写的下一个脚本中的逻辑来修复排序是正确的,但我担心这是非常低效的.我最后添加了一个进度条,看看它是否取得了进展,不幸的是这就是我所看到的：
这是处理运算的代码(如果你愿意,可以跳到问题区域)：
## a class I wrote to handle the huge .csv's ##
from BIGASSCSVParser import BIGASSCSVParser
import collections
x = open('newtrajectory.csv') #file to be reordered
linetlist = []
tidict = {}
'' To save braincells I stored all the required values
of each line into a dictionary of tuples.
Index: Tuple ''
for line in x:
y = line.replace(',',' ')
y = y.split()
tup = (y[0],y[1],y[2],y[3],y[4])
linetlist.append(tup)
for k,v in enumerate(linetlist):
tidict[k] = v
x.close()
trj = BIGASSCSVParser('newtrajectory.csv')
uniquelFIDs = []
z = trj.column(0) # List of out of order Flight ID's
for i in z: # like in the example above
if i in uniquelFIDs:
continue
else:
uniquelFIDs.append(i) # Create list of unique FID's to refer to later
queue = []
p = collections.OrderedDict()
for k,v in enumerate(trj.column(0)):
p[k] = v
到目前为止一切都很好,但是在下一个部分,我的计算机要么窒息,要么我的代码很糟糕：
for k in uniquelFIDs:
list = [i for i, x in p.items() if x == k]
queue.extend(list)
我们的想法是,对于每个唯一值,按顺序迭代130万个值并按顺序返回每个匹配项的索引,并将这些值附加到列表中.之后,我只是要读取大量索引列表,并将该行数据的内容写入另一个.csv文件.塔达！可能非常低效.
这有什么不对？有没有更有效的方法来解决这个问题？我的代码有缺陷,还是我只是对我的笔记本电脑残忍？
更新：
我发现,随着我正在处理的数据量,它需要9-10个小时.我有一半正确吐出4.5.我可以暂时解决一夜之间的危机,但下次可能会使用数据库或其他语言.如果我知道我提前得到了什么,我会的,哈哈.
调整我的SSD的睡眠设置后,它只需要3个小时来处理.
解决方法:
如果CSV文件适合您的RAM(例如小于2GB),那么您可以阅读整个内容并对其进行排序：
data = list(csv.reader(fn))
data.sort(key=lambda line:line[0])
csv.writer(outfn).writerows(data)
如果你不捶打,这不应该花费相当长的时间.请注意,.sort是一种稳定的排序,因此当密钥相等时,它将保留文件的时间顺序.
如果它不适合RAM,你可能想要做一些有点聪明的事情.例如,您可以存储每行的文件偏移量,以及行中的必要信息(时间戳和航班ID),然后对这些信息进行排序,并使用行偏移信息写入输出文件.
标签：python,list,algorithm,iteration,data-processing 来源： https://codeday.me/bug/20190901/1781347.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。