Noctis Lux

在高校工作，

笔记本 Surface Pro 11 ，发热小续航长。
办公室 NUC13 猛禽峡谷。家里 ROG NUC 。

出门极致便携，办公室极致性能，在家就用 ROG NUC 。开了 ToDesk 的会员，能随时连接办公室的电脑。

那最好还是退回汇编语言吧

61 真神，anne pro2d

只敢用 beta 。。。

anne pro2d

刚下单了一台，老板说已经停产了，货源很紧张

常用软件都更新到最新版的，不常用的基本就不管了

我其实感觉 61/68 键更好，更适合敲代码

直接猛禽峡谷

本科二本装啥呢？说句实在话，内地 985 的博士，比白菜还便宜，不值钱。

利益相关：港校毕业博士，即将入职 Top 985 。

neo buds pro

嘴上说的漂亮，轮到自己了：V2 的爹们，老婆跟人跑了，房子没我的名字，我每月还得还贷款，怎么办？

经典 XX 考验 XX

blue

这个时间点了，肯定等 pro9 了

@weiwoxinyou
@winglight2016
好像跟 jupyter 有关系。我用的是 vscode 和 jupyter interactive 去 print 数据，如果放在 CMD 里运行，是不会占用内存的。

完整代码如下：


def parse_and_remove(filename, path):
path_parts = path.split('/')
doc = iterparse(filename, ('start', 'end'))
# Skip the root element
next(doc)

tag_stack = []
elem_stack = []
for event, elem in doc:

if event == 'start':
tag_stack.append(elem.tag)
elem_stack.append(elem)
elif event == 'end':
if tag_stack == path_parts:
yield elem
elem.clear() ##这里加上 elem.clear()，内存占用几乎不变，可以完成任务；如果去掉的话，内存占用会越来越大直至 crash

try:
tag_stack.pop()
elem_stack.pop()
except IndexError:
pass


def count_stats(filepath, filename):
start = time.time()
print('\nStart processing file ', filepath)
data = parse_and_remove(filepath, 'Job')

results = []
count = 1

for job_node in data:
continue ##即使这里什么都不做，内存占用也会越来越大


print 的程序如主楼所示。内存占用越来越大直至 crash




谢谢二位

@winglight2016
@weiwoxinyou

@westoy 谢谢大佬，爬取 XML 文件的时候，也需要 append 到 list ，所以就需要手工清理一遍，也就是 elem.clear()。只有不输出的话，generator 相对于 list 的优势才是内存管理，我理解的对吧？