标签：lxml python

我正在使用lxml etree.parse解析一个巨大的XML文件(大约65MB-300MB).
   当我运行包含以下功能的独立python脚本时,出现内存分配失败：

Error:

     Memory allocation failed : xmlSAX2Characters, line 5350155, column 16

部分功能代码：

def getID():
        try:
            from lxml import etree
            xml = etree.parse(<xml_file>)  # here is where the failure occurs
            for element in xml.iter():
                   ...
                   result = <formed by concatenating element texts>
            return result
        except Exception, ex:
            <handle exception>

奇怪的是,当我在IDLE上输入相同的函数并测试了相同的XML文件时,我没有遇到任何MemoryAllocation错误.

关于这个问题有什么想法吗？提前致谢.

解决方法:

我将改用iterative parser解析文档,对完成的任何元素调用.clear()；这样,您就不必一次将整个文档加载到内存中.

您可以将迭代解析器限制为仅对您感兴趣的标记.如果您只想解析< person>标签,这样告诉您的解析器：

for _, element in etree.iterparse(input, tag='person'):
    # process your person data
    element.clear()

通过清除循环中的元素,可以将其从内存中释放出来.

标签：lxml,python
来源： https://codeday.me/bug/20191201/2079468.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。