首页 > 其他分享> 文章详细

数据清洗（三）----- 清洗PDF文件中的数据

2019-01-30 10:04:46 阅读：417 来源： 互联网

标签：提取 doc import PDF 清洗 pdf 数据 page

可移植文档格式（PDF）存储的文件相对较复杂，因为它是以二进制的形式存储的，格式固定，不可修改。使用起来很方便，但是里面的信息相对较难提取，下面将介绍一些方式提取FDF中的信息。

1. 最简单的方式----复制

有pdf文件里面的内容可以复制出来再整理，这对于需要从PDF中拿少量信息来说十分便利；但是数据比较多时这样做的效率低下，而且有的PDF根本无法复制，因此这种方式局限性很大。

2. pdfMiner3k

这个python的程序包使我们可以从PDF中提取出需要的信息。它自带的 pdf2txt 和 dumpPDF 工具可以提取并输出相应的信息。

比如下面的这个例子：（别人写的，我这里只是借用说明一下）

import sys
import importlib
importlib.reload(sys)

from pdfminer.pdfparser import PDFParser,PDFDocument
from pdfminer.pdfinterp import PDFResourceManager, PDFPageInterpreter
from pdfminer.converter import PDFPageAggregator
from pdfminer.layout import LTTextBoxHorizontal,LAParams
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed

'''
 解析pdf 文本，保存到txt文件中
'''
path = r'../../data/pdf/阿里巴巴Java开发规范手册.pdf'
def parse():
    fp = open(path, 'rb') # 以二进制读模式打开
    #用文件对象来创建一个pdf文档分析器
    praser = PDFParser(fp)
    # 创建一个PDF文档
    doc = PDFDocument()
    # 连接分析器 与文档对象
    praser.set_document(doc)
    doc.set_parser(praser)

    # 提供初始化密码
    # 如果没有密码 就创建一个空的字符串
    doc.initialize()

    # 检测文档是否提供txt转换，不提供就忽略
    if not doc.is_extractable:
        raise PDFTextExtractionNotAllowed
    else:
        # 创建PDf 资源管理器 来管理共享资源
        rsrcmgr = PDFResourceManager()
        # 创建一个PDF设备对象
        laparams = LAParams()
        device = PDFPageAggregator(rsrcmgr, laparams=laparams)
        # 创建一个PDF解释器对象
        interpreter = PDFPageInterpreter(rsrcmgr, device)

        # 循环遍历列表，每次处理一个page的内容
        for page in doc.get_pages(): # doc.get_pages() 获取page列表
            interpreter.process_page(page)
            # 接受该页面的LTPage对象
            layout = device.get_result()
            # 这里layout是一个LTPage对象 里面存放着 这个page解析出的各种对象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要获取文本就获得对象的text属性，
            for x in layout:
                if (isinstance(x, LTTextBoxHorizontal)):
                    with open(r'../../data/pdf/1.txt', 'a') as f:
                        results = x.get_text()
                        print(results)
                        f.write(results + '\n')

if __name__ == '__main__':
    parse()

原文：https://blog.csdn.net/u011389474/article/details/60139786

pdfMiner3k在提取行信息的PDF时比较规整，但在提取表格数据上表现较糟糕。下面将要介绍的工具包在提取PDF中的表格信息时比较好用。

3. Tabula

该工具包专门用来提取PDF表格数据的，同时支持PDF导出为CSV、Excel格式。它是一个基于JAVA的程序，因此如果要在python上使用的话需要这么安装：pip install tabula-py；

tabula-py依赖库包括java、pandas、numpy，所以需保证运行环境中安装了这些库。

比如有一个PDF文件中有一个企业信息的表格，用这种办法将信息提取出来：

import tabula

df = tabula.read_pdf("E:\\test\\cb7b5.pdf", encoding='gbk', pages='all')
print(df)
for indexs in df.index:
    # 遍历打印企业名称
    print(df.loc[indexs].values[1].strip())

4. pdf2htmlEX

这个包的作用是将pdf格式转换成html格式；

import subprocess

subprocess.call('"D:\Program Files (x86)\pdf2htmlEX-win32-0.14.6-upx-with-poppler-data\pdf2htmlEX.exe"  
--dest-dir E:\\test\extract\\2017gq\\out  E:\\test\extractb7b5.pdf', shell=True)

整体转换的效果非常不错，但是转换后的标签没有特点，使数据的提取变得非常困难。

5. 杀手锏

如果上面的所有办法效果都不太好的话，可以考虑使用付费的软件，因为很多工具可以将PDF转换为其它格式的文件。

标签：提取,doc,import,PDF,清洗,pdf,数据,page
来源： https://blog.csdn.net/Coding___Man/article/details/86527756