标签:结构化 抽取 DeepDive 图谱 知识 deepdive 数据 第三方
DeepKE
DeepKE 是一个基于深度学习的开源中文知识图谱抽取框架,支持低资源、长篇章的知识抽取工具,支持命名实体识别、关系抽取和属性抽取功能。
- DeepKE为三个知识抽取功能(命名实体识别、关系抽取和属性抽取)设计了一个统一的框架
- 可以在不同场景下实现不同功能。比如,可以在标准全监督、低资源少样本和文档级设定下进行关系抽取
- 每一个应用场景由三个部分组成:Data部分包含Tokenizer、Preprocessor和Loader,Model部分包含Module、Encoder和Forwarder,Core部分包含Training、Evaluation和Prediction
OpenUE
OpenUE主要架构
1、models 模块
其存放了我们主要的三个模型,针对整句的关系识别模型,针对已知句中关系的命名实体 识别模型,还有将前两者整合起来的推理验证模型。
2、lit_models 模块
其中的代码主要继承⾃pytorch_lightning.Trainer。其可以⾃动构建单卡,多卡,GPU,TPU 等不同硬件下的模型训练。
3、data 模块
data中存放了针对不同数据集进⾏不同操作的代码。使⽤了transformers库中的tokenizer先 对数据进⾏分词处理再根据不同需要将数据变成我们需要的features。
数据形式(json)
deepdive
deepdive是由斯坦福大学InfoLab实验室开发的一个开源知识抽取系统。它通过弱监督学习,从非结构化的文本中抽取结构化的关系数据 。是目前人工智能学习领域的一个热门项目。原文见http://deepdive.stanford.edu/
DeepDive是一个从暗数据(dark data)中提取价值的系统。
与暗物质(dark matter)一样,暗数据是隐藏在文本、表格、图形和图像中的大量数据,缺乏结构,因此基本上无法通过现有软件处理。
DeepDive通过从非结构化信息(文本文档)创建结构化数据(SQL表)并将这些数据与现有的结构化数据库集成,帮助揭示暗数据。
DeepDive用于提取实体之间复杂的关系,并对涉及这些实体的事实进行推断。
DeepDive帮助用户处理各种各样的暗数据,并将结果放入数据库。
有了数据库中的数据,人们可以使用各种标准工具来使用结构化数据;例如,可视化工具(如Tableau)或分析工具(如Excel)。
参考资料
Protégé
- 本体编辑器
- 基于RDF(S),OWL等语义网规范
- 图形化界面
- 提供了在线版本——WebProtégé
- 适用于原型构建场景
Protégé 的不足:
- 基本只提供单人编辑,在线版本的并发功能支持也不完善;并发编辑时需要通过文 件共享来实现;
- 因为基于单机构建,因此对大数据量支持不够,会出现内存溢出;
- 不支持时态、复杂事件、业务规则等的建模;
- 完全依靠人工,难以实现与知识图谱构建(半)自动化过程的交互。
建模预期成果
标签:结构化,抽取,DeepDive,图谱,知识,deepdive,数据,第三方 来源: https://www.cnblogs.com/-402/p/16449155.html
本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享; 2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关; 3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关; 4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除; 5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。