ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1

2020-06-14 11:04:38  阅读:197  来源: 互联网

标签:MXNet Keras 检测 模型 PaddlePaddle Pytorch 算法 解码器 注意力


日萌社

人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part1

人工智能AI:TensorFlow Keras PyTorch MXNet PaddlePaddle 深度学习实战 part2


C/C++ 笔记、Python 笔记、JavaWeb + 大数据 笔记

tensorflow 2.0 函数详解

Numpy 相关函数详解

pandas 相关语法详解

PyTorch 相关函数详解

MXNet 相关函数详解

Keras深度学习实战

python 相关语法详解

matplotlib 相关语法详解

高数 相关知识

卷积神经网络

人工智能中 相关的术语概念知识


python面试题 part1

python面试题 part2

正态分布(高斯分布)、均匀分布

TensorFlow张量间运算的广播机制、numpy数组间运算的广播机制

科学记数法中的e

在Numpy/Pandas 和在 Tensorflow、Keras等一系列的AI框架中的 axis轴的取值的不同

获取Tensor类型变量的值

用于回归问题的模型评价:MSE、RMSE、MAE、R-Squared

非极大值抑制NMS(Non Maximum Suppression)

池化层。Flatten、Reshape。batch、repeat、steps_per_epoch、epochs。tensorboard、ModelCheckpoint

ImageDataGenerator.flow_from_directory(...)

手势识别:使用EfficientNet模型迁移、VGG16模型迁移

OpenCV:python调用摄像头同时使用OpenCV中自带已训练好的检测器来检测实时图像中的人脸和眼睛

googlenet提出的Inception结构优势、softmax的BP推导/交叉熵损失的BP推导

神经网络的梯度消失/梯度爆炸问题、神经网络的过拟合问题、卷积网络输出大小计算/感受野计算、激活函数、sgd/momentum/rmsprop/adam优化算法

反卷积/转置卷积Conv2DTranspose、空洞卷积 的特点及其应用

ResNet结构并分析其在计算机视觉方面取得成功的原因

python:求按从小到大的顺序的第N个丑数

BATCH_SIZE大小设置对训练耗时的影响

预训练模型需要加载的权重文件

神经网络模型可视化工具Netron


使用 Keras 定义简单神经网络来识别 MNIST 手写数字的网络

数据结构与算法(java/python/C实现):时间复杂度、冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序、二叉树、队列、链表、栈

机器翻译 MXNet(使用含注意力机制的编码器—解码器)

10分钟快速入门 PyTorch – RNN

spark-scala调用tensorflow2.0训练好的模型


CV 

CNN:RCNN、SPPNet、Fast RCNN、Faster RCNN、YOLO V1 V2 V3、SSD、FCN、SegNet、U-Net、DeepLab V1 V2 V3、Mask RCNN

计算机视觉面试题

计算机视觉CV:图像处理面试题

面试题:计算机视觉图像处理CV、人脸识别

面试题:计算机视觉图像处理CV

CV面试题:目标检测、目标分割

CV面试题

计算机视觉

最近邻分类器、L1与L2距离

人工神经网络(ANN/NN)、感知机(PLA)

损失函数(交叉熵损失cross-entropy、对数似然损失、多分类SVM损失(合页损失hinge loss))、Softmax分类器和交叉熵损失cross-entropy

前向传播、反向传播(后向传播)、梯度下降、导数、链式法则

浅层神经网络/深层神经网络的前向传播与反向传播计算过程、非线性的激活函数(Sigmoid、Tanh、Relu、Leaky ReLU)、参数与超参数

局部最优、梯度消失、鞍点、海森矩阵(Hessian Matric)、批梯度下降算法(btach批梯度下降法BGD、小批量梯度下降法Mini-Batch GD、随机梯度下降法SGD)

动量梯度下降(Momentum、指数加权平均)、逐参数适应学习率方法(Adagrad、RMSprop、Adam)、学习率退火、归一化/标准化

偏差与方差、L1正则化、L2正则化、dropout正则化、神经网络调优、批标准化Batch Normalization(BN层)、Early Stopping、数据增强

卷积神经网络CNN、感受野、边缘检测、卷积层(零填充padding、步长、多通道卷积、多卷积核)、池化层Pooling、全连接层

LeNet-5、AlexNet、NIN、VGG(VGG16、VGG19)、GoogLeNet(Inception v1 v2 v3 v4)、Xception、ResNet、DenseNet

深度学习框架 TensorFlow:张量、自动求导机制、tf.keras模块(Model、layers、losses、optimizer、metrics)、多层感知机(即多层全连接神经网络 MLP)

Keras 实现卷积神经网络识别手写数字、迁移学习以及tf.keras.applications使用

Keras的Sequential/Functional API两种方式构建模型、保存模型/权重和恢复模型/权重、自定义 层Layer/损失函数Loss/评估指标Metric

callbacks回调函数(Checkpoint、TensorBoard)、tf.data、ImageDataGenerator

Tensorflow执行模式:Eager Execution动态图模式、Graph Execution图模式、@tf.function实现Graph Execution图模式、tf.Session

TensorFlow分布式训练:单机多卡训练MirroredStrategy、多机训练MultiWorkerMirroredStrategy

垃圾分类、EfficientNet模型、数据增强(ImageDataGenerator)、混合训练Mixup、Random Erasing随机擦除、标签平滑正则化、tf.keras.Sequence

垃圾分类、EfficientNet模型B0~B7、Rectified Adam(RAdam)、Warmup、带有Warmup的余弦退火学习率衰减

tf.saved_model.save模型导出、TensorFlow Serving模型部署、TensorBoard中的HParams 超参数调优

目标检测

目标检测:R-CNN

目标检测:SPPNet

目标检测:Fast R-CNN

目标检测:Faster R-CNN、Faster RCNN接口

目标检测:YOLO V1、YOLO V2、YOLO V3 算法

目标检测:SSD 算法

KITTI自动驾驶数据集的训练和检测过程(人、车检测案例)、KITTI数据集的TFRecord格式存储、YOLO V3/Yolo V3 Tiny 迁移学习

目标分割

目标分割:FCN全卷积网络、上采样upsample、反卷积/转置卷积Conv2DTranspose、跳跃连接skip layers实现融合预测fusion prediction

目标分割:SegNet、U-Net

目标分割:DeepLab V1、DeepLab V2、DeepLab V3、DeepLab V3+、ASPP/ASPP+、Encoder-Decoder、CRF

计算IoU:计算交并比

目标分割:Mask RCNN

目标分割:Mask RCNN 气球分割案例 part1

目标分割:Mask RCNN 气球分割案例 part2

目标追踪:FCNT、GOTURN、SiamFC

OpenCV简介

OpenCV:图像读取/保存、绘制直线/圆形/矩形、获取并修改图像中的像素点、图像通道的拆分与合并

OpenCV 算数操作:图像的加法、图像的混合

OpenCV 图像处理:几何变换、图像缩放、图像平移、图像旋转、仿射变换、透射变换、图像金字塔

OpenCV 图像处理:形态学操作、连通性、腐蚀和膨胀、开运算/闭运算、礼帽和黑帽

OpenCV 图像平滑:椒盐噪声、高斯噪声、平均滤波、高斯滤波、中值滤波

OpenCV:模版匹配、霍夫变换、霍夫线检测、霍夫圆检测

OPenCV:傅里叶变换、时域和频域、频谱和相位谱、傅里叶级数、离散傅里叶变换(DFT)、频域滤波、高通和低通滤波器、带通和带阻滤波器

OpenCV:轮廓检测、查找轮廓、绘制轮廓、凸包、图像的矩特征

OpenCV:图像分割、阈值分割、全阈值分割、自适应阈值分割、Otsu 阈值(大津法)、分水岭算法、GrabCut算法

OpenCV:直方图、灰度直方图、掩膜、直方图均衡化

OpenCV:边缘检测、Sobel检测算子、Laplacian算子、Canny边缘检测

OpenCV 图像特征提取:角点特征、Harris和Shi-Tomas算法、SIFT/SURF算法、Fast和ORB算法

OpenCV:LBP和HOG特征算子

OpenCV:视频读写、从文件中读取视频并播放、保存视频

OpenCV:视频追踪、meanshift算法、Camshift算法

OpenCV:人脸检测、Haar特征分类器、OpenCV中自带已训练好的检测器

numba:编译Python数组和数值计算函数的编译器

imutils

OpenCV中DNN模块、DNN模块的常用API

自动驾驶:车道线检测、车速检测、实时通行跟踪、基于视频的车辆跟踪及流量统计

车流量检测实现:多目标追踪、卡尔曼滤波器、匈牙利算法、SORT/DeepSORT、yoloV3、虚拟线圈法、交并比IOU计算

多目标追踪:DBT、DFT、基于Kalman和KM算法的后端优化算法、SORT/DeepSORT、基于多线程的单目标跟踪的多目标跟踪算法KCF

计算交并比IOU、候选框不同表示方式之间的转换

卡尔曼滤波器

卡尔曼滤波器实践

目标估计模型-卡尔曼滤波

匈牙利算法

数据关联:利用匈牙利算法对目标框和检测框进行关联

SORT、DeepSORT

多目标追踪

yoloV3模型

基于yoloV3的目标检测

叉乘:基于虚拟线圈法的车流量统计

视频中的车流量统计

车道线检测

相机校正、张氏标定法、极大似然估计/极大似然参数估计、牛顿法、高斯牛顿法、LM算法、sin/cos/tan/cot

相机校正和图像校正:图像去畸变

车道线提取:Sobel边缘提取算法

透视变换

车道线定位及拟合:直方图确定车道线位置

车道曲率和中心点偏离距离计算

在视频中检测车道线

单目标跟踪SiamMask:特定目标车辆追踪 part1

单目标跟踪SiamMask:特定目标车辆追踪 part2

单目标跟踪 Siamese系列网络:SiamFC、SiamRPN、one-shot跟踪、one-shotting单样本学习、DaSiamRPN、SiamRPN++、SiamMask

单目标跟踪:跟踪效果

单目标跟踪:数据集处理

单目标跟踪:模型搭建

单目标跟踪:模型训练

单目标跟踪:模型测试

人脸识别功能实现的原理介绍与算法介绍

人脸识别:人脸数据集

Adaboost 人脸检测:Haar特征及积分图、分类器的级联

关键点提取:face_recognition、疲劳检测、人脸校准、人脸数据库

调用摄像头使用face_recognition 或 opencv中haar人脸特征实时检测识别人脸、给人脸打马赛克/给人脸贴图

Adaboost 人脸检测

face_recognition、opencv中haar人脸特征:视频/图片 进行 人脸检测/人脸识别

使用face_recognition:摄像头实时给人脸打马赛克、疲劳检测、活体检测(张嘴检测)、计算两张人脸之间的相似度、人脸校准

口罩检测:人工自动生成戴口罩数据集、检测人脸是否戴口罩

Dlib:训练Dlib识别人脸器官部位上的特征点

活体检测:keras

表情检测:pyimage


NLP

NLP面试题

面试代码题

面试题

深度学习的介绍

神经网络的介绍

PyTorch 安装 GPU版本(CUDA/cuDNN)

Pytorch 张量

Pytorch 自动求导、梯度下降和反向传播

Pytorch 线性回归

Pytorch 基础模型:nn.Module、nn.Sequential、优化器类、常见的损失函数

优化算法:梯度下降算法BGD、随机梯度下降法SGD、小批量梯度下降MBGD、动量法、AdaGrad、RMSProp。避免过拟合/加速训练:Dropout、Batch Normalization

Pytorch 数据加载:Dataset、DataLoader、自带数据集(MNIST数据集)

Pytorch 实现手写数字识别

Pytorch:jieba分词、hanlp分词、词性标注、命名实体识别、one-hot、Word2vec(CBOW、skipgram)、Word Embedding词嵌入、fasttext

Pytorch 文本数据分析方法(标签数量分布、句子长度分布、词频统计、关键词词云)、文本特征处理(n-gram特征、文本长度规范)、文本数据增强(回译数据增强法)

Pytorch:使用 Embedding 嵌入层 进行 新闻主题分类任务

Pytorch:RNN、LSTM、GRU、Bi-GRU、Bi-LSTM、梯度消失、梯度爆炸

注意力机制、bmm运算

Pytorch:嵌入层Embedding、EmbeddingBag

Pytorch:pytorch中的多种训练模型写法

Pytorch:RNN、LSTM、GRU

Pytorch:BatchNorm1d、BatchNorm2d、BatchNorm3d

Pytorch:模型保存与加载方式

Pytorch:RNN、LSTM、GRU 构建人名分类器(one-hot版本、Embedding嵌入层版本)

Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务

Embedding词嵌入层的原理

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2

Pytorch:使用Transformer构建语言模型

Pytorch:transpose、view、t()、contiguous()

Pytorch:model.train、model.eval、with torch.no_grad

fasttext:文本分类、训练词向量、词向量迁移

torch.hub.load自动下载预训练模型文件用以加载预训练模型

bert-base-uncased-pytorch_model.bin

微调脚本文件 transformers:transformers-cli login、transformers-cli upload

Pytorch:NLP 迁移学习、NLP中的标准数据集、NLP中的常用预训练模型、加载和使用预训练模型、huggingface的transfomers微调脚本文件

莎士比亚风格的文本生成任务

BahdanauAttention注意力机制:基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

BahdanauAttention注意力机制、LuongAttention注意力机制

tf.keras.losses.SparseCategoricalCrossentropy

python命令执行run_glue.py模型微调文件进行微调模型

tf.random.categorical、温度参数temperature

TensorFlow 2.0 推荐的训练方式写法

run_glue.py微调脚本代码

应用于bert模型的动态量化技术(使用动态量化技术对训练后的bert模型进行压缩)、使用huggingface中的预训练BERT模型进行微调、模型压缩技术中的动态量化与静态量化

保存没有压缩的原始模型和及其模型状态、保存压缩后的模型和及其模型状态、加载没有压缩的原始模型文件和及其模型状态、加载压缩后的模型和及其模型状态

ResNet模型在GPU上的并行实践

图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制

IMDB影评的情感分析任务:双层bi-LSTM模型(双向LSTM)

智能对话系统:Unit对话API

在线聊天的总体架构与工具介绍:Flask web、Redis、Gunicorn服务组件、Supervisor服务监控器、Neo4j图数据库

supervisor 安装

linux 安装 neo4j

neo4j图数据库:Cypher

neo4j图数据库:结构化数据流水线、非结构化数据流水线

命名实体审核任务:BERT中文预训练模型

命名实体审核任务:构建RNN模型

命名实体审核任务:模型训练

命名实体识别任务:BiLSTM+CRF part1

命名实体识别任务:BiLSTM+CRF part2

命名实体识别任务:BiLSTM+CRF part3

在线部分:werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型(目的:比较两句话text1和text2之间是否有关联)、模型在Flask部署

系统联调测试与部署

离线部分+在线部分:命名实体审核任务RNN模型、命名实体识别任务BiLSTM+CRF模型、BERT中文预训练+微调模型、werobot服务+flask

Softmax反向传播推导、Bert的模型架构 

简述BERT模型的训练过程、BERT模型在推断过程中做了哪些性能优化、BERT模型在训练过程中做了哪些性能优化

如何设计一个猜你喜欢的推荐系统

fasttext模型在大量类别上能够快速训练的原因、为了提升fasttext模型的评估指标做了哪些优化

在某个模型训练过程中遇到的难题及其解决办法、对自动超参数调优方法的理解、模型部署时如何实现热更新、说一说最近看过的一篇论文


Encoder编码器-Decoder解码器框架 + Attention注意力机制

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part1

Pytorch:Transformer(Encoder编码器-Decoder解码器、多头注意力机制、多头自注意力机制、掩码张量、前馈全连接层、规范化层、子层连接结构、pyitcast) part2

Pytorch:解码器端的Attention注意力机制、seq2seq模型架构实现英译法任务

BahdanauAttention注意力机制、LuongAttention注意力机制

BahdanauAttention注意力机制:基于seq2seq的西班牙语到英语的机器翻译任务、解码器端的Attention注意力机制、seq2seq模型架构

图片的描述生成任务、使用迁移学习实现图片的描述生成过程、CNN编码器+RNN解码器(GRU)的模型架构、BahdanauAttention注意力机制、解码器端的Attention注意力机制

注意力机制、bmm运算

注意力机制 SENet、CBAM

机器翻译 MXNet(使用含注意力机制的编码器—解码器,即 Encoder编码器-Decoder解码器框架 + Attention注意力机制)

基于Seq2Seq的中文聊天机器人编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制)

基于Transformer的文本情感分析编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码)

注意:这一文章“基于Transformer的文本情感分析编程实践(Encoder编码器-Decoder解码器框架 + Attention注意力机制 + Positional Encoding位置编码)”
	该文章实现的Transformer的Model类型模型,实际是改造过的特别版的Transformer,因为Transformer的Model类型模型中只实现了Encoder编码器,
	而没有对应实现的Decoder解码器,并且因为当前Transformer的Model类型模型处理的是分类任务,
	所以我们此处只用了Encoder编码器来提取特征,最后通过全连接层网络来拟合分类。

机器学习(Sklearn) 

面试题:机器学习

Numpy

人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介

Azure机器学习实验

Pandas 读写excel、读写数据库MySQL

Pandas

Matplotlib

95%置信区间

seaborn

KNN:K-近邻算法

特征工程-特征预处理:归一化、标准化

距离度量:欧式距离/曼哈顿距离/切比雪夫距离/闵可夫斯基距离/标准化欧氏距离/余弦距离/汉明距离/杰卡德距离/马氏距离

数学:求导/常见函数的导数/矩阵(向量)求导

数据分割:留出法train_test_split、留一法LeaveOneOut、GridSearchCV(交叉验证法+网格搜索)、自助法

最小二乘法作为损失函数然后与均方误差(MSE)之间的区别

正规方程

梯度下降:全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。

对称矩阵、方阵、逆矩阵、协方差矩阵

正则化线性模型:岭回归Ridge Regression(即线性回归的改进)、lasso回归(Lasso Regression)、弹性网络(Elastic Net)、Early Stopping

多项式回归

维灾难、欠拟合、过拟合、L1正则化、L2正则化

L1正则化、L2正则化、向量与矩阵的范数

分类中解决类别不平衡问题:imbalanced-learn、过采样、欠采样

无偏估计

线性回归

分类评估方法:精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。

逻辑回归

特征工程-特征提取:字典特征提取、文本特征提取、jieba分词处理、Tf-idf文本特征提取

决策树算法(一)

决策树算法(二)

决策树算法(三)

决策树算法(四)

集成学习:Bagging、随机森林、Boosting、GBDT

聚类算法

朴素贝叶斯

SVM支持向量机

EM算法

Huber Loss

HMM模型:马尔可夫链、隐马尔可夫模型

拉格朗日乘子法

极大似然函数取对数的原因

集成学习:XGBoost

集成学习:lightGBM(一)

集成学习:lightGBM(二)

Sklearn:天池新人实战赛o2o优惠券使用预测 part1

Sklearn:天池新人实战赛o2o优惠券使用预测 part2

Sklearn:天池新人实战赛o2o优惠券使用预测 part3

Sklearn:房租租⾦模型预测 版本一

Sklearn:房租租⾦模型预测 版本二 

模型融合stacking


个性化推荐系统

推荐系统:推荐系统架构设计

推荐算法:协同过滤推荐算法、相似度计算

基于协同过滤的电影推荐


安装

安装双系统:win10安装Ubuntu 18.04.4、ubuntu安装NVIDIA显卡驱动

ubuntu安装NVIDIA显卡驱动

Ubuntu 安装 CUDA、cuDNN、anaconda、tensorflow、pytorch、JDK1.8

TensorFlow2、CUDA10、cuDNN7.6.5

Anaconda3 python 3.7、TensorFlow2、CUDA10、cuDNN7.6.5

win10 安装 子系统ubuntu18.04

Anaconda 创建虚拟环境、删除/查看虚拟环境

ubuntu安装anaconda python3.7版本

TensorFlow 2.0 环境搭建

window下安装 Keras、TensorFlow(先安装CUDA、cuDNN,再安装Keras、TensorFlow)

window下安装MXNet

MXNet安装

window 安装 PyTorch

PyTorch安装

百度飞浆paddlepaddle下载安装

强化学习平台安装 Mujoco、mujoco-py、gym、baseline

linux Centos 安装 Tensorflow GPU版本 安装教程

pycocotools 安装

whl、tar.bz2 安装方式

ubuntu 18 安装 pychar


数据库

MySQL part1

MySQL part2

MySQL part3

Redis part1

Redis part2

Redis part3

neo4j图数据库:Cypher

mongodb:安装cmake、mongodb、mongodb的C驱动、C++驱动

linux 安装 Redis

linux 安装 neo4j


报错解决

ValueError: Object arrays cannot be loaded when allow_pickle=False

报错 ValueError: setting an array element with a sequence.

报错AttributeError: 'Tensor' object has no attribute 'numpy'

报错:ValueError: Duplicate plugins for name projector

报错:No registered 'swish_f32' OpKernel for GPU devices compatible with node

报错:tensorflow.python.eager.core._FallbackException

报错:Make sure that your dataset or generator can generate at least `steps_per_epoch * epochs`

报错:报错文件路径 \Anaconda3\lib\multiprocessing\...

报错:ResourceExhaustedError OOM when allocating

报错:AttributeError: module 'tensorflow_core._api.v2.io.gfile' has no attribute 'get_filesystem'

报错:RuntimeError: Expected object of backend CUDA but got backend CPU for argument #3 'index'

报错:RuntimeError: Adam does not support sparse gradients, please consider SparseAdam instead

RuntimeError: exp_vml_cpu not implemented for 'Long'

RuntimeError: expected device cpu and dtype Float but got device cpu and dtype Long

Expected tensor for argument #1 'indices' to have scalar type Long;but got torch.IntTensor instead

报错:TypeError: unexpected keyword argument 'autotuneValidationFile'

linux执行脚本文件 /usr/bin/env: "python\r": 没有那个文件或目录 /usr/bin/env: "python\r": No such file or directory

AttributeError: module 'torch' has no attribute 'quantization'

ModuleNotFoundError: No module named “pip”

报错 error: (-215:Assertion failed) !_src.empty() in function cv::cvtColor

AttributeError: DataFrame object has no attribute dtype

DataConversionWarning: Data was converted to boolean for metric jaccard。warnings.warn(msg, DataConve

 Warning警告到底要不要解决、Warning警告潜在的问题

UndefinedMetricWarning: Precision and F-score are ill-defined and being set to 0.0 in labels with no

标签:MXNet,Keras,检测,模型,PaddlePaddle,Pytorch,算法,解码器,注意力
来源: https://blog.csdn.net/zimiao552147572/article/details/88867161

专注分享技术,共同学习,共同进步。侵权联系[admin#icode9.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有