我是如何使计算提速>150倍的 我的原始文档:https://www.yuque.com/lart/blog/lwgt38 书接上文《我是如何使计算时间提速25.6倍》. 上篇文章提到, F-measure使用累计直方图可以进一步加速计算, 但是E-measure却没有改出来. 在写完上篇文章的那个晚上, 重新整理思路后, 我似乎想到
1. 加载数据（以csv格式，从本地文件导入） # -*- coding: utf-8 -*- import numpy as np import sys import matplotlib.pyplot as plt import pandas as pd from sklearn import metrics from sklearn.model_selection import train_test_split from sklearn.preprocessing impor
NLP笔记：浅谈交叉熵（cross entropy） 0. 引言1. 交叉熵的定义 1. 信息熵2. 相对熵（KL散度）3. 交叉熵 2. 交叉熵的实现 1. tensorflow实现2. pytorch实现 3. tensorflow与pytorch中交叉熵的区别4. 引申思考 1. 两次softmax的影响2. 伪cross entropy合理性分析 5. 参考链接 0. 引言
参考链接： http://www.voidcn.com/article/p-ppgpswof-bvw.html if __name__ == '__main__': from sklearn import metrics import numpy as np import matplotlib.pyplot as plt plt.figure(0).clf() # plt.close()将完全关闭图形窗口，其中plt.clf()将清除图形-
Virtual Adversarial Training: a Regularization Method for Supervised and Semi-supervised Learning 简介 本文是17年半监督学习的一篇文章，受对抗训练的启发，将对抗训练的范式用于提升半监督学习，并且取得了非常好的效果。不同于最近一直比较火的对比学习，这些稍微“传统”一点的
MNIST数据集包含了70000张0~9的手写数字图像。 一、准备工作：导入MNIST数据集 1 import sys 2 assert sys.version_info >= (3, 5) 3 4 import sklearn 5 assert sklearn.__version__ >= "0.20" 6 7 import numpy as np 8 import os 9 10 from sklearn.datasets impor
""" 评价模型的核心函数：根据得到的正负样本，输出：P，R，map等 """ #验证集或测试集都可以用 def evaluate(model, path, iou_thres, conf_thres, nms_thres, img_size, batch_size): model.eval() # Get dataloader dataset = ListDataset(path, img_size=img_size
损失函数度量的是训练的模型与真实模型之间的距离。一般以最小化损失函数为目标，对模型进行不断优化。 常见的损失函数在计算过程中都会接受两个参数：模型预测值y_pred和正确答案y_true。 由于背后的数学计算过程相同，所以即使是不同深度学习框架这些损失函数的api也是大同小异。本文
本节主要讲解如何使用集成学习来提高预测的精度 集成学习方法 在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boosting，同时这些集成学习方法于具体验证集划分联系密切。 由于深度学习模型一般需要较长的训练周期，如果硬件设备不允许，
最小二乘法 测量一个棍子，10次数据如下： 12.3 , 11.8,11.2,11.6,12.5,12.1.11.6.12.0,12.4,11.2 怎样获取最后结果？？？？ 这样做有道理吗？用调和平均数行不行？用中位数行不行？用几何平均数行不行？ 从概论的角度考虑，每次测量结果的概率值为 Pi, 那么，产生以上结果的概率为： P1*P2....P10;如果方
sklearn使用方法，包括从制作数据集，拆分数据集，调用模型，保存加载模型，分析结果，可视化结果 1 import pandas as pd 2 import numpy as np 3 from sklearn.model_selection import train_test_split #训练测试集拆分 4 from sklearn.linear_model import LogisticRegression #逻辑
本文的灵感来自于A Visual Guide to Using BERT for the First Time，其作者为Jay Alammar，访问网址为：http://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time 。 在文本分类中，有两个大的思路，一个是机器学习，主要是利用n-gram等特征将文本转化为特征向量
algorithm 是C++标准程式库中的一个头文件，定义了C++ STL标准中的基础性的算法（均为函数模板）。在C++98中，共计有70个算法模板函数；在C++11中，增加了20个算法模板函数。其中有5个算法模板函数定义在头文件numeric中。 下文所称的“序列”（sequence），是指可以用迭代器顺序访问的容器。 有返
GBDT+LR LR属于线性模型，容易并行化，可以轻松处理上亿条数据，但是学习能力十分有限，需要大量的特征工程来增加模型的学习能力。但大量的特征工程耗时耗力同时并不一定会带来效果提升。因此，如何自动发现有效的特征、特征组合，弥补人工经验不足，缩短LR特征实验周期，是亟需解决的问题。 FM
下面都是我自己的一些简单的总结，如果有错误的地方，还请大家指出来。 一、BinaryCrossentropy类和binary_crossentropy函数 BinaryCrossentropy类的使用： tf.keras.losses.BinaryCrossentropy( from_logits=False, label_smoothing=0, reduction=losses_utils.Reductio
首先，是官方自己觉得很好的colab教程，我啥也运行不了，不说了，但是colab的教程告诉我一件事情，这个东西运行inference真的很简单。 cfg = get_cfg() ＃有一个叫cfg的模型配置文件 # add project-specific config (e.g., TensorMask) here if you're not running a model in detectron
分类问题和回归问题是监督学习的两大类。 分类问题常用的损失函数为交叉熵函数（cross entropy） tensorflow实现过程： # y为正确结果，y_pred为预测结果 loss = -tf.reduce_mean(y*tf.log(tf.clip_by_value(y_pred, 1e-10, 1.0))) 回归问题常用的损失函数为均方误差（MSE，mean squared
AQS是并发编程的一个最基本组件，是一个抽象同步器。 网上有很多详细介绍AQS的博文，在这里我就不仔细介绍了，主要写一些重要的内容。 AQS中重要的几个属性： //同步队列的头节点 private transient volatile Node head; //同步队列的尾节点 private transient volatile Node tail; //同
pytorch几十行代码搞清楚模型的构建和训练 import torch import torch.nn as nn N, D_in, H, D_out = 64, 1000, 100, 10 # data x = torch.randn(N, D_in) y = torch.randn(N, D_out) # mdoel define class TwoLayerNet(nn.Module): def __init__(self, D_in, H, D_out):
RNN循环神经网络（进阶） 1.GRU（门控）模型 1.1.概念 1.1.1.RNN存在的问题：梯度较容易出现衰减或爆炸（BPTT） 1.1.2.GRU⻔控循环神经⽹络：捕捉时间序列中时间步距离较⼤的依赖关系 重置⻔有助于捕捉时间序列⾥短期的依赖关系； 更新⻔有助于捕捉时间序列⾥⻓期的依赖关系。 1.2.GRU模型
1. 目的：通过案例介绍R语言实现交叉检验的方法，构建非线性回归模型，并比较不同模型的准确性。 2. 数据来源：Datacamp https://assets.datacamp.com/production/repositories/894/datasets/6f144237ef9d7da94b2c84aa8eccc519bae4b300/houseprice.rds 3. 数据介绍 数据中含有
作者：董文辉 本文长度为4500字，建议阅读10+分钟 本文为你总结常见损失函数和评价指标。 注：本文采用markdown进行编写，用markdown打开可得更佳展示效果～ ## 1. 损失函数： ### 1.1 回归问题： #### 1. 平方损失函数（最小二乘法）： $$L(Y,f(x)) = \sum_{i=1}^n(Y-f(X))^2$$ 回归问题中常用的
https://blog.csdn.net/u014380165/article/details/72616238 https://blog.csdn.net/m0_37192554/article/details/81092514 PennFudanPed数据集 文章目录网络结构算法流程解析loss 计算需要注意的代码实现数据集模型后续改进 网络结构 Yolov1 流程图 假设输入图像 [
import tensorflow as tf#精确率评价指标def metric_precision(y_true,y_pred): TP=tf.reduce_sum(y_true*tf.round(y_pred)) TN=tf.reduce_sum((1-y_true)*(1-tf.round(y_pred))) FP=tf.reduce_sum((1-y_true)*tf.round(y_pred)) FN=tf.reduce_sum(y_true*(1
import tensorflow as tfa = tf.random.shuffle(tf.range(5))a tf.sort(a, direction='DESCENDING') # 返回索引tf.argsort(a, direction='DESCENDING') idx = tf.argsort(a, direction='DESCENDING')tf.gather(a, idx) idx = tf.argsort(a
