作者｜梵登、白玙 审核&校对：白玙 编辑&排版：雯燕 背景 异常检测作为智能运维（AIOps）系统中基础且重要功能，其旨在通过算法自动地发现 KPI 时间序列数据中的异常波动，为后续的告警、自动止损、根因分析等提供决策依据。那么，我们该如何在实际场景中使用异常检测呢，而异常检测又是什么，今天我
边缘检测 import cv2 as cv import numpy as np # 边缘检测 img = cv.imread("./image.jpg", cv.IMREAD_GRAYSCALE) # 梯度算子 # 标准定义形式 # g(x, y) ≈ |∂f(x, y)/∂x|+|∂f(x, y)/∂y|，其中原函数为f(x, y)，处理后的函数为g(x, y) # ∂f(x, y)/∂x = f(x, y+1)-f(x, y
先来说下常用算符的定义. 半正定算符: \(\lang\psi|A|\psi\rang \geq 0\) 正定算符: \(\lang\psi|A|\psi\rang > 0\) 厄米算符: \(A=A^\dagger\), 特征值是实数. 幺正算符(酉算符): \(A^\dagger=A^{-1}, 即 AA^\dagger=I\) 正规算符: \(AA^\dagger=A^\dagger A\), 充要条件是可
什么是spark？ Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。 Spark是基于内存计算的通用大规模数据处理框架。 Spark快的原因： 1.Spark基于内存，尽可能的减少了中间结果写入磁盘和不必要的sort、shuffle(sort:顾名思义就是排序，shuffle:言简意赅就是将数据打散之
全文翻译（四） TVM An Automated End-to-End Optimizing Compiler 6.3 嵌入式GPU评估 对于移动GPU实验，在配备ARM Mali-T860MP4 GPU的Firefly-RK3399板上，运行端到端管道。基线是供应商提供的库，即ARM计算库（v18.03）。 Figure 19: End-to-end experiment results on Mali-T860MP4.
全文翻译（三） TVM An Automated End-to-End Optimizing Compiler 5. 自动化优化 考虑到一组丰富的调度原语，剩下的问题是为DL模型的每一层，找到最佳的算子实现。在这里，TVM为与每个层关联的特定输入shape和布局，创建一个专门的算子。这种专门化提供了显著的性能优势（与针对较小shape和布
边缘检测是检测图像中的一些像素点，它们周围的像素点的灰度发生了急剧的变化，我们认为在这过程中，图像中的物体不同导致了这一变化，因此可以将这些像素点作为一个集合，可以用来标注图像中不同物体的边界。边缘区域的灰度剖面可以看作是一个阶跃，即图像的灰度在一个很小的区域内
知识表示（knowledge representation）就是将人类知识形式化或者模型化。 知识表示的目的是能够让计算机存储和运用人类的知识。已有知识表示方法大都是在进行某项具体研究时提出来的，有一定的针对性和局限性，目前已经提出了许多知识表示方法。 常用的有：产生式表示法、框架表示法、
实时大数据Flink知识结构图 · Flink基本概念 o 概念 官方定义：Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Flink has been designed to run in all common cluster environment
全文翻译（一）：TVM: An Automated End-to-End Optimizing Compiler for Deep Learning 摘要 人们越来越需要将机器学习应用到各种各样的硬件设备中。现在的框架依赖于特定于供应商的算子库，针对窄带的服务器级GPU进行优化。将工作负荷部署到新平台，如移动电话，嵌入式设备和加速算子（如FPGA
在ECBSR论文的代码研究中，我发现关于ECBSR提出的多分支重参数化模型中，代码用到了sobel算子与laplace算子，很难判断这两个算子是为了论文的创新点还是真的有用，这块只能等待后续的对比实验。 1、拉普拉斯算子 首先是散度与梯度的概念：散度和旋度的物理意义是什么？ 贴一下原文回答作
为什么要管理状态 有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的数据有重复，我们想对重复数据去重，需要记录哪些数据已经流入过应用，当新数据流入时，根
1. import org.apache.spark.{HashPartitioner, SparkConf, SparkContext} import org.apache.spark.rdd.RDD //kv类型算子 //PartitionBy：指定分区器来对上游的数据进行分区 object _01PartitonByDemo { def main(args: Array[String]): Unit = { val conf =
Kirsch算子是R.Kirsch提出来一种边缘检测算法，它采用8个模板对图像上 的每一个像素点进行卷积求导数，这8个模板代表8个方向，对图像上的8个特 定边缘方向作出最大响应，运算中取最大值作为图像的边缘输出。 Kirsch算子特点 • 在计算边缘强度的同时可以得到边缘的方向 • 各方向
利用AI Core的Vector Unit，进行矢量加计算。 vec_add(mask, dst, src0, src1, repeat_times, dst_rep_stride, src0_rep_stride, src1_rep_stride) mask 通常用这个参数的连续模式，就是设置前N个数据参与计算。 每次迭代可以计算256字节的数据。 比如，当计算float16类型数据时
前言 别人的，觉得不错，留下来复习。 一、边缘检测算法 边缘检测算法是指利用灰度值的不连续性质，以灰度突变为基础分割出目标区域。对铝铸件表面进行成像后会产生一些带缺陷的区域，这些区域的灰度值比较低，与背景图像相比在灰度上会有突变，这是由于这些区域对光线产生散射所引起的。因
导语 工业视觉智能团队在交付了多个工业视觉智能质检项目后，发现了工业视觉智能的共性问题和解法，打造了工业视觉智能平台，通过平台的方式积累和提升工业视觉的通用能力。 在平台建设上最核心的能力是算法能力。算法能力包括不断增强的单点算法能力和不断扩充的新算法能力。那么如
Flink在运行过程中, 难免会因为一些异常导致服务终止, 因为Flink的优势在于处理实时数据, 所以重启的话, 可能会导致部分数据指标不正确, 会丢失部分数据, 比如统计最近一小时数据, 运行半小时终止, 再次重启, 也只能重新开启统计. 但Flink可以通过state来解决这个问题, 将状
故障排除解决各种序列化导致的报错 当Spark作业在运行过程中报错，而且报错信息中含有Serializable等类似词汇，那么可能是序列化问题导致的报错。 序列化问题要注意以下三点： 作为RDD的元素类型的自定义类，必须是可以序列化的； 算子函数里可以使用的外部的自
Moravec算子在4个方向上计算非归一化的影像局部灰度差方差，将最小值作为兴趣值的测度。该算子检测的特征点是那些影响强度值在每个方向上变化剧烈的点。 步骤：1、计算各像素的兴趣值 2、选出候选点（给定一经验阈值，将兴趣值大于该阈值的点作为候选点）。 3、选取候选点中兴趣值极大的
算法介绍 自适应大邻域搜索算法（Adaptive Large Neighborhood Search），简称（ALNS），是由Ropke与Pisinger在2006年提出的一种启发式方法，其在邻域搜索的基础上增加了对算子的作用效果的衡量，使算法能够自动选择好的算子对解进行破坏与修复，从而有一定几率得到更好的解。 应用场景 1.外卖场
spark的转换算子 map：同分区有序运行，不同分区无序运行mapPartitions:一次性取数一个分区，在分区内计算golm：将一个分区的数据变成集合groupBy：讲数据源中的每一个数据进行key进行分filter：过滤，返回布尔类型sampledistinctcoalesce： 缩减分区repartition：其实就是(coalesce(shuffle
1. 基本概念 Why-分布式计算发展史 为什么需要流式计算，为什么需要Flink，是需要从分布式计算的历史开始说。 随着大数据时代到来，单机的计算已经不能满足数据计算的需求，将多个计算机组成集群去处理一个问题的方案成为主流，即分布式计算。而分布式系统的发展也伴随批处理向流处理的演
Flink的状态管理机制详解 本文将重点跟大家讲解Flink的状态管理机制，包括状态要解决的问题、Flink几种不同类型的状态、Keyed State和Operator List State的使用方法等。相关代码参见的github：https://github.com/luweizheng/flink-tutorials。图片文字均为原创，转载请联系本专栏。
No.1 旅行商问题介绍 TSP解决的是这样一个问题：给定一系列城市和每对城市之间的距离，求解访问每一座城市一次并回到起始城市的最短回路。 No.2 自适应大邻域搜索算法 自适应大邻域搜索算法(Adaptive Large Neighborhood Search)是基于邻域搜索的启发式算法，其在邻域搜
