ICode9

精准搜索请尝试: 精确搜索
  • 20211018-ThreadPoolExecutor2022-05-22 21:04:20

    成员变量 ctl变量 /** * The main pool control state, ctl, is an atomic integer packing     * two conceptual fields     *   workerCount, indicating the effective number of threads     *   runState,   indicating whether running, shutting down etc  

  • [源码解析] TensorFlow 分布式之 ClusterCoordinator2022-05-21 12:02:29

    [源码解析] TensorFlow 分布式之 ClusterCoordinator 目录[源码解析] TensorFlow 分布式之 ClusterCoordinator1. 思路1.1 使用1.2 问题点2. 定义2.1 Schedule2.2 Join2.3 Done2.4 Fetch3. 数据3.1 建立数据集3.2 PerWorkerDistributedDataset3.3 PerWorkerDatasetFromDatasetFunc

  • 装饰模式详解2022-05-17 02:33:23

    装饰模式 在不必改变原类文件和使用继承的情况下,动态地扩展一个对象的功能。它是通过创建一个包装对象,也就是装饰来包裹真实的对象。 装饰模式的特点 (1) 装饰对象和真实对象有相同的接口。这样客户端对象就能以和真实对象相同的方式和装饰对象交互。 (2) 装饰对象包含一个真实对象的

  • DolphinScheduler知识点总结2022-05-16 16:02:19

    DolphinScheduler简介 Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。 DolphinScheduler核心架构     DolphinScheduler的主要角色如下: MasterServer采用分布式

  • linux内核调度的机制 tasklet/workqueue/kthread_worker/kthreadx详解及示例【转】2022-05-16 14:03:38

    转自:https://blog.csdn.net/zxpblog/article/details/108539245 前言: 一直就感觉linux下面的任务调度机制太丰富了,由于各种调度机制平时工作中只是要用,理解并不是那么深刻,所有有时候说不上道道来,只知道这个要用softirq/tasklet/workqueue/thread/, workqueue的优先级要设置成syst

  • MapReduce2022-05-14 00:03:24

    介绍 基本编程模型 实现(MapReduce执行流程,容错方案...) MapReduce执行流程 将输入文件切分为大小在16-64MB的文件,然后在一组多个机器上启动用户程序,每个机器是一个worker 其中一个worker会成为master,master给worker指定任务(M个map任务,R个reduce任务),master会给idle的worker

  • 【高并发】通过源码深度解析ThreadPoolExecutor类是如何保证线程池正确运行的2022-05-10 11:00:38

    大家好,我是冰河~~ 对于线程池的核心类ThreadPoolExecutor来说,有哪些重要的属性和内部类为线程池的正确运行提供重要的保障呢? ThreadPoolExecutor类中的重要属性 在ThreadPoolExecutor类中,存在几个非常重要的属性和方法,接下来,我们就介绍下这些重要的属性和方法。 ctl相关的属性 Ato

  • Node.js 中的进程和线程2022-05-07 14:34:54

    线程和进程是计算机操作系统的基础概念,在程序员中属于高频词汇,那如何理解呢?Node.js 中的进程和线程又是怎样的呢? 一、进程和线程 1.1、专业性文字定义 进程(Process),进程是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础,进

  • WebWorker:工作者线程初探2022-05-06 21:00:28

    WebWorker:工作者线程初探 参考资料: 1.Web Worker 使用教程 - 阮一峰:http://www.ruanyifeng.com/blog/2018/07/web-worker.html 2.JavaScript高级程序设计-第四版 一、概述 ​ JavaScript 是单线程的,单线程就意味着不能像多线程语言那样把工作委托给独立的线程或进程去做,无法充

  • Nginx性能优化-CPU篇2022-05-03 03:01:43

    性能优化方法论 软件层面提升硬件使用率 增大CPU的利用率 增大内存的利用率 增大硬盘IO的利用率 增大网络带宽的利用率 提升硬件 网卡:万兆网卡 硬盘:固体硬盘,关注IOPS和BPS指标 CPU:更快主频,更多核心,更大缓存,更优架构 内存:更快访问速度 超出硬件性能上限后使用DNS CPU基本知

  • openresty 提供的几个新的生命周期阶段指令2022-05-01 20:03:18

    实际上这几个指令很早就有了,只是最近在重新学习openresty 的时候发现的 exit_worker_by_lua_* 在每次nginx worker 进程退出的时候执行,当master 进行禁用的时候,这个钩子会在nginx 进程退出之前执行主要的场景是进行资源释放,以及worker 非正常退出 server_rewrite_by_lua_* 在serve

  • Ants线程池的优雅设计2022-05-01 17:32:00

    先贴上原作者的仓库地址:https://github.com/panjf2000/ants 通俗来讲,线程池的存在就是为了实现高并发情况下的线程复用,从而减少内存开销和提升执行速度。 个人认为ants的设计有两个可学习之处:池调度模型和自旋锁。 池模型 检查当前 Worker 队列中是否有可用的 Worker,如果有,取出

  • node worker_threads2022-04-28 11:03:26

    工作线程对于执行 CPU 密集型的 JavaScript 操作很有用。 它们对 I/O 密集型的工作帮助不大。 Node.js 内置的异步 I/O 操作比工作线程更高效。 与 child_process 或 cluster 不同,worker_threads 可以共享内存。 它们通过传输 ArrayBuffer 实例或共享 SharedArrayBuffer 

  • 【Java分享客栈】一文搞定京东零售开源的AsyncTool,彻底解决异步编排问题。2022-04-28 10:02:11

    一、前言 本章主要是承接上一篇讲CompletableFuture的文章,想了解的可以先去看看案例: https://juejin.cn/post/7091132240574283813 CompletableFuture已经提供了串行、并行等常用异步编排的方案,但在细节上还是有许多不足,比如回调方面,编排复杂顺序方面,就捉襟见肘了。 之前我有关

  • spark调优-master、worker和driver、executor2022-04-13 15:05:05

    master和worker是物理节点,driver和executor是进程。   1、master和worker节点 搭建spark集群的时候我们就已经设置好了master节点和worker节点,一个集群有多个master节点和多个worker节点。 master节点常驻master守护进程,负责管理worker节点,我们从master节点提交应用。 worker节点

  • c++中的**2022-04-11 17:00:41

    worker** = new worker*【5】 意思是保存指针的数组的首地址,用这个**来维护保存指针的数组 如果数组超了,那就开辟一的新的堆区,注意开辟新堆区的时候要销毁旧的堆区,删除旧的堆区的时候,堆区变量的类型不变,只是指向的地址并不是堆区了。 注意堆区一定要用后删除

  • laravel8使用laradock配置supervisor和horizon2022-04-09 09:03:37

    一、laradock启用supervisor 1 - Open the .env file 2 - Set WORKSPACE_INSTALL_SUPERVISOR and WORKSPACE_INSTALL_PYTHON to true. 3 - Create supervisor configuration file (for ex., named laravel-worker.conf) for Laravel Queue Worker in php-worker/supervis

  • 线程池ThreadPoolExector核心ctl, execute, addWorker, reject源码分析2022-04-03 21:02:23

    线程池核心方法execute()解析: public void execute(Runnable command) {//#1 if (command == null) throw new NullPointerException(); int c = ctl.get(); if (workerCountOf(c) < corePoolSize) {//#2 if (addWorker(command, true))

  • |NO.Z.00048|——————————|BigDataEnd|——|Java&static关键字继承.V08|-------------------------------------|Java2022-04-03 18:04:10

    [BigDataJava:Java&static关键字继承.V08]                                                                 [BigDataJava.面向对象][|章节三|static关键字和继承|方法重写的概念和使用|方法重写的原则|]一、方法重写的概念和使用### --- 方法

  • |NO.Z.00047|——————————|BigDataEnd|——|Java&static关键字继承.V07|-------------------------------------|Java2022-04-03 18:03:47

    [BigDataJava:Java&static关键字继承.V07]                                                                 [BigDataJava.面向对象][|章节三|static关键字和继承|继承的由来和概念|继承的特点|]一、继承的由来和概念二、集成的概念### --- 继

  • 线程池回收2022-03-28 17:00:35

    我们都知道在向线程池提交任务时,会有以下三种情况:如果线程池内运行的线程数小于设置的 corePoolSize 值,不论是否有空闲线程都会新创建一个线程执行该任务1. 如果线程数已到达 corePoolSize 值,则会将任务放入任务队列2. 当任务队列已满,并且线程数小于设置的 maximumPoolSize 值,则会

  • Go语言实现轻量级线程池2022-03-21 18:03:37

    相对于操作系统线程,Goroutine 的开销十分小,一个 Goroutine 的起始栈大小为 2KB,而且创建、切换与销毁的代价很低,可以创建成千上万甚至更多 Goroutine。所以和其他语言不同的是,Go 应用通常可以为每个新建立的连接创建一个对应的新 Goroutine,甚至是为每个传入的请求生成一个 Goroutin

  • .NET 6学习笔记(2)——通过Worker Service创建Windows Service2022-03-20 14:33:42

    通过Visual Studio中的Windows Service模板,我么可以创建.NET Framework版本的Windows Service,网络上对此已有详细且丰富的各路教程。但在我们升级到.NET Core 3.1或.NET 6后(这里仅讨论两个LTS版本),情况发生了相当大的变化。我们需要根据新的Worker Service模板,基于BackgroundServic

  • 3.Spark设计与运行原理,基本操作2022-03-10 15:00:13

    1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、Structured Streaming、MLlib和GraphX等组件。 图1 Spark生态系统的组成及各组件 各个组件的具体

  • Spark设计与运行原理,基本操作2022-03-10 01:31:49

    一、请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、Structured Streaming、MLlib和GraphX等组件。 图1 Spark生态系统的组成及各组件 各个组件的具体功能如下: Spark Core Spark Core包含Spark最基础和

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有