今日学习内容补充： 1.hadoop介绍： 狭义: 核心组件，Hadoop hdfs 分布存储 yarn 资源管理和任务调度框架 mapreduce 计算 （企业基本不再直接使用） 广义： 围绕Hadoop打造的大数据生态圈 Hadoop发行版本： 开源社区：http://hadoop.apache.org/ 商业版本：cloudera和hortonworks H
前言 Hadoop集群=HDFS集群+YARN集群 特点：两个集群逻辑上分离，通常物理上在一起；并且都是标准的主从架构集群 Hadoop安装 方式一源码编译安装 方式二官方编译安装包 (✔) 环境 Centos +虚拟机 集群规划 服务器 运行角色 node1.itcast.cn namenode datanode resourcemanager
原题链接 P1686 挑战 题目大意 有一条路径，使用 E , W , S , N
CRUSH的全称是Controlled Replication Under Scalable Hashing，是ceph数据存储的分布式选择算法，也是ceph存储引擎的核心。 ceph的客户端在往集群里读写数据时，动态计算数据的存储位置。这样ceph就无需维护一个叫metadata的东西，从而提高性能。 ceph分布式存储有关键的3R: Replicat
CRUSH的全称是Controlled Replication Under Scalable Hashing，是ceph数据存储的分布式选择算法，也是ceph存储引擎的核心。 ceph的客户端在往集群里读写数据时，动态计算数据的存储位置。这样ceph就无需维护一个叫metadata的东西，从而提高性能。 ceph分布式存储有关键的3R: Repli
k8s-数据卷hostPath卷 1. 数据卷hostPath卷 hostPath卷：挂载Node节点本地文件系统（Pod所在节点）上文件或者目录到Pod中的容器。 应用场景：Pod中容器需要访问宿主机文件 示例: apiVersion: v1 kind: Pod metadata: name: my-hostpath spec: containers: - name: busybox
k8s-数据卷NFS共享卷 1. k8s数据卷NFS共享卷 NFS数据卷：提供对NFS挂载支持，可以自动将NFS共享路径挂载到Pod中 NFS：是一个主流的文件共享服务器。 安装示例： # yum install nfs-utils -y # vi /etc/exports /ifs/kubernetes *(rw,no_root_squash) # mkdir -p /ifs/kubernetes #
【02】Kafka主题的增、删、查 增： bin/kafka-topics.sh --create --topic flink_kafka --partitions 3 --replication-factor 2 --bootstrap-server node1:9092,node2:9092,node3:9092 删： bin/kafka-topics.sh --delete --topic bigdata01 --bootstrap-server node1:9092,node2
题目描述： 给你两个 非空 的链表，表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的，并且每个节点只能存储 一位 数字。 请你将两个数相加，并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外，这两个数都不会以 0 开头。 示例1: 输入：l1 = [2,4,3], l2 =
Ceph添加OSD报错 ceph-deploy disk zap node3-ceph /dev/nvme1n1 [node3-ceph][WARNIN] stderr: wipefs: error: /dev/nvme1n1: probing initialization failed: Device or resource busy [node3-ceph][WARNIN] --> failed to wipefs device, will try again to worka
1：curl curl -h来查看请求参数的含义 -v 显示请求的信息 -X 选项指定其它协议 get: curl -v 127.0.0.1:8080/users/age/18 post: curl -v 127.0.0.1:8080/users -d 'age=14&cupSize=C' curl -v -X POST 127.0.0.1:8080/users -d 'age=14&cupSize=C'
导语 这篇博客是在看慕课时写的，由于我的环境为TF2.3，在看慕课里TF1.*的代码的时候，运行起来就会出现种种问题，而我呢又不想直接去看TF2的内容，就一个个解决，记录下来，慕课链接放在下面，当然这篇博客会以TF2为主，毕竟主要还是用TF2的嘛，当然不一定完全哈。这一个板块的所有博客应该都会这样
问题描述： 现有集群只有一个mon，需要通过ceph-deploy mon add添加两个mon。在admin(node1)节点执行命令： ceph-deploy mon add node2 提示如下error： [node2][ERROR ] admin_socket: exception getting command descriptions: [Errno 2] No such file or directory [node2][WARNIN]
链表（双向链表） 需求 单向链表：查找方向只能是一个方向，即通过next域去查找下一个节点，单向链表删除时，也不能自动删除，在前面单向链表中由于我们只能通过next域向后查找，所以在很多操作时需要借助辅助变量（节点）temp去找删除节点的前一个节点进行操作。 双向链表：可以向前或向后查找，提
Hadoop完全分布模式的搭建目录1.安装前准备2.修改主机名3.映射IP地址及主机名4.免密登录设置5.安装NTP服务6.安装Hadoop7.设置Hadoop配置文件8.格式化HDFS9.启动Hadoop10.验证Hadoop进程11.通过Web访问Hadoop 1.安装前准备 在VMware安装3台Ubuntu16.04的虚拟机并且都安装jdk。采用
部署 nexus https://help.sonatype.com/repomanager3/installation/system-requirements#SystemRequirements-SupportedVersions 安装jdk [root@mq-node3 ~]# apt install openjdk-8-jdk -y 解压nexus [root@mq-node3 ~]# cd /usr/local/src/ [root@mq-node3 src]# ll total 8 d
会话 （Session） TF中Session拥有并且控制TF程序运行时所有的资源；在计算完成后应当关闭会话回收资源 创建会话方式一 import tensorflow as tf #定义节点node1 node1=tf.constant([1,2,3]) #创建会话 sess=tf.Session() #调用sess.run()计算张量的值 try: print(sess.run(node
LVS 配置 节点node1 >配置LVS服务器 ifconfig eth0:1 192.168.158.100/24 节点node2,node3>调整协议 cd /proc/sys/net/ipv4/conf/eth0 echo 1 > arp_ignore echo 2 > arp_announce cd /proc/sys/net/ipv4/conf/all echo 1 > arp_ignore echo 2 > arp_announce 节点n
文章目录 Ceph集群与Ceph块存储实验环境准备方案为虚拟机添加磁盘：所有主机设置防火墙和SELinux（如果已经关闭，则此步骤可以忽略）配置无密码连接(包括自己远程自己也不需要密码)，在node1操作。修改/etc/hosts并同步到所有主机。修改所有节点都需要配置YUM源，并同步到所有主机。给
k3s集群： 在master节点执行： 确认k3s节点信息 #k3s kubectl get node -o wide或者#k3s kubectl get nodes 1、不可调度 #k3s kubectl cordon k3s-agent-node3 取消不可调度 #k3s kubectl uncordon k3s-agent-node3 2、驱逐已经运行的业务容器 #k3s kubectl drain --ignore-da
Prometheus的安装 官网：https://prometheus.io/ 下载地址：https://prometheus.io/download/ 1.1安装Prometheus Server Prometheus基于Golang编写，编译后的软件包，不依赖于任何的第三方依赖。只需要下载对应平台的二进制包，解压并且添加基本的配置即可正常启动Prometheus Server。
本地部署一套以太坊私链，先用默认的PoW共识 #!/bin/bash # Clear node1 & node2 echo "Clear node1 & node2 & node3." rm -rf node1/geth rm -rf node2/geth rm -rf node3/geth rm -rf node1/eth_output.log rm -rf node2/eth_output.log rm -rf node3/eth_output.log r
利用virtualBox和vagrant搭建K8S集群简要步骤： 一、Vagrantfile Vagrant.configure("2") do |config| (1..3).each do |i| config.vm.define "k8s-node#{i}" do |node| # 设置虚拟机的Box node.vm.box = "centos/7"
1、Harbor安装文件下载 Github地址：https://github.com/goharbor/harbor/releases/ 2、下载docker-compose Github地址：https://github.com/docker/compose/releases/ 3、下载后放置到Linux /usr/bin目录下，并重命名为docker-compose，并赋予可执行权限。解压harbor [root@node3
一、安装与配置千万不要点击 “我已复制该虚拟机”，会引起MAC地址的冲突，因为每一台linux服务器都有一个MAC地址，如果复制，MAC地址也会被拷贝可以通过Xshell 进行远程连接 node1 node2 node3 在以后做 大数据开发中可以作为三个hadoop节点现在需要打开 node3 后续会安装 docker应用为n
