常用命令 创建Topic： ./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic shixTopic --partitions 2 --replication-factor 1 查看Topic： ./kafka-topics.sh --list --bootstrap-server localhost:9092 生产数据： ./kafka-console-producer.sh --broker-list
1 参考 【尚硅谷】Shell脚本从入门到实战_哔哩哔哩_bilibili 本文为上面链接的课程学习记录。 2 基础 shell脚本需要shell解释器进行执行，shell解释器就是一个应用程序，有多种。 2.1 命令解释器 常用/bin/sh和/bin/bash。 $ cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/b
systemctl 新建脚本，例如，/tmp/mytest.sh，设置权限chmod +x /tmp/mytest.sh 进入目录/usr/lib/systemd/system，新建服务，例如mytest.service，编辑为如下形式： highlighter- code-theme-dark ini [Unit] Description=mytest for auto start Wants=network-online.target [Service] U
Spark Local环境部署 下载地址 https://dlcdn.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz 条件 PYTHON 推荐3.8 JDK 1.8 Anaconda On Linux 安装 本次课程的Python环境需要安装到Linux(虚拟机)和Windows(本机)上 参见最下方, 附: Anaconda On Linux 安装 解压
1. 概述 平时集群需要经常部署mariadb数据库服务。mariadb的部署，有很多种方式，可以根据实际需求选择不同的部署架构。 比较常用的包括： 单点部署 双主部署 主从部署 本篇内容主要主要是完成另一个支持这三种部署方式的脚本，在平时使用足够。 脚本在安装了centos7.9的虚拟机环境测试
1.先杀死进程（先进入到hadoop版本文件里，我的是 /opt/module/hadoop-3.1.3/） sbin/stop-dfs.sh 2.删除每个集群上的data以及logs rm -rf data/ logs/ 3.格式化 hdfs namenode -format 4.再启动 sbin/sart-dfs.sh
主要内容 用scoop包管理自动下载安装jdk，自动配置环境，一键安装（把里面命令跑一遍就行了） 需要工具 Powershell（自带可） https://docs.microsoft.com/zh-cn/powershell/ 包管理命令行工具 Scoop （命令行安装） https://github.com/lukesampson/scoop 安装包管理工具Scoop shift + 鼠标右
今天遇到一个问题，由于代码问题导致了很多kafka消息入到备用库，偏移量已经变成了最新；如何将偏移量重设到某个时间点，但消费群组重新去消费一次，是解决问题的关键，于是，使用了kafka/bin的sh程序，以下是解决问题的步骤： 查看某个组的topic偏移量，这步只是查看，没什么配置作用，只是作到心中有数
tag: #Redis #源码阅读 #数据结构 代码链接: https://github.com/redis/redis/blob/unstable/src/sds.h https://github.com/redis/redis/blob/unstable/src/sds.c 数据结构 sds的定义 sds定义是一个char* 类型指针的别名, 我们在传递sds的时候实质上就是传递的C风格字符串. 实际
在Linux用Qt开发的程序，如果想要在别的Linux主机上运行，那么需要把可执行程序和所依赖的链接库都打包才可以。 1、编译文件 在Qt中使用release的方式编译出可执行文件。 2、创建脚本 (1).创建copy_libs.sh拷贝可执行程序以及所依赖的链接库到指定目录下 #!/bin/sh appName="HelloWo
1.背景 shell 不小心执行了死循环，一直在打印报错，指令都无法输入 2.解决 打开另一个窗口 找到该文件的进程然后kill掉该进程， 我的文件是 rec.sh 因此指令 ps -ef|grep rec.sh 然后使用 kill - 9 进程号
1.背景 执行vim 文件 报错 2.解决 选择 r , 恢复文件后保存再退出 ，然后将.rec.sh.swp文件删除即可 删除指令 rm -f .rec.sh.swp
1、新建归档sh脚本 vim daily_archive.sh 2、编写sh脚本 #!/bin/bashif [ $# -ne 1 ]thenecho "参数个数错误！应该输入一个参数，作为归档目录名"exitfiif [ -d $1 ]thenechoelseechoecho "目录不存在！"echoexitfiDIR_NAME=$(basename $1)DIR_PATH=$(cd $(dirname $1);pwd)DATE=$(
案例说明： KingbaseES V8R6C6中sys_backup.sh在通用机单实例环境，默认需要通过securecmdd工具以及kingbase和root用户之间的ssh互信，执行备份初始化（init）；对于使用ssh环境，如果kingbase和root之间没有建立ssh互信，直接执行脚本初始化会产生错误，需要修改脚本后再执行。 操作系统： 适用版本
概述 定义 dolphinscheduler 官网地址 https://dolphinscheduler.apache.org/ dolphinscheduler GitHub地址 https://github.com/apache/dolphinscheduler Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的
原文链接：https://developer.aliyun.com/article/982746 1. 为什么要迁移到阿里云函数？ 我的项目是一个节日礼品领取项目，过节的时候会有短时间的流量洪峰。平时访问量很低。之前的架构是购买的阿里云alb+多台ecs+云msyql+云redis。最大的问题就是成本问题。平时流量低的时候ecs成本
官网：https://carbon.now.sh/ 1、不要上下左右的空隙 2、复制图片
FROM Fedora:fc34 RUN curl --output anaconda.sh https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh && \ chmod u+x anaconda.sh && ./anaconda.sh -b -p /root/anaconda3 && eval "$(/root/anaconda3/bin/
思路：先创建一个shell脚本，用于备份pgsql数据库，再使用Cron任务，根据自己需求设置定时任务。环境：centos7+postgres12.0一、创建一个根据日期来定义备份文件名的脚本1. 创建db_backup.sh文件touch db_backup.sh2. 赋予777权限chmod -R 777 db_backup.sh二、对db_backup.sh文件进行编写
用putty与香橙派建立连接：IP地址：192.168.3.102 登录Linux系统，用户名：root；密码：samedoo100 进入文件夹：cd /home/mica/bin 安装驱动：./install_driver.sh 运行录音demo：./run_demo.sh 强制退出上一次，需要删除。dev shm 下面的那个库单例保护锁：rm /dev/shm/ 按下TAB 回车再运行demo
在 Mac 上将 zsh 用作默认 Shell 从 macOS Catalina 版开始，您的 Mac 将使用 zsh 作为默认登录 Shell 和交互式 Shell。您还可以在较低版本的 macOS 中将 zsh 设置为默认 Shell。 默认情况下，您的 Mac 使用 zsh 或 bash 作为登录 Shell 和交互式 Shell 的命令行解释器： 从 m
文件安装与执行 Linux的APT源文件路径为/ept/apt/ 使用apt命令进行更新和安装 更新：sudo aptupdate,sudo apt-get upgrate 安装某个应用sudo apt install -y /PATH/NAME 卸载sudo dpkg -r Name 关于apt： 常用命令： list - 根据名称列出软件包 search - 搜索软件包描述 show
主题管理 创建主题 1 kafka-topics.sh --bootstrap-server 172.16.100.10:9092 --create --topic TestCCC --partitions 3 --replication-factor 3 列出所有主题 1 2 3 4 kafka-topics.sh --list --bootstrap-server 172.16.100.10:9092 # 对于启
前言 NVM: https://github.com/nvm-sh/nvm 这个NVM本身就有对应的脚本，直接拉取执行即可； 内容 安装并配置 # curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.1/install.sh | bash # source ~/.bashrc 使用 # nvm install --lts
cd /export/server/spark sbin/start-master.sh sbin/start-workers.sh sbin/start-history-server.sh 监控：启动以后才能访问 http://node1:8080/ Master监控服务：相当于YARN中的8088 http://node1:18080/ HistoryServer历史监控服务：相当于MR中的19888 - Master
