Flink 没有类似于 spark 中 foreach 方法，让用户进行迭代的操作。虽有对外的输出操作都要利用 Sink 完成。最后通过类似如下方式完成整个任务最终输出操作。 stream.addSink(new MySink(xxxx)) 官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink。 5.0 File
在6月8日举办的【墨天轮数据库沙龙第七期—开源生态专场】中，清华大学博士，助理研究员，Apache IoTDB PMC 乔嘉林老师分享了《Apache IoTDB，源于清华，建设开源生态之路》主题演讲，本文为整理内容。 导读 大家好，我是来自清华大学的乔嘉林。Apache IoTDB是一个开源项目，起源于清华大学实验
一、MQ简介 MQ，Message Queue，是一种提供消息队列服务的中间件，也称为消息中间件，是一套提供了消息生产、存储、消费全过程API的软件系统。消息即数据。一般消息的体量不会很大。 二、MQ用途 从网上可以查看到很多的关于MQ用途的叙述，但总结起来其实就以下三点。 1、限流削峰 MQ可以将
excel文件校验 工作中，经常存在excel文件的导入导出的相关工作，因此正确的文件格式校验成为必须。 不合适的文件校验方式会导致非法文件跳过校验，从而产生不必要的麻烦。 比如，通过文件后缀名的方式进行校验，这种方式其实是存在问题的，因为后缀名可自定义。 正确的校验方式，则应该根据文
HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block org.apache.hadoop.ipc.RemoteException(java.io.IOException): could only be replicated to 0 nodes instead of minReplication (=1) 问题描述 在本地
DataX的ftpreader读插件和ftpwriter写插件的path为中文目录时，可能会出现乱码或无法正常同步数据问题，如报以下错误： 1、ftpreader读插件报错： com.alibaba.datax.common.exception.DataXException: Code:[FtpReader-04], Description:[您配置的目录文件路径不存在或者没有权限读取
先准备好 java 环境 为 zookeeper 创建一个单独的用户。sudo useradd zookeeper -m -m 参数是用于在创建用户的同时创建 Home 目录。 上面的脚本会创建目录 /home/zookeeper 指定 zookeeper 用户的默认 shell 为 bash。sudo usermod --shell /bin/bash zookeeper 设置用户
导出结果为excel是相对常见的业务需求，大部分情况下只需要导出简单的格式即可，所以有许多可以采用的方案。有些方案还是很容易实现的。 一、可用的解决方案 目前可以有几类解决方案： 字处理企业提供的解决方案 -- 目前这个还没有看到，大概这些企业不屑于与民争利或者因为某些理由没有
Apache Avro Apache Avro（以下简称 Avro）是一种与编程语言无关的序列化格式。Doug Cutting 创建了这个项目，目的是提供一种共享数据文件的方式。 Avro 数据通过与语言无关的 schema 来定义。schema 通过 JSON 来描述，数据被序列化成二进制文件或 JSON 文件，不过一般会使用二进制文件
一、开启Apache 打开终端，输入如下开启命令。 开启Apache： sudo apachectl start 或 apachectl -k start 或 sudo httpd -k stop 关闭Apache： sudo apachectl stop 或 apachectl -k stop 重启Apache： sudo apachectl restart 或 apachectl -k restart #apachectl命令和httpd
1、创建maven项目，配置相关依赖pom.xml 注意 <packaging>maven-plugin</packaging> <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/X
Spark SQL 数据源（json文件、hive表、parquet文件） -- json 详见 524 hive表 scala> val hivecontext = new org.apache.spark.sql.hive.HiveContext(sc) warning: one deprecation (since 2.0.0); for details, enable `:setting -deprecation' or `:replay -deprecation'
scala> val employee = sqlparquet.read.json("employee.json") 这里将txt转化为parquet应该也行 employee: org.apache.spark.sql.DataFrame = [_corrupt_record: string, age: string ... 2 more fields] scala> employee.write.parquet("employee.parquet"
1.打开组件安装 Eclipse→Help→Install New Software 2.输入当前eclipse对应版本（例如：2022-06），选择提示的官方路径 3.选择最底下的Web, XML, Java EE and OSGi Enterprise Development中的JST Server Adapters Extensions(勾选) 4.点击安装，同意，重启 5.可以选择相关tomcat Windows→
1.在官网下载对应的压缩包 https://maven.apache.org/download.cgi 2.将压缩包解压 3.配置环境变量 MAVEN_HOME: M2_HOME: path: 4.配置阿里云镜像 在Maven的E:\maven\apache-maven-3.8.6\conf\settings.xml中进行配置 <mirrors> <mirror> <id>alimaven
1.到Apache Tomcat官网下载压缩包 2.将下载的文件包解压 3.配置环境变量 CATALINA_HOME path：
加入log4j日志功能 加入依赖 <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> <version>1.7.32</version></dependency> 配置文件 （在resource目录下创建log4j.properties，然后复制） log4j.rootLogger
1、下载 1、zooKeeper 官网下载：https://zookeeper.apache.org/releases.html 自行下载 2、推荐下载地址：https://downloads.apache.org/zookeeper/stable/ 直接下载这个： 使用wget下载： wget https://downloads.apache.org/zookeeper/stable/apache-zookeeper-3.6.3-bin.tar.gz
！首先关闭系统的selinux和防火墙。 #getenforce Disabled #systemctl status firewalld (dead) 一、安装Apache httpd 1. yum安装Apache 指令：yum -y install httpd 2. 启动apache服务 指令：systemctl start httpd 验证是否安装成功：打开浏览器输入 http://虚拟机ip地
代码 package test import org.apache.kafka.clients.consumer.{ConsumerConfig, ConsumerRecord} import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.{SparkConf, TaskContext} import org.apache.spark.streaming.dstream.{DStream
需求：前端JSON数据，后端用String[]接收，用varchar来存入数据库。 myabtis默认的typehandler不支持，需要自定义处理器来操作。 代码示例 //前端json { "specifications": [ "标准" ] } //java字段 private String[] specifications; 异常信息做参考 Caused
开源项目推荐 Process Compose Process Compose 是一个调度编排工具，不过不是用来调度容器的，而是用来调度非容器化的应用，可以定义进程的依赖性和启动顺序，也可以定义重启策略。它的编排文件内容格式和 Docker Compose 比较类似，例如： version: "0.5" environment: - 'GLOBAL_ENV_VA
问题表现 我自己遇到的问题是： ### Error querying database. Cause: java.lang.IllegalArgumentException: dataSource or dataSourceClassName or jdbcUrl is required.### The error may exist in class path resource [mapper/risk-curve-mapper.xml]### The error may involve
1.情景展示 使用easyExcel，生成excel文件，报错信息如下： Caused by: java.lang.NoSuchMethodError: org.apache.poi.util.TempFile.setTempFileCreationStrategy(Lorg/apache/poi/util/TempFileCreationStrategy;)V 2.具体分析 jar包冲突导致 3.解决方案 easyexcel，2.2.6版本 <depe
Apache IO包 常用 FileUtils IOUtils IO流章节总结
