AWS在re:Invent 2018大会上首先释出托管Apache Kafka串流服务（Amazon Managed Streaming for Apache Kafka，MSK）的消息，现在已经脱离预览阶段推出正式服务。Apache Kafka是一个分布式的串流平台，其使用发布以及订阅的架构，将产生串流数据的应用程序与利用串流数据的角色分离。Apache Kafka让使用者可以捕捉像是串流事件、交易、物联网事件，或是应用程序与日志等串流数据，还能实时进行分析，连续不间断地转换数据，并再将收到的数据经过处理后，分散到其他的数据湖和数据库中。
AWS提到，用户在生产环境中要配置Apache Kafka，需要克服一些障碍，特别是在后续的管理以及规模扩展工作上，而现在AWS正式推出的MSK服务，则由AWS负责管理任务，让用户可以简单地配置使用，而且由于近几个版本的Kafka，都需要与节点协调程序Zookeeper共同使用，因此MSK服务也只要简单地设定，就能让Kafka与ZooKeeper一同运作。使用MSK服务，用户可以在几分钟内创建丛集，并使用AWS身分管理与访问控制IAM管理丛集操作，也能透过ACM（AWS Certificate Manager）完全托管的TLS私密凭证颁发机构授权客户端，以TLS加密数据，并使用KMS（AWS Key Management Service）中的密钥加密其他数据。当服务器发生故障时，MSK还会替换故障机器，自动执行修补工作，用户可以从Amazon CloudWatch中，监控服务的状态指标。
AWS表示，MSK与Kafka 1.1.1和2.1.0版本完全兼容，因此用户可以在AWS直接执行原本的Kafka应用程序以及工具，而不需要修改任何的程序代码，用户能使用开源工具MirrorMaker，将数据从现有的Kafka丛集直接搬移到MSK上。MSK的计价方式是以Kafka Broker以及配置储存每小时计价，MSK的数据传输费率与原本的AWS数据传输相同，而丛集所使用的Zookeeper节点，还有区域丛集的Broker和Zookeeper节点互传数据是不额外收费的。现在用户已经可以在大部分的AWS区域使用到MSK服务，包括北美、亚洲与欧洲。
标签：AWS,Kafka,MSK,串流,Apache,丛集 来源： https://blog.51cto.com/13355233/2404829
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。