标签：java mapreduce hadoop distributed

我们计划将大量的度量数据放入某种nosql数据库中,可能是cassandra,也许是其他服务器上的其他内容.

我们希望在地图缩减样式中对数据进行计算(在机器所在的位置聚合数据,然后合并结果).

我使用Cassandra和Hadoop以及mapreduce进行了POC.启动mapreduce作业并获得结果的开销对我们的需求来说太高了.

在我们自己开始之前,还有其他任何强调性能的分布式Java框架吗？

解决方法:

在我们自己开始之前,还有其他任何强调性能的分布式Java框架吗？ – 每个框架都会尝试强调性能作为维度之一.

I made a POC using Cassandra and Hadoop and mapreduce. The overhead starting the mapreduce jobs and getting the results was too high for our needs.

Cassandra是MR的输入源类型之一.使用MR将涉及地图任务开始/完成,改组和减少任务开始/完成的时间. MR设计用于批处理,而不是用于瞬时结果.可以进行一定程度的调整,但您应该寻找实时或流处理框架.

看看HStreaming(注意我还没用过它)

HStreaming enables to use the same MapReduce and Apache Pig algorithms and functions for real-time or batch processing. Existing code such as user-defined functions (UDF) can be migrated to stream processing with no or minimal changes. It brings your business a rapid development cycle and gives you the agility to adapt fast to changing business requirements.

标签：java,mapreduce,hadoop,distributed
来源： https://codeday.me/bug/20190902/1791823.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。