标签：multithreading sockets connection-pooling zeromq java

我正在利用ZeroMQ N对N的发布/订阅模型构建POC.从我们的应用服务器,当响应http请求时,如果线程从数据库中提取数据,它将使用该数据更新本地内存缓存实例.为了同步应用服务器集群中的其他Memcache实例,请求线程使用ZMQ发布器将消息与数据一起发送…所以问题是：就应用程序最小化套接字创建/存储开销而言,哪种策略最有效有许多线程依赖套接字来发送消息？我们是否共享一个套接字池,是否为每个线程创建/销毁套接字,等等？

策略1-线程管理的发布者套接字
在这种方法中,每个线程T1,T2和T3通过创建套接字对象(发布者),建立连接,发送消息并最后关闭套接字来管理套接字对象(发布者)的生命周期.基于this,这当然是最安全的方法,但是当套接字被重复创建,连接和销毁时,我们会担心开销.如果开销会对性能产生负面影响,我们希望避免这种情况.

策略2-发布者套接字对象池
在这种方法中,父进程(应用服务器)在启动时会初始化ZMQ发布者池.当线程需要发布者时,它从对象池中获取一个,然后发送其消息,然后将发布者返回到该池中.相对于使用发布者的线程,创建,连接和销毁套接字的过程被省去了,但是对池的访问是同步的,以避免任何两个线程同时使用同一发布者对象,这就是死锁和并发问题所在可能会出现.

我们没有介绍这两种方法,因为想先对SO测试进行测试.关于数量,我们的应用程序不会“大量发布”,但可能同时有100-150个线程(每个应用程序服务器)之间,需要发布消息.

因此,重申一下：当应用程序具有许多依赖发布者来发送消息的线程时,在最小化开销,同时强调性能方面,哪种策略最有效？

解决方法:

如果不提供估计吞吐量的真实数字,您就无法真正提出有关性能的问题.我们是说每秒10个请求,100、1,000、10K吗？

如果HTTP服务器确实在为每个请求创建和销毁线程,则反复创建0MQ套接字会给OS造成压力,并且取决于请求的数量和您的进程限制,它会起作用,或者会用完句柄.您可以对此进行简单测试,这就是第一步.

然后,共享一个套接字池(您所说的“ ZMQ发布者”是很讨厌的).人们会这样做,但是套接字不是线程安全的,因此在将套接字切换到另一个线程时要非常小心.

如果有一种方法可以保持线程的持久性,那么每个人都可以根据需要创建其PUB套接字,只要存在就可以一直保持下去.如果没有,那么我的第一个设计将无论如何创建/销毁套接字,但是使用inproc：//将消息发送到单个永久转发器线程(SUB-PUB代理).我会对此进行测试,然后如果它破裂,请使用更多奇特的设计.

通常,进行最简单的设计并将其破坏,而不是过度考虑设计过程(尤其是刚开始时),会更好.

标签：multithreading,sockets,connection-pooling,zeromq,java
来源： https://codeday.me/bug/20191030/1971278.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。