我们正在尝试使用 HornetQ 存储和转发机制...但是,使用核心桥将消息从一个独立的 HornetQ 实例转发到另一个实例非常慢。我们无法将吞吐量提高到每秒 200 条消息以上。
令人惊讶的事实是,如果我们将同一客户端(向转发 HornetQ 实例发布消息)直接指向目标 HornetQ 实例,我们就会开始观察到每秒超过 1000 条消息的吞吐量(该客户端基于 JMS)。这基本上意味着转发 HornetQ 实例和目标 HornetQ 实例之间配置的核心桥有问题。
以下是在转发HornetQ上配置核心网桥的相关部分:
<connectors>
<connector name="netty-bridge">
<factory-class>org.hornetq.core.remoting.impl.netty.NettyConnectorFactory</factory-class>
<param key="host" value="destination.xxx.com"/>
<param key="port" value="5445"/>
<param key="batch-delay" value="50"/>
<param key="tcp-send-buffer-size" value="1048576"/>
<param key="tcp-receive-buffer-size" value="1048576"/>
<param key="use-nio" value="true"/>
</connector>
</connectors>
<address-settings>
<address-setting match="jms.queue.Record">
<dead-letter-address>jms.queue.RecordDLQ</dead-letter-address>
<max-size-bytes>262144000</max-size-bytes>
<page-size-bytes>10485760</page-size-bytes>
<address-full-policy>PAGE</address-full-policy>
</address-setting>
</address-settings>
<queues>
<queue name="jms.queue.Record">
<address>jms.queue.Record</address>
</queue>
</queues>
<bridges>
<bridge name="core-bridge">
<queue-name>jms.queue.Record</queue-name>
<forwarding-address>jms.queue.Record</forwarding-address>
<retry-interval>1000</retry-interval>
<retry-interval-multiplier>1.0</retry-interval-multiplier>
<reconnect-attempts>-1</reconnect-attempts>
<confirmation-window-size>10485760</confirmation-window-size>
<static-connectors>
<connector-ref>netty-bridge</connector-ref>
</static-connectors>
</bridge>
</bridges>
以下是在 Destination HornetQ 上配置核心网桥的相关部分:
<acceptors>
<acceptor name="netty">
<factory-class>org.hornetq.core.remoting.impl.netty.NettyAcceptorFactory</factory-class>
<param key="host" value="${hornetq.remoting.netty.host:192.168.2.xxx}"/>
<param key="port" value="${hornetq.remoting.netty.port:xxxx}"/>
<param key="tcp-send-buffer-size" value="1048576"/>
<param key="tcp-receive-buffer-size" value="1048576"/>
<param key="use-nio" value="true"/>
<param key="batch-delay" value="50"/>
<param key="use-nio" value="true"/>
</acceptor>
<acceptors>
<address-settings>
<address-setting match="jms.queue.Record">
<dead-letter-address>jms.queue.RecordDLQ</dead-letter-address>
<max-size-bytes>262144000</max-size-bytes>
<page-size-bytes>10485760</page-size-bytes>
<address-full-policy>PAGE</address-full-policy>
</address-setting>
</address-settings>
<queues>
<queue name="jms.queue.Record">
<address>jms.queue.Record</address>
</queue>
</queues>
所有系统变量(CPU/内存/磁盘IO/网络/等)均未得到充分利用,并且日志中没有错误。
注意:我们尝试过 NIO 以及遗留/旧 IO。这已经在 HornetQ-2.2.5-Final 和 HornetQ-2.2.8-GA 上进行了尝试(2.2.8-GA 是从源代码构建的)
知道可能导致此问题的原因以及解决方案是什么吗?
其他观察结果:看起来通过核心桥发送的消息是事务性的......那么是否可以批量处理这些事务并使两个 HornetQ 实例之间的通信异步发生?
好吧..我自己解决了这个问题。
当转发 HornetQ 创建网桥时,它在内部仅使用一个线程通过网桥发送消息,并且仅打开一个到目标 HornetQ 的连接。因此,它无法利用多个处理器,并且还受到网络(延迟/带宽/rtt)的限制,并且无法有效地并行发送消息。因此,如果吞吐量很高,就会开始达到上限(在我们的例子中约为每秒 200 条消息)。您可以通过调整 HornetQ 连接器和接受器参数(例如 TCP 发送和接收缓冲区大小)和桥接设置(确认窗口大小)来增加此值,但这只会花费您很长时间(我们的吞吐量高达每秒约 300 条消息) ).
解决方案 - 在同一对转发和目标 HornetQ 实例之间创建多个网桥(涉及相同的队列)。这有效地并行化消息传输,从而提高吞吐量。创建三个网桥几乎使吞吐量增加了两倍,达到每秒 870 条消息。
JBoss 理想情况下需要在核心桥中配置这种并行化。
我相信您使用的是 2.2.5(从您的帖子中不清楚您使用的是哪个版本),它在桥上有一个错误,导致您所说的问题。
在某些版本中,桥接器同步发送消息,而不是依赖异步确认。
看看它在最新版本上的表现如何。