четверг, 1 ноября 2012 г.
Использование Spring для работы со встроенным HornetQ сервером
Необходимо подключить к проекту spring-jms.jar, после чего добавить немного кода в конфиг Spring
Это наш встроенный HornetQ сервер, он будет стартовать и останавливаться автоматически при поднятии контекста.
<bean class="org.hornetq.jms.server.embedded.EmbeddedJMS"
destroy-method="stop"
id="jmsServer"
init-method="start"/>
Локатор ConnecitonFactory. Этот класс возвращает экземпляр ConnecitonFactory. Обычно ConnecitonFactory биндится на JNDI, но не в нашем случае, так что требуется специальный класс для того, чтобы получить ее.
<bean class="example.jms.JmsConnecitonFactoryLocator"
depends-on="jmsServer"
factory-method="lookupConnectionFactory"
id="jmsConnectionFactory">
<constructor-arg= name="server" ref="jmsServer" />
</bean>
Это стандартный JMSTemplate, с его помошью мы будет отсылать сообщения в очередь
<bean class="org.springframework.jms.core.JmsTemplate"
depends-on="jmsServer"
id="jmsQueueTemplate">
<property name="connectionFactory">
<ref bean="jmsConnectionFactory"/>
</property>
</bean>
JmsQueueLocator - класс-фабрика для получения экземпляра очереди. Необходим для того, чтобы организовать приемник сообщений.
<bean class="example.jms.JmsQueueLocator"
depends-on="jmsServer"
factory-method="lookupQueue"
id="paymentQueue">
<constructor-arg name="server" ref="jmsServer" />
<constructor-arg name="queueName" value="queue/paymentQueue" />
</bean>
Собственно класс, отвественный за получение сообщений. Поддерживает несколько конкурентных получателей.Обратите внимание на ref="transactionPusher". Данный бин определяется в коде посредством аннотации @Component(value = "transactionPusher")
<bean id="jmsContainerPayment"
class="org.springframework.jms.listener.DefaultMessageListenerContainer">
<property name="connectionFactory" ref="jmsConnectionFactory"/>
<property name="destination" ref="paymentQueue"/>
<property name="messageListener" ref="transactionPusher" />
<property name="concurrentConsumers" value="5"/>
</bean>
Теперь код:
Класс-фабрика для получения соединения с нашим встроенным JMS сервером
public class JmsConnecitonFactoryLocator {
private static final Logger logger = LoggerFactory.getLogger(JmsConnecitonFactoryLocator.class);
public static HornetQJMSConnectionFactory lookupConnectionFactory(EmbeddedJMS server){
HornetQJMSConnectionFactory cf = (HornetQJMSConnectionFactory) server.lookup("ConnectionFactory");
if(cf == null){
logger.error("connection factory is null");
}else{
logger.info("connection factory is not null");
}
return cf;
}
}
Класс-фабрика для получения экземпляра очереди
public class JmsQueueLocator {
public static Queue lookupQueue(EmbeddedJMS server, String queueName){
return (Queue) server.lookup(queueName);
}
}
Класс - приемник сообщений
@Component(value = "transactionPusher")
public class TransactionPusher implements MessageListener {
private static final Logger logger = LoggerFactory.getLogger(TransactionPusher.class);
@Override
public void onMessage(Message message) {
try{
TextMessage m = (TextMessage)message;
m.acknowledge(); // говорим, что успешно приняли сообщение.
// сделать что-то полезное
} catch (JMSException e) {
logger.error("JMS exceptoin: ", e);
}
}
}
Пример использования JMSTemplate для отсылки сообщений:
public void addPaymentToQueue(final Transaction t) throws JMSException {
jmsTemplate.send(paymentQueue, new MessageCreator() {
@Override
public Message createMessage(Session session) throws JMSException {
TextMessage msg = session.createTextMessage();
msg.setText(String.valueOf(t.getId()));
return msg;
}
});
}
Как можно заметить, Spring берет на себя значительную часть работы по организации рутинных операций, позволяя сосредоточиться на программировании бизнес логики приема и отправки сообщений. Класс DefaultMessageListenerContainer позволяет настраивать количество конкурентных потребителей, а также динамически увеличивать количество потребителей при увеличении нагрузки.
пятница, 17 августа 2012 г.
Отложенная доставка JMS сообщений в HornetQ
Стандарт JMS никак не регламентирует возможность доставки сообщений с определенной задержкой, тем не менее, поскольку это весьма полезная возможность, многие производители включают ее в реализацию.
Для HornetQ произвести задержку в доставке сообщения можно просто установив нужное значение в свойство _HQ_SCHED_DELIVERY (или Message.HDR_SCHEDULED_DELIVERY_TIME)
// задержка в 5 секунд относительно текущего момента.
message.setLongProperty("_HQ_SCHED_DELIVERY", System.currentTimeMillis() + 5000);
Источники:
HornetQ User Manual
Sending delayed JMS Messages
понедельник, 6 августа 2012 г.
Внедрение HornetQ JMS 2.2.5 сервера и клиента в приложение
Мне требовалась асинхронность обработки сообщений, потокобезопастность и возможность мониторинга, и желательно не писать много своего кода. Так что я остановился на HornetQ как уже знакомой мне реализации, которая удовлетворяем моим запросам.
Возьмем версию HornetQ 2.2.5 как последнюю стабильную на данный момент.
Зависимоcти для maven:
<dependency>
<groupId>org.hornetq</groupId>
<artifactId>hornetq-core</artifactId>
<version>2.2.5.Final</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.hornetq</groupId>
<artifactId>hornetq-jms</artifactId>
<version>2.2.5.Final</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.hornetq</groupId>
<artifactId>hornetq-logging</artifactId>
<version>2.2.5.Final</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.jboss.netty</groupId>
<artifactId>netty</artifactId>
<version>3.2.3.Final</version>
</dependency>
<dependency>
<groupId>org.jboss.spec.javax.jms</groupId>
<artifactId>jboss-jms-api_1.1_spec</artifactId>
<version>1.0.0.Final</version>
<scope>compile</scope>
</dependency>
Конфигурация сервера и очередей.
В classpath должны находиться файлы hornetq-configuration.xml, содержащий настройки сервера, hornetq-jms.xml с настройками очередей, и hornetq-users.xml, содержащий настройки пользователей.
hornetq-configuration.xml
<configuration xmlns="urn:hornetq"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="urn:hornetq /schema/hornetq-configuration.xsd">
<persistence-enabled>false</persistence-enabled>
<!-- Connectors -->
<connectors>
<connector name="in-vm">
<factory-class>org.hornetq.core.remoting.impl.invm.InVMConnectorFactory</factory-class>
</connector>
</connectors>
<acceptors>
<acceptor name="in-vm">
<factory-class>org.hornetq.core.remoting.impl.invm.InVMAcceptorFactory</factory-class>
</acceptor>
</acceptors>
<!-- Other config -->
<security-settings>
<!--security for example queue-->
<security-setting match="#">
<permission type="createDurableQueue" roles="guest"/>
<permission type="deleteDurableQueue" roles="guest"/>
<permission type="createNonDurableQueue" roles="guest"/>
<permission type="deleteNonDurableQueue" roles="guest"/>
<permission type="consume" roles="guest"/>
<permission type="send" roles="guest"/>
</security-setting>
</security-settings>
</configuration>
hornetq-jms.xml
<configuration xmlns="urn:hornetq"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="urn:hornetq /schema/hornetq-jms.xsd">
<connection-factory name="ConnectionFactory">
<connectors>
<connector-ref connector-name="in-vm"/>
</connectors>
<entries>
<entry name="ConnectionFactory"/>
</entries>
<consumer-window-size>0</consumer-window-size>
<retry-interval>1000</retry-interval>
<retry-interval-multiplier>1.5</retry-interval-multiplier>
<max-retry-interval>60000</max-retry-interval>
<reconnect-attempts>1000</reconnect-attempts>
</connection-factory>
<!--the queue used by the example-->
<queue name="paymentQueue">
<entry name="queue/paymentQueue"/>
</queue>
<queue name="statusQueue">
<entry name="queue/statusQueue"/>
</queue>
</configuration>
hornetq-jms.xml
<configuration xmlns="urn:hornetq" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="urn:hornetq /schema/hornetq-users.xsd">
<!-- the default user. this is used where username is null-->
<defaultuser name="guest" password="guest">
<role name="guest"/>
</defaultuser>
</configuration>
Старт встроенного сервера очень прост:
import org.hornetq.jms.server.embedded.EmbeddedJMS; EmbeddedJMS server = new EmbeddedJMS(); server.start();Далее создаем нужное число потребителей сообщений:
QueueConnectionFactory cf = (QueueConnectionFactory) server.lookup("ConnectionFactory");
Queue queue = (Queue) server.lookup("queue/paymentQueue");
QueueConnection conn = cf.createQueueConnection("guest", "guest");
for(int i = 0; i< Config.getConsumerCount(); i++){
Session consumerSession = conn.createSession(false, Session.CLIENT_ACKNOWLEDGE);
MessageConsumer consumer = consumerSession.createConsumer(queue);
consumer.setMessageListener(new PaymentSender());
}
Класс PaymentSender должен реализовывать интерфейс javax.jms.MessageListenerЗапускаем обработчики:
conn.start();Теперь нужно создать класс для отсылки сообщений.
private static QueueConnectionFactory qconFactory = null;
private static QueueConnection qcon = null;
public static void init() throws JMSException {
qconFactory = (QueueConnectionFactory) HornetqListener.server.lookup("ConnectionFactory");
qcon = qconFactory.createQueueConnection("guest", "guest");
}
public static void destroy() throws JMSException {
qcon.close();
}
public static void addPaymentToQueue(Transaction t) throws JMSException {
QueueSession qsession = qcon.createQueueSession(false, Session.AUTO_ACKNOWLEDGE);
Queue queue = (Queue) HornetqListener.server.lookup("queue/paymentQueue");
QueueSender qsender = qsession.createSender(queue);
qcon.start();
TextMessage msg = qsession.createTextMessage();
msg.setText(String.valueOf(t.getId()));
logger.debug("message {} putted in queue 'queue/paymentQueue'", msg.getText());
qsender.send(msg);
qsession.close();
}
HornetqListener.server - это статическая переменная, в которую мы сохранили созданный экземпляр объекта EmbeddedJMS
Мониторинг очередей реализуем через JMX
private static int max_queue = 200;
QueueView paymentqueue = jmxQuery("paymentQueue");
if(paymentqueue.getMessagesInQueue() > max_queue)
max_queue = (int) paymentqueue.getMessagesInQueue();
String percentPayment = (new Double(paymentqueue.getMessagesInQueue()))/max_queue * 100d + "%";
private QueueView jmxQuery(String queueName) throws Exception {
MBeanServer mbeanServer = java.lang.management.ManagementFactory.getPlatformMBeanServer();
QueueView queueView = new QueueView();
ObjectName name = new ObjectName("org.hornetq:module=JMS,type=Queue,name=\""+ queueName +"\"");
queueView.setConsumersCount((Integer) mbeanServer.getAttribute(name, "ConsumerCount"));
queueView.setMessagesDelivering((Integer) mbeanServer.getAttribute(name, "DeliveringCount"));
queueView.setMessagesInQueue((Long) mbeanServer.getAttribute(name, "MessageCount"));
queueView.setMessagesAdded((Long) mbeanServer.getAttribute(name, "MessagesAdded"));
queueView.setName((String) mbeanServer.getAttribute(name, "Name"));
name = new ObjectName("org.hornetq:module=Core,type=Server");
queueView.setConnectionCount((Integer) mbeanServer.getAttribute(name, "ConnectionCount"));
queueView.setThreadPoolMaxSize((Integer) mbeanServer.getAttribute(name, "ThreadPoolMaxSize"));
queueView.setServerVersion((String) mbeanServer.getAttribute(name, "Version"));
return queueView;
}
Конфигурационные файлы взяты отсюда
вторник, 24 июля 2012 г.
Настройка очередей в JBoss 7
В этой статье описывается настройка очередей в JBoss AS 7.1.1
Последний раз мне приходилось работать с JBoss 5 и с тех пор есть определенный прогресс. Сервер запускается и останавливается быстро, появились средства конфигурации и мониторинга. В 7й ветке есть тенденция отказа от отдельных xml файлов для настроек очередей и источников данных, и рекомендованный способ - добавлять их непосредственно в конфигурационный файл сервера. Хотя старый способ все еще работает, добавленные таким образом очереди не будут видны в админской консоли как очереди и по ним нельзя будет посмотреть статистику.
Итак, для начала нам нужно просто подключить поддержку очередей. По умолчанию в standalone.xml она не подключена. Для включения поддержки копируем из standalone-full.xml все, связанное с messaging, а именно:
...
<extension module="org.jboss.as.messaging"/>
...
<subsystem xmlns="urn:jboss:domain:messaging:1.1">
<hornetq-server>
<persistence-enabled>true</persistence-enabled>
<journal-file-size>102400</journal-file-size>
<journal-min-files>2</journal-min-files>
<connectors>
<netty-connector name="netty" socket-binding="messaging"/>
<netty-connector name="netty-throughput" socket-binding="messaging-throughput">
<param key="batch-delay" value="50"/>
</netty-connector>
<in-vm-connector name="in-vm" server-id="0"/>
</connectors>
<acceptors>
<netty-acceptor name="netty" socket-binding="messaging"/>
<netty-acceptor name="netty-throughput" socket-binding="messaging-throughput">
<param key="batch-delay" value="50"/>
<param key="direct-deliver" value="false"/>
</netty-acceptor>
<in-vm-acceptor name="in-vm" server-id="0"/>
</acceptors>
<security-settings>
<security-setting match="#">
<permission type="send" roles="guest"/>
<permission type="consume" roles="guest"/>
<permission type="createNonDurableQueue" roles="guest"/>
<permission type="deleteNonDurableQueue" roles="guest"/>
</security-setting>
</security-settings>
<address-settings>
<address-setting match="#">
<dead-letter-address>jms.queue.DLQ</dead-letter-address>
<expiry-address>jms.queue.ExpiryQueue</expiry-address>
<redelivery-delay>1000</redelivery-delay>
<max-size-bytes>10485760</max-size-bytes>
<address-full-policy>BLOCK</address-full-policy>
<message-counter-history-day-limit>10</message-counter-history-day-limit>
</address-setting>
</address-settings>
<jms-connection-factories>
<connection-factory name="InVmConnectionFactory">
<connectors>
<connector-ref connector-name="in-vm"/>
</connectors>
<entries>
<entry name="java:/ConnectionFactory"/>
</entries>
</connection-factory>
<connection-factory name="RemoteConnectionFactory">
<connectors>
<connector-ref connector-name="netty"/>
</connectors>
<entries>
<entry name="RemoteConnectionFactory"/>
<entry name="java:jboss/exported/jms/RemoteConnectionFactory"/>
</entries>
</connection-factory>
<pooled-connection-factory name="hornetq-ra">
<transaction mode="xa"/>
<connectors>
<connector-ref connector-name="in-vm"/>
</connectors>
<entries>
<entry name="java:/JmsXA"/>
</entries>
</pooled-connection-factory>
</jms-connection-factories>
<jms-destinations>
<jms-queue name="testQueue">
<entry name="queue/test"/>
<entry name="java:jboss/exported/jms/queue/test"/>
</jms-queue>
<jms-topic name="testTopic">
<entry name="topic/test"/>
<entry name="java:jboss/exported/jms/topic/test"/>
</jms-topic>
</jms-destinations>
</hornetq-server>
...
<socket-binding name="messaging" port="5445"/>
<socket-binding name="messaging-throughput" port="5455"/>
После этого можно добавить непосредственно сами очереди:
<jms-destinations>
<jms-queue name="defaultQueue">
<entry name="queue/default">
<entry name="java:jboss/defaultQueue">
</entry></entry></jms-queue>
<jms-queue name="beelineQueue">
<entry name="queue/beeline">
<entry name="java:jboss/beelineQueue">
</entry></entry></jms-queue>
<jms-queue name="mtsQueue">
<entry name="queue/mts">
<entry name="java:jboss/mtsQueue">
</entry></entry></jms-queue>
<jms-queue name="mfQueue">
<entry name="queue/mf">
<entry name="java:jboss/mfQueue">
</entry></entry></jms-queue>
<jms-queue name="ExpiryQueue">
<entry name="queue/expiry">
<entry name="java:jboss/ExpiryQueue">
</entry></entry></jms-queue>
<jms-queue name="DLQ">
<entry name="queue/dead">
<entry name="java:jboss/deadQueue">
</entry></entry></jms-queue>
</jms-destinations>
Как можно заметить, в конфигурации есть отдельные очереди для "мертвых" и просроченных сообщений. Сообщение попадает в "мертвую" очередь после того, как его доставка окончилась неудачей определенное количество раз. Этот параметр можно настроить, как и интервал между повторными попытками отправки сообщения.
Добавляем в конфигурацию описание этих очередей. Тут есть магия с префиксами jms.queue. где-то их нужно указывать, где-то нет.
После этого можно приступать к настройке обработчиков сообщений. Это обычные Message Driving Bean (MDB). Можно описать их с помощью аннотаций:
@MessageDriven(activationConfig = {
@ActivationConfigProperty(propertyName="destinationType", propertyValue="javax.jms.Queue"),
@ActivationConfigProperty(propertyName="destination", propertyValue="java:jboss/defaultQueue"),
@ActivationConfigProperty(propertyName = "maxSession", propertyValue = "10")
})
public class DefaultQueueHandler implements MessageListener {
При деплое они подцепятся автоматически. В принципе это уже рабочая конфигурация, но если используется spring или hibernate может потребоваться создание контекста, еще до того, как очереди начнут обрабатывать сообщения. В этом случае можно поступить следующим образом: создать EJB, ответственный за инициализацию контекста, перед инициализацией остановить обработку сообщений во всех очередях, а после инициализации возобновить ее. Это позволить избежать включения отдельного war модуля только для того, чтобы поднять контекст.
@Startup
@Singleton(name = "InitContextEJB")
public class InitContextEJB{
private String jconsolePrefix = "jboss.as:subsystem=messaging,hornetq-server=default,jms-queue=";
@PostConstruct
public void atStartup() {
stopQueues();
System.out.println("+++++++++++++++++++ CONTEXT +++++++++++++++++++");
ClassPathXmlApplicationContext ctx = new ClassPathXmlApplicationContext(
"applicationContext.xml",
"data-source.xml"
);
startQueues();
}
@PreDestroy
public void atDestroy(){
stopQueues();
}
private void startQueues() {
try {
setPaused(new ObjectName(jconsolePrefix + "defaultQueue"), false);
setPaused(new ObjectName(jconsolePrefix + "beelineQueue"), false);
setPaused(new ObjectName(jconsolePrefix + "mtsQueue"), false);
setPaused(new ObjectName(jconsolePrefix + "mfQueue"), false);
} catch (MalformedObjectNameException e) {
e.printStackTrace();
}
}
private void stopQueues() {
try {
setPaused(new ObjectName(jconsolePrefix + "defaultQueue"), true);
setPaused(new ObjectName(jconsolePrefix + "beelineQueue"), true);
setPaused(new ObjectName(jconsolePrefix + "mtsQueue"), true);
setPaused(new ObjectName(jconsolePrefix + "mfQueue"), true);
} catch (MalformedObjectNameException e) {
e.printStackTrace();
}
}
Для остановки и запуска очередей можно вспомнить, что они по-сути MDB, а значит доступны через JMX консоль и javax.management.MBeanServer. Приведу вариант с MBeanServer, как более независимый от реализации и стандартный.
protected void setPaused(final ObjectName objectName, final Boolean method) {
try {
MBeanServer mbeanServer = java.lang.management.ManagementFactory.getPlatformMBeanServer();
System.out.println(objectName + " paused before= " + mbeanServer.getAttribute(objectName, "paused"));
mbeanServer.invoke(objectName, method ? "pause" : "resume",new Object[]{}, new String[]{});
System.out.println(objectName + " paused after= " + mbeanServer.getAttribute(objectName, "paused"));
} catch (Exception e) {
e.printStackTrace();
}
}
Перехват и глотание исключений при остановке желательно, поскольку сам HornetQ сервер может остановиться раньше (например при остановке JBoss)
Полезные ссылки: