Java搭建一个高性能的数据采集中间件

少主无翼 2014-12-04 10:04:03

如题，想利用Java搭建一个数据采集中间件，有一定处理能力要求。
主要业务是接收客户端发送的数据，然后插入数据库，中间可能会有一些简单的业务逻辑，但是主要时间消耗还是在持久化数据库。想问问大家有没有好的架构，最好全是Java的架构。谢谢啦

...全文

956 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

xf 2015-11-09

打赏
举报

回复

flume + kafka +mysql

在Java开发中，合理选择和使用中间件可以极大地提高系统的性能、扩展性和可维护性。无论是消息队列、数据库管理、服务治理还是缓存技术，都在现代分布式系统中发挥着重要作用。

中间件（Middleware）是指在客户端和服务器之间的一层软件组件，用于处理请求和响应的过程。中间件是指介于两个不同系统之间的软件组件，它可以在两个系统之间传递、处理、转换数据，以达到协同工作的目的。

引言什么是中间件常见的Java中间件1. 消息队列中间件2. 数据库中间件3. 服务治理中间件3.2 Dubbo4. 缓存中间件4.1 Redis总结中间件是一种软件层，位于操作系统和应用程序之间，负责管理数据和应用程序的交互。在分布式系统中，中间件能够让不同的应用或服务相互通信，协调各种服务，从而实现高效的数据处理和服务调用。在Java开发中，合理选择和使用中间件可以极大地提高系统的性能、扩展性和可维护性。无论是消息队列、数据库管理、服务治理还是缓存技术，都在现代分布式系统中发挥着重要作用。

前言这段时间我的主要工作内容是将公司系统中使用的RabbitMQ替换成NATS，而此之前我对Nats一无所知。经过一段时间紧张的学习和开发之后我顺利的完成了任务,并对消息中间件有了更深的了解。在此感谢同事钟亮在此过程中对我的帮助。NATS属于比较小众的一款中间件产品，中文资料基本上是没有的，故写以记之，为想学习Nats的同学提供一点帮助。在介绍NATS之前先了解下什么是分布式系统和消息中间件...

摘要：Java中间件是独立运行的服务软件，用于解决分布式系统中的通用问题，如通信（Netty、Dubbo）、消息队列（Kafka、RabbitMQ）、缓存（Redis）等，按功能可分为7大类。Redisson并非中间件，而是Redis的Java客户端工具库，提供分布式锁等高级API，简化操作但需嵌入应用运行。中间件与客户端工具的区别在于是否独立部署。

高性能WEB开发

25,980

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章