主要业务是接收客户端发送的数据，然后插入数据库，中间可能会有一些简单的业务逻辑，但是主要时间消耗还是在持久化数据库。想问问大家有没有好的架构，最好全是Java的架构。谢谢啦
-
等级
本版专家分：0结帖率 91.67% -
如题，想利用Java搭建一个数据采集中间件，有一定处理能力要求。
主要业务是接收客户端发送的数据，然后插入数据库，中间可能会有一些简单的业务逻辑，但是主要时间消耗还是在持久化数据库。想问问大家有没有好的架构，最好全是Java的架构。谢谢啦展开阅读全文
-
等级
本版专家分：0
-
flume + kafka +mysql
- Java高性能编程--中间件（1）
中间件 RabbitMQ 核心的五个概念 Queue：正真存储数据的地方 Exchange：接受请求后，转存数据 Bind：收到请求后存储到那里 消息生产者：发送数据的应用 消息消费者：取出数据处理的应用 [外链图片转存失败,源站...
- 基于java社会化海量数据采集爬虫框架搭建（附代码）
基于java社会化海量数据采集爬虫框架搭建（附代码） 小数点2014-10-31 9:49:08大数据技术评论(2) 随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得...
- 基于java社会化海量数据采集爬虫框架搭建
基于java社会化海量数据采集爬虫框架搭建 标签： java网络 2016-01-31 19:43 163人阅读 评论(0) 收藏 举报 分类： java（60） 计算机网络（23） 随着BIG DATA大数据概念逐渐升温，...
- Java架构-看完这篇，你也能设计一个高性能的“秒杀”系统
从架构视角来看，秒杀系统本质是一个高性能、高一致、高可用的三高系统。而打造并维护一个超大流量的秒杀系统需要进行哪些关注，就是本文讨论的话题。 前言 秒杀大家都不陌生。自2011年首次出现以来，无论是双十一...
- 价值万元干货，高级架构师，精通JAVA/高并发/微服务/分布式/中间件
网易JAVA高级架构师专栏课程介绍 课程介绍 Java高级架构师课程大纲 Java高级架构课程介绍
- plc java 多线程 采集_那些年，我们见过的 Java 服务端“问题”
如这一间房，人初进来，只见一个大规模如此。处久，便柱壁之类，一一看得明白。再久，如柱上有些文藻，细细都看出来。然只是一间房。是的，知识理论哪有什么精粗之分，只是人的认识程度不同而已。笔者在初创公司摸爬...
- java实时监控数据变化_银行监控报警系统性能提升50倍，用的全是开源组件
作者介绍胖亚鹏，监控技术领域专家。具备十余年监控系统建设经验，精通主流商用及开源监控软件产品的集成应用，专注于监控工具建设，全面支撑传统架构和容器云、分布式架构下的监控管理。探索研究智能化监控，推动...
- 数据库中间件
为海量前台数据提供高性能、大容量、高可用性的访问为数据变更的消费提供准实时的保障高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，DDL, DCL...
- EMQ X + TDengine + Grafana，搭建 IoT 物联网数据采集、存储、可视化平台
物联网数据采集涉及到大量设备接入、海量的时序数据传输，EMQ X 消息中间件与 TDengine涛思数据，搭配开源软件 Grafana 可以协助企业快速搭建 IoT 物联网数据采集，存...
- 【高质量轮子】26个阿里 Java 开源项目，值得收藏！
点击卡片，关注一波为大家整理了阿里的Java开源项目，希望对大家有所帮助1.分布式应用服务开发的一站式解决方案 Spring Cloud AlibabaSpring Cloud Aliba...
- 一个牛逼的创业公司后台技术栈搭建方案
点击上方“后端技术精选”，选择“置顶公众号”技术文章第一时间送达！作者：潘锦本文转载自：架构与远方技术经验交流：点击入群说到后台技术栈，脑海中是不是浮现的下面这样一幅图？...
- 阿里巴巴 29 个开源Java项目
分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件，方便开发者通过 Spring Cloud 编程模型...
- 为什么要使用MQ消息中间件?这3个点让你彻底明白！
一个用消息队列的人，不知道为啥用，有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。 回答：这个问题,咱只答三个最主要的应用场景，不可否认还有其他的，但是只答三个主要的，即以下六个字: 解耦、异步...
- 如何构建一套高性能、高可用性、低成本的视频处理系统？
点击上方“朱小厮的博客”，选择“设为星标”当当满200减40优惠码「J2KNAE」来源：阿里巴巴中间件前言近些年，在线教育行业飞速发展，为整个社会的知识传播提供了前所未有的便利性。通过多...
- 基于arduino与raspberry的远程数据采集系统
该课题是毕业时做的一个远程数据采集课题，今天无意翻看到这份报告，不禁勾起满满的怀念。重新看了一遍报告，感觉做的确实是挺low的，但想起当时自己查了无数的资料，才完成这个设计，尤其是人在学校，然后通过...
- 如何打造高性能大数据分析平台
大数据分析系统作为一个关键性的系统在各个公司迅速崛起，但是这种海量规模的数据带来了前所未有的性能挑战。同时，如果大数据分析系统无法在第一时间为运营决策提供关键数据，那么这样的大数据分析系统一文不值。...
- Java工程师学习指南（2019最新版）
写过一个Java工程师学习指南，我把它分为了四个部分，第一步是打好Java基础，掌握Java核心技术，第二步是掌握Java Web技术栈，能够做一些项目，第三步是掌握Java方面的进阶技术，包括网络编程、并发编程、JVM等，第...
- Java构建高并发高可用的电商平台架构实践
Java构建高并发高可用的电商平台架构实践 2016-03-18 09:27 4489人阅读 评论(0) 收藏 举报 分类： Java（49） 目录(?)[+] 麻城创捷信息技术有限公司 转自...
- 消息中间件对比和总结
优点：老牌的消息队列，使用Java语言编写。对JMS支持最好，采用多线程并发，资源消耗比较大。如果你的主语言是Java，可以重点考虑。 缺点：由于历史悠久，历史包袱较多，版本更新很缓慢。集群模式需要依赖Zook.....
- 社会化海量数据采集爬虫框架搭建
随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内...
- 数据库相关中间件介绍
海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，DDL, DCL...
- 架构设计：系统间通信（32）——其他消息中间件及场景应用（下2）
我们将通过包括本文章在内的2-3篇文章的篇幅，利用已经学习过的技术知识向大家介绍事件/日志收集系统的半侵入方案和非侵入式方案。当然中间还会穿插一些新技术的介绍，比如Apache Flume。
- 推荐一些阿里的JAVA开源项目
经常有些小伙伴问到，在研发过程中，我使用了哪些工具或者开源组件，其实有很多，有来自阿里的、美团等，...1.分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应...
- 为什么要使用MQ消息中间件以及选型
一个用消息队列的人，不知道为啥用，有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。 回答：这个问题,咱只答三个最主要的应用场景，不可否认还有其他的，但是只答三个主要的，即以下六个字: 解耦、异步...
- 3个点让你彻底明白，为什么要使用MQ消息中间件?
一个用消息队列的人，不知道为啥用，有点尴尬。没有复习这点，很容易被问蒙，然后就开始胡扯了。 回答：这个问题,咱只答三个最主要的应用场景，不可否认还有其他的，但是只答三个主要的，即以下六个字: 解耦、异步...
- 阿里巴巴的26款超神Java开源项目！
1、分布式应用服务开发的一站式解决方案 Spring Cloud Alibaba Spring Cloud Alibaba 致力于提供分布式应用服务开发的一站式解决方案。此项目包含开发分布式应用服务的必需组件，方便开发者通过 Spring Cloud 编程...
- 将Java 应用容器化改造并迁移到Kubernetes 平台
为了能够适应容器云平台的管理模式和管理理念，应用系统需要...本文针对传统的Java 应用，对如何将应用进行容器化改造和迁移到Kubernetes 平台上进行说明。 要将传统Java 应用改造迁移到Kubernetes 平台上运行，...
- 27个阿里 Java 开源项目，很全面！
个点击上方“Github中文社区”，关注看遍Github好玩的项目来源：http://t.cn/E6hvQw5大家好，这里为大家真理了阿里的26个Java开源项目，希望对大家有所帮助1....
- 详解消息中间件及其应用场景和常用消息中间件的技术选型（RabbitMQ、Kafka 、RocketMQ、ActiveMQ）
消息中间件简介 消息中间件的使用场景 消息中间件的产生背景、特点和常用协议 常用消息中间件介绍（RabbitMQ、Kafka 、RocketMQ、ActiveMQ） 常用消息中间件的对比 常用消息中间件，如何技术选型？
- 阿里巴巴关于Java重要开源项目汇总
1.分布式应用服务开发的一站式解决...依托 Spring Cloud Alibaba，您只需要添加一些注解和少量配置，就可以将 Spring Cloud 应用接入阿里分布式应用解决方案，通过阿里中间件来迅速搭建分布式应用系统。 地址：https://