主流开源技术或框架简介收集

[antony0203]

好几年没做技术工作了,感觉跟这个世界有点脱轨了,想了解下当前流行的一些开源技术或者开源框架等，也方便后续做技术选型时参考。
百度也搜不出合集,干脆开个帖集思广益下,
采集举例:
kafka:分布式消息中间件........
storm:流处理平台
mongdb


如果大家熟悉用过的，写点你们对此的见解更好，如果不熟悉，写个名称就行。（不需要网上搜来的一大段帖进来）

结帖前我会把大家的反馈集中在一起，也方便大家一起分享。

[laoer_2002]

关注

[lkf181]

mvc 算不？

[antony0203]

关于消息中间件kafka有人用过没，之前跟一个支付平台的架构师聊，说起他们的消息中间件从active mq改到了kafka，网上看了一些介绍，发现这个能解决原本我这边消息机制存在的一个问题，就是接收消息后由于这边服务器问题导致出错，就会丢失这条消息。而kafka可以解决这个问题，因为它的消息被接受后仍在在。但不清楚其他方面真正用起来时它有没有不足之处。 开这个帖更想跟大家交流那些开源技术的实际应用的问题，或者大家所知道的哪些开源技术已经被实际企业应用验证了。就像storm，是twitter的，至少能放心选型这个不会有太大问题，他们能用，一般的需求都能满足了。 像Mongdb，我还不清楚哪家企业什么产品在正式用，所以也比较谨慎。

[antony0203]

引用 28 楼 pxm2525 的回复:

cocos2d-x 算不算？

嗯，C++开发的一个手机游戏引擎，我这边都是一直做JAVA的，就先不整理这个了。

[antony0203]

引用 20 楼 y943623901 的回复:

[quote=引用 17 楼 antony0203 的回复:] [quote=引用 13 楼 ygycomon 的回复:] [quote=引用 4 楼 antony0203 的回复:] 有谁是用过哪个,推荐的吗?

都是给你推荐的啊，服务器后端常用这些东西 hadoop/hive/hbase 大数据及分析 /zookeeper 分布式集群管理 metaq 消息队列中间件 diamond 集中式配置中心服务器 dubbo 服务器容器 netty/mina NIO redis/mongodb/memcached nosql，缓存/持久化 lucene/solr 全文索引[/quote] 有个问题想请教，最近在做一个平台架构的技术选型，其中有一块涉及使用内存数据库 需求是： 2千万左右数据量，高并发查询，然后这两千万数据是通过MQ注入的，注入的时候需要先查询判断，根据时间戳决定是否更新，或者插入。更新的数据量是每秒2000条左右。 目前在Mongodb通过建索引等一些操作，以上需求是满足了。因为其他类似redis和memcached还没试用过，所以想请教下基于这些需求，有没有更好的推荐，如果有的话，我也去做下POC测试。 PS：另外还测了企业版的gemfire，测试效果下来跟mongodb差不多，不知道有没用过这个产品的朋友。 [/quote] 你可以去看看淘宝的OceanBase OceanBase是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部、运维、DBA、广告、应用研发等部门共同完成。在设计和实现OceanBase的时候暂时摒弃了不紧急的DBMS的功能，例如临时表，视图(view)，研发团队把有限的资源集中到关键点上，当前 OceanBase主要解决数据更新一致性、高性能的跨表读事务、范围查询、join、数据全量及增量dump、批量数据导入[/quote] 看了下介绍，首先这个支持非常大的数据量，而我们的需求来说，我们目前估算也就千万级数据，最多一亿，是不是有点大材小用。 另外看他介绍来说，对join支持的还不够，可能这个比较适合非常大数据量并且是简单的增删该查， 我们目前对数据库的查询是需要多表关联，另外还存在一些计算，如直接统计最小价格等。怕不一定能适合。 这个只是我初步查了后的一点见解，后续我会细致的去了解甚至POC验证下。非常感谢推荐

[大彪先生]

mark!

[depositpei]

ngix web服务器

[termonitor]

cocos2d-x 算不算？

[猿猿猿媛]

dbutils算不算是一种

[xusir98]

[Noctis_Yang]

路过涨涨姿势

[二当家的黑板报]

帮顶

[梦想的征途]

thrift、mina

[antony0203]

ehcache oscache hibernate-memcached 这三个有人用过吗?

[dongdongdongJL]

这些东西太多了吧。是不是应该看看，你要做什么，然后才去考虑，哪些可以实现的。感觉现在有点框架泛滥，应该说没有什么好或者不好的。而是很多人，都是开始自己写了。

[yufengdxw]

我也很想看看大神们都用的什么技术

[antony0203]

引用 40 楼 dongdongdongJL 的回复:

这些东西太多了吧。是不是应该看看，你要做什么，然后才去考虑，哪些可以实现的。感觉现在有点框架泛滥，应该说没有什么好或者不好的。而是很多人，都是开始自己写了。

有道理,我前面给其他哥们回复的时候已经大概介绍了我目前平台想用的技术等 在这边我再列一下吧,大家能在我这范围内推荐一些开源产品或技术则更好,当然范围外也支持,就当让我涨涨见识,毕竟不接触很多名词都没听过. 我目前平台考虑用到的几个技术和产品: 1.流处理平台 2.消息中间件 3.内存数据库 4.各种服务框架(rest的，RMI的，web service等等)，因此这块我考虑我的平台是基于SOA架构，希望把服务封装组件化。 5.各种监控平台或者日志处理的（这块还没啥思路，但想到这种数据服务平台肯定在外围需要有服务监控支持的） 6.规则引擎 7.缓存技术 欢迎有类似经验的各位同仁继续能分享你们宝贵的经验

[antony0203]

帖子收集加我自己在用的开源工具总结 1.流处理平台 storm 2.消息中间件 Active MQ, kafka,metaq 3.内存数据库 mongdb, redis, berkeley DB,memcache 4.各种框架、接口通讯等：Spring MVC ,playframwork1,Hessian 5.规则引擎 drools 6.缓存技术 ehcache， oscache， hibernate-memcached 7.应用服务器 ngix tomcat jboss 8.大数据技术 hadoop/hive/hbase 9.其它(不熟悉，没归类) thrift、mina ，dbutils，lucene/solr

[baidu_22830519]

我写了一些技术博客 https://yq.aliyun.com/articles/11223?spm=0.0.0.0.4eAOyW

[baidu_22830519]

GemFire 我一直搞，用了好多年，@antony0203