关于处理大数据量和高并发的学习路径

[sobadname]

首先说说我们公司的项目情况：
1.表A，下载记录表，目前数据量在3700W左右，每天入库数据10-20W左右
2.该表A未做分区
3.为了加快统计下载信息（报表），现在的方案是：存储过程每晚执行数据预统，生成记录到其他表，查询统计信息时，从预统表里获取。
4.服务器未作负载均衡
5.应用服务器使用的是TOMCAT，数据库ORACLE 10G
6.未使用缓存框架，很多信息保存在静态变量里充当缓存
7.开发语言JAVA，SSH框架


我想要请教的是：
现在主流的高并发大数据量的开发框架是什么？包括应用服务器选用、开发框架选用、其他中间件选用。
可以分别从软件、硬件方面回答。
哪里有这方面的系统解决学习方案，网上的都很零散。
可以举例的话更好，例如一般的团购网站等。
不需要很牛B的解决方案，例如淘宝、百度贴吧、微博啊之类的，只需要一个中等或入门级的解决方案。


谢谢回答

[老胡 - laohu]

我现在实习的公司也经常跟大数据量打交道，我现在接触的一个项目数据表中有3亿条数据，听着都恐怖啊，同样坐等结果

[hundsun_2008]

可以采用消息中间件。

[Luciferoffans]

发表下意见只仅仅提供参考：
1.数据量比较大的话，建议使用Hadoop，搭建分布式环境HDFS，做数据分片sharding。
2.服务器需要做负载均衡，不然数据量大读写频繁，而且还要做成多节点的，防止当机。
3.服务器建议使用高性能的反向代理服务器：Nginx。
4.数据持久化ORM层也附加缓存技术，建议使用Reids或者Memcahe,建议使用前者，前者数据类型支持的多，且性能各个方面都不错。数据量多数据操作直接落到库上压力大，当使用人较多是并发量大更受不了。
5.建议废弃掉SSH架构，使用轻量级的Spring MVC + Ibatias。

[sobadname]

[Quote=引用 3 楼 的回复:]

发表下意见只仅仅提供参考：
1.数据量比较大的话，建议使用Hadoop，搭建分布式环境HDFS，做数据分片sharding。
2.服务器需要做负载均衡，不然数据量大读写频繁，而且还要做成多节点的，防止当机。
3.服务器建议使用高性能的反向代理服务器：Nginx。
4.数据持久化ORM层也附加缓存技术，建议使用Reids或者Memcahe,建议使用前者，前者数据类型支持的多，且性能各个方面……
[/Quote]

谢谢回答，您说的这些东西我们这边基本没接触过，所以希望能提供一个完整的学习地址或方法。
就像SSH有很多整合文章一样，您这一套有没有一个系统的文章介绍入门？

[brightyq]

近来不是有淘宝平台逐渐开放的源码吗，还有新浪微博。
这些就是例子。看有没有提供高访问量高并发的解决方案。