30TB的网上图片数据库,给个建议

caomo 2002-01-30 12:09:07
老板压活
要做30TB的网上图片数据库,
要稳定可靠快速,便于检索和提取数据
一切从零开始,进行项目评估
我可没做过这么大的项目,哪能评估?
还希望有经验的大侠指点迷津
问题如下:
1。采用什么样的硬件配置,开销估算?
2。采用什么样的软件系统? (要做著录系统和发布系统)
Linux+Apache/Windows+IIS?,Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net?
或者其它
3.会存在哪些风险?和可能遇到哪些问题?
...全文
89 点赞 收藏 10
写回复
10 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
caomo 2002-02-02
where?
回复
gzgangster 2002-01-30
1。采用什么样的硬件配置,开销估算?
#当然是越高档越好了,这么大数据量,数据库服务器一定要用专用的.开销多大,那样看你们老板舍得投入多大了.
2。采用什么样的软件系统? (要做著录系统和发布系统)
Linux+Apache/Windows+IIS?,Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net?
#具我所知MySQL的性能是不错,但在如此庞大的数据量面前,显然用它是不合适的,建议还是采用Soleris+Apache+Oracle.服务端JAVA,客户端采用JSP,WEB SERVER 采用TOMCAT.
3.会存在哪些风险?和可能遇到哪些问题?
#我个人认为这个项目最大的风险在于数据库端,如此庞大的数据量,无论是查询还是更新都会造成巨大的压力.除了数据库服务器的性能,关键要看数据库结构设计了.
1)我初步估计了一下,网络图片通常不会太大,平均一个算5K的话,那么30TB就有60亿条记录,如此大的数据放在一个库里,无论采用什么数据库(除非你用小型机和专用数据库),压力都是无法承受的,建议考虑采用分布数据库模式,也就是采用物理上独立的多个数据库存放数据.当然数据按什么标准分库,是一个值得好好斟酌的问题.
2)从用户实际需求入手,看看是否有减少数据搜索范围的可能.(我认为这极有可能,这么大的数据量不是对每个客户他都需要的,也许只是其中极少一部分).
3)数据表的关联一定要简洁,宁愿增加一定的仑余,也要保证表关系简洁.
4)尽量考虑采用后台查询的方式,通过视图和存储过程操纵数据.
回复
Brain 2002-01-30
去买索引技术
回复
yanchang 2002-01-30
30T?开电影院了!

还是已流的形式放到目录中吧,数据库放30T的数据?

Solaris + Oracle + weblogic + Java
100万

来套现成的IBM的
回复
pengji 2002-01-30
别对我说你想把图片保存到数据库中哦!?
回复
leojay 2002-01-30
据说MySQL的性能最好而且不要钱。
最大的问题我想应该是如何从30TB的数据中找你要的数据吧。
回复
liurui80 2002-01-30
Linux+Apache/Windows+IIS?,估计30T的要用磁带机了,
我只知道做好了可以翻倍赚,你老板很有魄力啊!!
回复
jxta 2002-01-30
好像很久以前讨论过一次????????
回复
caomo 2002-01-30
谢谢,图片数量没有600M那么多,但是为了不失真,原图会是几十M一个。
故一算就是30TB了。
如果我们把问题规模缩小点,改为30GB缩略图加索引放在服务器中,其它数据放在光盘库或磁带库中以文件形式提供服务。
这样的话,是不是好点?
如果好点,对最初提出的三个问题又有何建议?
而且,这样的话,要让那么多光盘或磁带自动化服务也是个难题!多出一问:0
谁能提供应用实例方面的信息,我再多加分。
回复
zlq 2002-01-30
1.估计访问量是多少?少的话一种较好的服务器都可以.
2.推荐使用LDAP(Lightweight Directory Access Protocol)模式(SINA也是用这种).
以50K每个图片算30TB就有600M的纪录数,恐怕只能选择ORACLE了才能进行快速检索.
3.带宽.
回复
发帖
非技术区
创建于2007-09-28

2.3w+

社区成员

Java 非技术区
申请成为版主
帖子事件
创建了帖子
2002-01-30 12:09
社区公告
暂无公告