2.3w+
社区成员
- 全部
30TB的网上图片数据库,给个建议
老板压活
要做30TB的网上图片数据库，
要稳定可靠快速，便于检索和提取数据
一切从零开始，进行项目评估
我可没做过这么大的项目，哪能评估？
还希望有经验的大侠指点迷津
问题如下：
1。采用什么样的硬件配置，开销估算？
2。采用什么样的软件系统？ (要做著录系统和发布系统）
Linux+Apache/Windows+IIS?，Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net？
或者其它
3.会存在哪些风险？和可能遇到哪些问题？
要做30TB的网上图片数据库，
要稳定可靠快速，便于检索和提取数据
一切从零开始，进行项目评估
我可没做过这么大的项目，哪能评估？
还希望有经验的大侠指点迷津
问题如下：
1。采用什么样的硬件配置，开销估算？
2。采用什么样的软件系统？ (要做著录系统和发布系统）
Linux+Apache/Windows+IIS?，Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net？
或者其它
3.会存在哪些风险？和可能遇到哪些问题？
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
caomo 2002-02-02
where?
gzgangster 2002-01-30
1。采用什么样的硬件配置，开销估算？
#当然是越高档越好了,这么大数据量,数据库服务器一定要用专用的.开销多大,那样看你们老板舍得投入多大了.
2。采用什么样的软件系统？ (要做著录系统和发布系统）
Linux+Apache/Windows+IIS?，Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net？
#具我所知MySQL的性能是不错,但在如此庞大的数据量面前,显然用它是不合适的,建议还是采用Soleris+Apache+Oracle.服务端JAVA,客户端采用JSP,WEB SERVER 采用TOMCAT.
3.会存在哪些风险？和可能遇到哪些问题？
#我个人认为这个项目最大的风险在于数据库端,如此庞大的数据量,无论是查询还是更新都会造成巨大的压力.除了数据库服务器的性能,关键要看数据库结构设计了.
1)我初步估计了一下,网络图片通常不会太大,平均一个算5K的话,那么30TB就有60亿条记录,如此大的数据放在一个库里,无论采用什么数据库(除非你用小型机和专用数据库),压力都是无法承受的,建议考虑采用分布数据库模式,也就是采用物理上独立的多个数据库存放数据.当然数据按什么标准分库,是一个值得好好斟酌的问题.
2)从用户实际需求入手,看看是否有减少数据搜索范围的可能.(我认为这极有可能,这么大的数据量不是对每个客户他都需要的,也许只是其中极少一部分).
3)数据表的关联一定要简洁,宁愿增加一定的仑余,也要保证表关系简洁.
4)尽量考虑采用后台查询的方式,通过视图和存储过程操纵数据.
#当然是越高档越好了,这么大数据量,数据库服务器一定要用专用的.开销多大,那样看你们老板舍得投入多大了.
2。采用什么样的软件系统？ (要做著录系统和发布系统）
Linux+Apache/Windows+IIS?，Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net？
#具我所知MySQL的性能是不错,但在如此庞大的数据量面前,显然用它是不合适的,建议还是采用Soleris+Apache+Oracle.服务端JAVA,客户端采用JSP,WEB SERVER 采用TOMCAT.
3.会存在哪些风险？和可能遇到哪些问题？
#我个人认为这个项目最大的风险在于数据库端,如此庞大的数据量,无论是查询还是更新都会造成巨大的压力.除了数据库服务器的性能,关键要看数据库结构设计了.
1)我初步估计了一下,网络图片通常不会太大,平均一个算5K的话,那么30TB就有60亿条记录,如此大的数据放在一个库里,无论采用什么数据库(除非你用小型机和专用数据库),压力都是无法承受的,建议考虑采用分布数据库模式,也就是采用物理上独立的多个数据库存放数据.当然数据按什么标准分库,是一个值得好好斟酌的问题.
2)从用户实际需求入手,看看是否有减少数据搜索范围的可能.(我认为这极有可能,这么大的数据量不是对每个客户他都需要的,也许只是其中极少一部分).
3)数据表的关联一定要简洁,宁愿增加一定的仑余,也要保证表关系简洁.
4)尽量考虑采用后台查询的方式,通过视图和存储过程操纵数据.
Brain 2002-01-30
去买索引技术
yanchang 2002-01-30
30T?开电影院了！
还是已流的形式放到目录中吧，数据库放30T的数据？
Solaris + Oracle + weblogic + Java
100万
来套现成的IBM的
还是已流的形式放到目录中吧，数据库放30T的数据？
Solaris + Oracle + weblogic + Java
100万
来套现成的IBM的
pengji 2002-01-30
别对我说你想把图片保存到数据库中哦!?
leojay 2002-01-30
据说MySQL的性能最好而且不要钱。
最大的问题我想应该是如何从30TB的数据中找你要的数据吧。
最大的问题我想应该是如何从30TB的数据中找你要的数据吧。
liurui80 2002-01-30
Linux+Apache/Windows+IIS?，估计30T的要用磁带机了,
我只知道做好了可以翻倍赚,你老板很有魄力啊!!
我只知道做好了可以翻倍赚,你老板很有魄力啊!!
jxta 2002-01-30
好像很久以前讨论过一次？？？？？？？？
caomo 2002-01-30
谢谢，图片数量没有600M那么多，但是为了不失真，原图会是几十M一个。
故一算就是30TB了。
如果我们把问题规模缩小点，改为30GB缩略图加索引放在服务器中，其它数据放在光盘库或磁带库中以文件形式提供服务。
这样的话，是不是好点？
如果好点，对最初提出的三个问题又有何建议？
而且，这样的话，要让那么多光盘或磁带自动化服务也是个难题！多出一问:0
谁能提供应用实例方面的信息，我再多加分。
故一算就是30TB了。
如果我们把问题规模缩小点，改为30GB缩略图加索引放在服务器中，其它数据放在光盘库或磁带库中以文件形式提供服务。
这样的话，是不是好点？
如果好点，对最初提出的三个问题又有何建议？
而且，这样的话，要让那么多光盘或磁带自动化服务也是个难题！多出一问:0
谁能提供应用实例方面的信息，我再多加分。
zlq 2002-01-30
1.估计访问量是多少?少的话一种较好的服务器都可以.
2.推荐使用LDAP(Lightweight Directory Access Protocol)模式(SINA也是用这种).
以50K每个图片算30TB就有600M的纪录数,恐怕只能选择ORACLE了才能进行快速检索.
3.带宽.
2.推荐使用LDAP(Lightweight Directory Access Protocol)模式(SINA也是用这种).
以50K每个图片算30TB就有600M的纪录数,恐怕只能选择ORACLE了才能进行快速检索.
3.带宽.
