30TB的网上图片数据库,给个建议

caomo 2002-01-30 12:09:07
老板压活
要做30TB的网上图片数据库,
要稳定可靠快速,便于检索和提取数据
一切从零开始,进行项目评估
我可没做过这么大的项目,哪能评估?
还希望有经验的大侠指点迷津
问题如下:
1。采用什么样的硬件配置,开销估算?
2。采用什么样的软件系统? (要做著录系统和发布系统)
Linux+Apache/Windows+IIS?,Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net?
或者其它
3.会存在哪些风险?和可能遇到哪些问题?
...全文
127 10 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
caomo 2002-02-02
  • 打赏
  • 举报
回复
where?
gzgangster 2002-01-30
  • 打赏
  • 举报
回复
1。采用什么样的硬件配置,开销估算?
#当然是越高档越好了,这么大数据量,数据库服务器一定要用专用的.开销多大,那样看你们老板舍得投入多大了.
2。采用什么样的软件系统? (要做著录系统和发布系统)
Linux+Apache/Windows+IIS?,Oracle/SqlServer/MySQL? Java+jsp/Kylix+cgi/C#+ASP
.net?
#具我所知MySQL的性能是不错,但在如此庞大的数据量面前,显然用它是不合适的,建议还是采用Soleris+Apache+Oracle.服务端JAVA,客户端采用JSP,WEB SERVER 采用TOMCAT.
3.会存在哪些风险?和可能遇到哪些问题?
#我个人认为这个项目最大的风险在于数据库端,如此庞大的数据量,无论是查询还是更新都会造成巨大的压力.除了数据库服务器的性能,关键要看数据库结构设计了.
1)我初步估计了一下,网络图片通常不会太大,平均一个算5K的话,那么30TB就有60亿条记录,如此大的数据放在一个库里,无论采用什么数据库(除非你用小型机和专用数据库),压力都是无法承受的,建议考虑采用分布数据库模式,也就是采用物理上独立的多个数据库存放数据.当然数据按什么标准分库,是一个值得好好斟酌的问题.
2)从用户实际需求入手,看看是否有减少数据搜索范围的可能.(我认为这极有可能,这么大的数据量不是对每个客户他都需要的,也许只是其中极少一部分).
3)数据表的关联一定要简洁,宁愿增加一定的仑余,也要保证表关系简洁.
4)尽量考虑采用后台查询的方式,通过视图和存储过程操纵数据.
Brain 2002-01-30
  • 打赏
  • 举报
回复
去买索引技术
yanchang 2002-01-30
  • 打赏
  • 举报
回复
30T?开电影院了!

还是已流的形式放到目录中吧,数据库放30T的数据?

Solaris + Oracle + weblogic + Java
100万

来套现成的IBM的
pengji 2002-01-30
  • 打赏
  • 举报
回复
别对我说你想把图片保存到数据库中哦!?
leojay 2002-01-30
  • 打赏
  • 举报
回复
据说MySQL的性能最好而且不要钱。
最大的问题我想应该是如何从30TB的数据中找你要的数据吧。
liurui80 2002-01-30
  • 打赏
  • 举报
回复
Linux+Apache/Windows+IIS?,估计30T的要用磁带机了,
我只知道做好了可以翻倍赚,你老板很有魄力啊!!
jxta 2002-01-30
  • 打赏
  • 举报
回复
好像很久以前讨论过一次????????
caomo 2002-01-30
  • 打赏
  • 举报
回复
谢谢,图片数量没有600M那么多,但是为了不失真,原图会是几十M一个。
故一算就是30TB了。
如果我们把问题规模缩小点,改为30GB缩略图加索引放在服务器中,其它数据放在光盘库或磁带库中以文件形式提供服务。
这样的话,是不是好点?
如果好点,对最初提出的三个问题又有何建议?
而且,这样的话,要让那么多光盘或磁带自动化服务也是个难题!多出一问:0
谁能提供应用实例方面的信息,我再多加分。
zlq 2002-01-30
  • 打赏
  • 举报
回复
1.估计访问量是多少?少的话一种较好的服务器都可以.
2.推荐使用LDAP(Lightweight Directory Access Protocol)模式(SINA也是用这种).
以50K每个图片算30TB就有600M的纪录数,恐怕只能选择ORACLE了才能进行快速检索.
3.带宽.

23,409

社区成员

发帖
与我相关
我的任务
社区描述
Java 非技术区
社区管理员
  • 非技术区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧