.NET平台下有分布式存储和计算的解决方案吗

hastalavista 2018-07-06 03:24:30
类似于Java平台的hadoop和spark
网上找了一圈好像没有,.NET的hadoop只有一个针对azure的sdk。
sql server的分区也只是应用在单台服务器。
如果这样的话,遇到海量数据的存储以及计算任务,.NET平台是用什么方式处理的?
比如我用sql server搭了个数据仓库,预计数据量超过10T,单台服务器放不下啊,就算放下了,但进行数据分析与挖掘时的性能也吃不消。
望有经验的大牛告知。
...全文
294 9 打赏 收藏 转发到动态 举报
写回复
用AI写文章
9 条回复
切换为时间正序
请发表友善的回复…
发表回复
threenewbee 2018-07-07
  • 打赏
  • 举报
回复
MongoDB redis和.net兼容都很好的
stevenjin 2018-07-06
  • 打赏
  • 举报
回复
图片服务器,API服务器,redis等都是办法
hastalavista 2018-07-06
  • 打赏
  • 举报
回复
请教一下,我现在能否这么干:
1. 利用MongoDB进行整体的数据采集和存储
2.
a)拆分要分析的数据,将面向某一主题的数据导入回另一sql server服务器中,利用其BI的功能进行处理。

b)利用第三方挖掘算法库,自己编程从MongoDB中提取数据进行处理

感觉工作量都会翻倍提升。。
hastalavista 2018-07-06
  • 打赏
  • 举报
回复
引用 5 楼 sp1234 的回复:
微软自己开发的 .net 分布式系统也有好几个,包括开源的。如果把分布式计算操作系统说成是数据库,我觉得这就是标题党了。分布式系统只是一个编程框架,它不管多么忽悠什么“分布式数据读写”,它也不过就是一个分布式编程框架,它自身怎么可能是商用关系数据库?

怎么可能用它跟 SQL Server 做对比?


有道理哦。。因为我有多个业务系统都是sql server存储的,所以我想建立的数据仓库尽量也用sql server,一是数据采集起来比较方便,二是可以用微软BI的这套方案。
但因为数据量巨大,单台服务器没法存储,所以到处找sql server分布式存储的解决方案
问题问的确实有问题,太钻牛角尖了。
  • 打赏
  • 举报
回复
微软自己开发的 .net 分布式系统也有好几个,包括开源的。如果把分布式计算操作系统说成是数据库,我觉得这就是标题党了。分布式系统只是一个编程框架,它不管多么忽悠什么“分布式数据读写”,它也不过就是一个分布式编程框架,它自身怎么可能是商用关系数据库?

怎么可能用它跟 SQL Server 做对比?
  • 打赏
  • 举报
回复
既然那只是纠结在关系数据库产品上面,那么你先搞清楚在 java 里边怎么用 mysql 之类的来“解”你的问题。再考虑 .net 应该找什么技术。
  • 打赏
  • 举报
回复
hadoop 和 spark 是商用关系数据库吗?
hastalavista 2018-07-06
  • 打赏
  • 举报
回复
引用 1 楼 foren_whb 的回复:
谁告诉你.net平台只能用sqlserver数据库了??????????

你不会用redis、monggoDB之类的????


也就是说sql server是无解的咯。。。
丰云 2018-07-06
  • 打赏
  • 举报
回复
谁告诉你.net平台只能用sqlserver数据库了??????????

你不会用redis、monggoDB之类的????

62,074

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见,支持健康理性的辩论和互动,反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧