【参与讨论赢取精美礼品】软件硬件之华山论剑

Doraemon小叮当 2014-05-05 02:48:57

昔日华山论剑，始于气宗剑宗之争。今朝论道CSDN，讨论软件与硬件在技术变革中谁为主导？软件是否能以最有效的方式实现所有系统和终端用户所需的功能？是否是软件应用的不断推陈出新在推动着硬件的更新换代？亦或是硬件的性能与发展决定并局限着软件的发展，并最终引领着软件行业的前行？

聚焦到当今的大数据时代，潮水般涌现的数据该如何存储才能最为有效地发掘其潜在价值？互联网催生的种种应用怎样才能以最优的方式运作？Hadoop是我们的最终天堂吗？应用驱导下，硬件的变革是否势在必行？什么样的架构能从经济角度、使用效率的角度乃至于能源和环保的角度提供理想的解决方案？这是时代摆在我们面前的难题。

欢迎各路朋友，见仁见智，各抒己见，积极参与的用户将有机会获得由PMC提供的精美礼品一份。

【专家介绍】

张冬：PMC公司数据中心存储架构师。《大话存储1&2》系列图书作者，存储技术领域专家，先后担任过产品设计、顾问等角色，对存储技术、产品、市场有多年经验积累，对存储技术底层有深刻理解。曾经设计的产品有：SmartMotion、SmartX Insight Suite，UltraAPM等，三项前沿技术专利唯一发明人。

廖恒：PMC公司研发副总裁兼首席科学家，主要负责制定公司的产品策略以及技术发展路线图，他曾设计并带领开发了PMC公司几款里程碑式的存储芯片的架构，名下共有二十五项已获或待发美国专利。廖博士活跃于多个标准组织（包括: INCITS T10、IEEE 802、IETF、 MEF及CCSA等），专注于应用于超大型数据中心的架构设计，其中包括将数据中心的计算、网络、存储资源彻底池化/虚拟化的解耦合方案等。廖恒博士毕业于清华大学，并在普林斯顿大学从事博士后研究工作。

【参与方式】

5月5日起至5月25日展开有奖讨论活动，您可以在PMC官方博客http://blog.csdn.net/pmc 阅读相关文章，参与讨论，就会有机会获得精美礼品一份。

【活动规则】

您的回复越有态度和想法，将更有机会得到我们的奖品(旅行用日记本和PMC专家张冬的图书《大话存储2》)，奖品有限，先到先得哦！

【活动奖品】

友情提示：
1、每个ID只有一次中奖机会，奖品不叠加不累积不顺延。
2、本次话题主要关注存储技术的现状及未来的发展的心得体会和使用技巧。讨论内容要言之有物，尽量不能低于20个字。谢谢大家配合

...全文

3938 98 打赏收藏转发到动态举报

写回复

用AI写文章

98 条回复

切换为时间正序

请发表友善的回复…

发表回复

yddyhl 2014-06-23

打赏
举报

可以，很好的活动

yonghang2014 2014-06-07

打赏
举报

很好的活动，应该很精彩

bujie_neverstop 2014-05-28

打赏
举报

硬件的更新换代是必然的，但似乎当前硬件发展的也太快了点。我们在做规划的时候，老是喜欢说做个几年规划，可规划赶不上变化。我们当前是使用的100多台服务器都是没用几年的，因为传统应用架构，硬件瓶颈逐渐显现，当前老考虑应用当前资源怎么才能很好的解决类似IO瓶颈之类的问题。当然，比较有财的部门直接建议采购SSD，但毕竟不是所有人都那么财大气粗。没那么多的预算当然要充分考虑现有资源的综合利用了。当下大数据时代，云的解决方案很多，如硬件虚拟化、软硬件结合、云平台存软件等。要少花钱又要把事儿做好，我们当前主要的方案是在云平台软件上面加大投入，尽量利用当前可以利用的硬件，当然部分必需淘汰的硬件也是必需淘汰的。也许很多企业都会采用这类模式，那么很多软硬件绑定的云平台厂商是否有想过怎么为类是我们一类的客户服务，还是说我们不买你们的硬件就无法使用你们的云平台。我们当前正在为满足各类碎片化的硬件资源而努力，大力发展软件云体系，实现资源的综合利用

Heng_Liao 2014-05-19

打赏
举报

云计算大会的PMC专场研讨会，报名链接如下。 http://huiyi.csdn.net/module/meeting/meeting/info/848/biz?project_id=963 我们还可以邀请演讲嘉宾和大家一起面对面继续这个话题的讨论。欢迎报名。

Heng_Liao 2014-05-19

打赏
举报

关心数据中心硬件标准化的同行莫错过这个好机会哦。Facebook还有open compute的大拿，报道上听过。真人面对面提问的机会难得。笔者准备了一箩筐的问题和他互动哦。欢迎大家一起参与。

cdb81 2014-05-18

打赏
举报

期待....

cdb81 2014-05-16

打赏
举报

引用 93 楼 Heng_Liao 的回复:

[quote=引用 85 楼 u014711555 的回复:] [quote=引用 5 楼 ziqiangjiuzhongguo 的回复:] Google不就已经开始涉足芯片设计了吗？ http://www.cnetnews.com.cn/2013/1213/3005335.shtml

学习了Google做ARM 芯片的相关报道，Google的心还真得很大。前一阵还有Google 和IBM合作开发 Open Power PC构架的CPU的相关报道。是否也间接说明它的心很大，却还在摸索，没有选定最后的决心呢？ CPU似乎也在摸索走向开源的道路，过去Sun/Oracle对学术界开源了Spark构架，接着是IBM的Open Power 对伙伴开源，最近又流传着MIPS要把软核开源。 Linux凭借开源把微软和UNIX从互联网服务器领域硬拉下马，不过硬件开源，还真的很难想象以怎样的方式发生。大家都来发表些看法吧。 [/quote] 整体感觉是世界正在走向开源，开源意味着更多的合作，人类有今天的成就，很大程度上是因为合作。技术发展到今天这个地步，纠结更多的人一起来创造才能进步。说不定哪天Intel也被拉下马了。

cynthiazhong827 2014-05-16

打赏
举报

不知道 5月22日第六届云计算大会 “数据中心融合架构与存储” 论坛上能否见到两位？ http://huiyi.csdn.net/module/mee ... /biz?project_id=963 时间内容演讲嘉宾 13:30-13:40 开场 & 嘉宾介绍 13:40-14:20 全球大规模数据中心的加速创新 Travis Karr PMC-Sierra副总裁兼企业存储部总监 14:20-15:00 存储网络的现状与未来牛功彪阿里巴巴集团资深硬件工程师 15:00-15:30 OCP 为您的大数据提速——从存储硬件架构开始朱培蘭纬颖科技副总裁兼首席运营官 15:30-16:00 云数据中心创新实践李璀浪潮集团互联网行业部资深架构师 16:00-16:40 未来数据中心的关键技术——智能、能耗、安全 Per Brashers 前Facebook的存储负责人、OCP创始成员 16:40-17:20 圆桌讨论：1）解耦合的分离式IO新架构，将数据中心的计算、存储以及网络资源作为资源池来作动态灵活的调配和绑定；2）软件定义存储/软件定义数据中心，硬件该扮演什么角色？主持人：陈滢慧科教育研究院院长兼高级副总裁， C3创办人，前IBM研究院副院长嘉宾：廖恒 PMC公司研发副总裁牛功彪阿里巴巴集团资深硬件工程师朱培蘭纬颖科技副总裁兼首席运营官(纬创云计算) 李璀浪潮集团互联网行业部资深架构师 Per Brashers 前Facebook存储负责人，OCP创始成员附上报名链接： http://huiyi.csdn.net/module/mee ... /biz?project_id=963

P星人 2014-05-15

打赏
举报

关于软硬两界跨界合作，共创虚拟化美好未来的设想，请看PMC官方博客最新发布——“从VMWare到Openstack到FDIO“ 。 http://blog.csdn.net/pmc

Heng_Liao 2014-05-15

打赏
举报

引用 81 楼 bbmnqhiboqq 的回复:

聚焦到当今的大数据时代，潮水般涌现的数据该如何存储才能最为有效地发掘其潜在价值？分布式存储互联网催生的种种应用怎样才能以最优的方式运作？Hadoop是我们的最终天堂吗？只是针对互联网应用，大数据分析等场景，传统应用还是按照既定模式运行。应用驱导下，硬件的变革是否势在必行？硬件的变革一直在进行，应用的驱动是主因。什么样的架构能从经济角度、使用效率的角度乃至于能源和环保的角度提供理想的解决方案？这是时代摆在我们面前的难题。虚拟化、大数据、互联网应用将很大程度影响整个解决方案的架构。

你看看双重数据保护是否可用于Hadoop等３copy 的文件系统？　可把存储开销从３倍缩减到1.27倍哦。

Heng_Liao 2014-05-15

打赏
举报

引用 85 楼 u014711555 的回复:

[quote=引用 5 楼 ziqiangjiuzhongguo 的回复:] Google不就已经开始涉足芯片设计了吗？ http://www.cnetnews.com.cn/2013/1213/3005335.shtml

cdb81 2014-05-15

打赏
举报

学习了，当今人类思维百花齐放啊。

Heng_Liao 2014-05-14

打赏
举报

引用 87 楼 u014711555 的回复:

[quote=引用 31 楼 ekhsofxe_ibb 的回复:]
软件工程师起点低，国内软件工程师居多，相对来说，硬件工程师就好多了，就业压力没那么大。俗一点说，硬件工程师是盖房的，软件工程师是装修的。

很好的类比。搞装修的确实容易起步，买把刷子就上路了。相比之下，盖房子不盖则已，盖则不筹足资金就无以为继。软硬件起步之难易真有此一比。话说回来，如果房子的底子不好，偷工减料、设计粗拙，再好的装修也难掩其瑕吧？同理，硬件的构架、性能上的欠缺局限，光靠软件的涂脂抹粉也难得尽善尽美啊！这恰恰是PMC所看到的当前数据中心的硬件架构中致命之处，并开除了救治之方。PMC 的官方博客“新型I/O架构引领存储之变”系列文章中对此进行了详尽分析：
http://blog.csdn.net/pmc
[/quote]

作为想安家的屋主，即关心房子盖得好，也关心装修符合心意，总的预算还要在能承受的范围内。数据中心的经营者就像这个屋主，软硬兼顾。

是新一代的SAS/SATA/PCIe 3模的IOC和ROC，前端还是PCIe, 后端的接口可自动式配SAS盘，SAS Expander, SATA 盘，PCIe 盘，或PCIe Switch. 内部仍然继续增强RAID处理系统。
对主机对PCIe 的访问可直接bypass RAID, 主机CPU看到的是一级PCIe Switch, 对延迟基本没有影响。也可通过RAID对PCIe 盘进行访问，这个会解决对本地SSD盘数据保护，但是会有RAID的固有延迟。

该混合式交换芯片把PCIe Switch 和 SAS Expander 集成在一体，任意端口可插入SAS, SATA 或PCIe 盘。这和混合模式的IOC/ROC一起构成的系统，用统一的数据通道支持了完全灵活混插SAS/SATA/PCIe的存储后端系统

Heng_Liao 2014-05-14

打赏
举报

引用 86 楼 u014711555 的回复:

] [quote=引用 35 楼 frmqjqxrpqzg 的回复:] 个人观点，从未来趋势看，硬件会越来越靠近后端，这就是很对人提出的“软件定义数据中心”，不管是存储还是服务器，通过虚拟化技术变成一种资源，计算资源和存储资源，真正决定功能的就是软件了。软件定义数据中心则在各种底层硬件架构上面加载了一个虚拟的基础设施层。软件提供了让数据中心适配新形势和新应用所需的一切，管理了从存储到交换机乃至于安全等方方面面。有了这个基础，可伸缩性和性能问题可迎刃而解。包含有大量遗留资产的数据中心因此可以提高效率、降低成本、实现动态化。

软件层面的虚拟化能否解决所有的大数据存储／处理的需求呢？如果是这样，为什么大型数据中心中采用的软件虚拟化非常有限呢？这个问题发人深思啊。[/quote] 同意楼主的观测，大型互联网，除了提供云计算服务的之外，目前部署虚拟化的十分罕见。虚拟化带来的好处是大家都认可的，可是影响I/O性能，尤其是存储访问的性能，并且造成一定比例的CPU开销，在“微妙必争”追求的大型互联网站中，跑得业务相对固定，这样损失大于虚拟化带来的好处。不过长期来看，虚拟化的部署有比然性。为了让其利大于弊，要靠硬件平台和虚拟化软件技术互相结合，而不是在现阶段一样各自为政，甚至互相抢夺控制权： 1）高性能的I/O虚拟化要在硬件层实行，这样可消除CPU开销和存储，网络I/O的性能损失。---- 呵呵，软件达不到的性能，还是要回到硬件层接近。硬件虚拟化层要实现在机群上的全局资源池化和共享访问：这包括网络，存储，SSD, 甚至某些内存。这就是FDIO的基本理念。 2) 云虚拟化软件要实现对资源池的动态调度管理，并使硬件资源直通的方式绑定到虚拟机上，还要实行带着资源绑定关系的虚拟机的动态调度和跨越CPU节点的动态迁移。这些要软硬件结合才能实现哦。

Heng_Liao 2014-05-14

打赏
举报

引用 85 楼 u014711555 的回复:

[quote=引用 5 楼 ziqiangjiuzhongguo 的回复:] 软件看硬件，硬件看软件，都觉得对方是屌丝。搞硬件的因为资金投入大往往都是传统大厂在玩，玩到末了好像有点理所当然的意思，英特尔的芯片可以不延续摩尔定律吗？芯片玩到最后不是爱装多少电路装多少电路吗？是这样吗？搞硬件的仿佛，如果有决心，就可以搞得动软件（看看所有硬件大厂谁不开发软件？），但搞软件有几个玩得转硬件？

说的是。开发硬件的初期投入太过庞大，让人望而却步啊。再加上隔绝两界的鸿沟……但是，真正有实力的自然会破除一切阻碍、勇往直前的吧，Google不就已经开始涉足芯片设计了吗？ http://www.cnetnews.com.cn/2013/1213/3005335.shtml [/quote] 是啊，我们刚开始推FDIO的概念，靠着初生牛犊不怕虎的念头就往前冲。最开始受到的质疑很多。慢慢地有数据中心和设备厂商看到了同样的问题，推导出同样的结论，这股力量合在一起，就聚沙成塔。现在进入实施阶段了！

P星人 2014-05-14

打赏
举报

引用 31 楼 ekhsofxe_ibb 的回复:

软件工程师起点低，国内软件工程师居多，相对来说，硬件工程师就好多了，就业压力没那么大。俗一点说，硬件工程师是盖房的，软件工程师是装修的。

P星人 2014-05-14

打赏
举报

]

引用 35 楼 frmqjqxrpqzg 的回复:

个人观点，从未来趋势看，硬件会越来越靠近后端，这就是很对人提出的“软件定义数据中心”，不管是存储还是服务器，通过虚拟化技术变成一种资源，计算资源和存储资源，真正决定功能的就是软件了。软件定义数据中心则在各种底层硬件架构上面加载了一个虚拟的基础设施层。软件提供了让数据中心适配新形势和新应用所需的一切，管理了从存储到交换机乃至于安全等方方面面。有了这个基础，可伸缩性和性能问题可迎刃而解。包含有大量遗留资产的数据中心因此可以提高效率、降低成本、实现动态化。

软件层面的虚拟化能否解决所有的大数据存储／处理的需求呢？如果是这样，为什么大型数据中心中采用的软件虚拟化非常有限呢？这个问题发人深思啊。

P星人 2014-05-14

打赏
举报

引用 5 楼 ziqiangjiuzhongguo 的回复:

软件看硬件，硬件看软件，都觉得对方是屌丝。搞硬件的因为资金投入大往往都是传统大厂在玩，玩到末了好像有点理所当然的意思，英特尔的芯片可以不延续摩尔定律吗？芯片玩到最后不是爱装多少电路装多少电路吗？是这样吗？搞硬件的仿佛，如果有决心，就可以搞得动软件（看看所有硬件大厂谁不开发软件？），但搞软件有几个玩得转硬件？

说的是。开发硬件的初期投入太过庞大，让人望而却步啊。再加上隔绝两界的鸿沟……但是，真正有实力的自然会破除一切阻碍、勇往直前的吧，Google不就已经开始涉足芯片设计了吗？ http://www.cnetnews.com.cn/2013/1213/3005335.shtml

cdb81 2014-05-13

打赏
举报

引用 74 楼 Heng_Liao 的回复:

[quote=引用 69 楼 u013424982 的回复:] [quote=引用 67 楼 Dong_Zhang_PMC 的回复:] [quote=引用 60 楼 u013424982 的回复:] 研究显示，理想中的下一代I/O架构必须基于PCIe、SAS/SATA或是某种兼容并蓄的融合型架构。与此同时，新的I/O架构承担着继往开来的使命，使之责无旁贷将沿袭以往多年研发的SASI/O架构的种种性能与优点，从而确保下一代存储系统的兼容、可靠及管理的便利。这种不断改革出新的架构是否真的是适合大众使用的呢？

这是在说SFF8639不？存储离总线越来越近的表现，或许将来会专门为存储产生另外一种总线，就像为内存而生的DIMM一样。[/quote] 嗯。了解[/quote] 我想楼主出发点在于理想中的下一代I/O架构，而不仅限定在SFF8639连接器的设计，而涵盖了从CPU到存储介质的每个软/硬/固件的环节。方面很多： 1) SSD 低延迟---- 驱动了：OS/Driver的数据通路的精简，访问协议的改变，采用块设备还是内存方式访问 2) SSD 低延迟，高带宽 --- 采用PCIe方式直接连接而不通过IO控制器，甚至直接连接在存储DDR总线上 3) 扇出I/O扩展，盘的共享--- 需要支持共享的PCIe交换 4) SSD和SAS/SATA盘混插--- 需要在同一个交换器件上同时支持共享的PCIe交换，还要同时支持SAS/SATA 协议 5）热插拔，存储和计算的解耦合：多协议连接器设计，交换芯片，fabric 管理和业务支持，错误故障域隔离，机箱管理， 6) 应用环节对容量，物理尺寸的不同需求：SSD 盘的各种物理形态。上面简要罗列了几项，供大家讨论。 [/quote] SSD的出现必然要导致软件体系的优化。打个比方，现在的OS访问机械磁盘的时候，考虑到机械磁盘的特点，会做电梯算法，然后把一捆排序好的IO请求送下去，以避免磁头的大范围挪动，增加访问速度。那么对于SSD，这些算法都是累赘。现在PCIe(NVMe) 接口的闪存卡驱动已经在这块做了优化，那么SAS/SATA接口的SSD呢？对于混插的怎么做的？整个OS的架构都可能要随之而变一变。那么反正要变了，那像楼主所罗列的，还有很多其他问题，比如热插拔，管理...，甚至到底应该用什么接口(DIMM/PCIe/SAS/FC/IB/Ethernet)？往上还有与现在的云系统，Hadoop这样的分布式数据分析系统衔接的更好。这些问题想起来还是挺复杂的，但是也是不得不变？所以，我个人看法是，软件硬件得坐在一起好好想想该怎么变了。