分布式服务器学习

xiaolomg 2014-01-21 11:07:57
最近想学习下分布式概念，看到一本好书 《分布式系统原理与泛型》；
另外想问下 如果想涉足 分布式服务器编程（语言主要考虑C++,lua，平台考虑linux），有哪些好的书籍推荐或者需要巩固哪些基础知识.谢啦！
...全文
198 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
xiaolomg 2014-01-23
  • 打赏
  • 举报
 回复
引用 5 楼 emailtome 的回复:
分布式服务器编程（语言主要考虑C++,lua python perl c js ...，平台考虑linux）
为毛排除C++，lua
emailtome 2014-01-23
  • 打赏
  • 举报
 回复
分布式服务器编程（语言主要考虑C++,lua python perl c js ...，平台考虑linux）
csd1208 2014-01-21
  • 打赏
  • 举报
 回复
眼见为实，耳听为虚。书的好坏在于是否适合自己，不是适合别人
xiaolomg 2014-01-21
  • 打赏
  • 举报
 回复
引用 1 楼 derekrose 的回复:
Distributed Systems: Concepts and Design, 5th Edition
这本书您读过没，我看到豆瓣上评价不好。。。。
Fourinone分布式计算框架
FourInOne（中文名字“四不像”）是一个四合一分布式计算框架，在写这个框架之前，我也看了老外写的其他开源框架，也对分布式计算进行了长时间的思考，当我们把复杂的hadoop当作一门学科学习时，似乎忘记了我们想解决问题的初衷：我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算，把更多的cpu和内存利用上，来解决我们数量大和计算复杂的问题，当然这个过程中要考虑到分布式的协同和故障处理。如果仅仅是为了实现这个简单的初衷，为什么一切会那么复杂，我觉的自己可以写一个更简单的东西，它不需要过度设计，只需要看上去更酷一点，更小巧一点，功能更强一点。于是我将自己对分布式的理解融入到这个框架中，考虑到底层实现技术的相似性，我将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内，对复杂的分布式计算应用进行了大量简化和归纳。 首先，对分布式协同方面，它实现了Zookeeper所有的功能，并且做了很多改进，包括简化Zookeeper的树型结构，用domain/node两层结构取代，简化Watch回调多线程等待编程模型，用更直观的容易保证业务逻辑完整性的内容变化事件以及状态轮循取代，Zookeeper只能存储信息不大于1M的内容，FourInOne超过1M的内容会以内存隐射文件存储，增强了它的存储功能，简化了Zookeeper的ACL权限功能，用更为程序员熟悉rw风格取代，简化了Zookeeper的临时节点和序列节点等类型，取代为在创建节点时是否指定保持心跳，心跳断掉时节点会自动删除。FourInOne是高可用的，没有单点问题，可以有任意多个复本，它的复制不是定时而是基于内容变更复制，有更高的性能，FourInOne实现了领导者选举算法（但不是Paxos），在领导者服务器宕机情况下，会自动不延时的将请求切换到备份服务器上，选举出新的领导者进行服务，这个过程中，心跳节点仍然能保持健壮的稳定性，迅速跟新的领导者保持心跳连接。基于FourInOne可以轻松实现分布式配置信息，集群管理，故障节点检测，分布式锁，以及淘宝configserver等等协同功能。 其次, FourInOne可以提供完整的分布式缓存功能。如果对一个中小型的互联网或者企业应用，仅仅利用domain/node进行k/v的存储即可，因为domain/node都是内存操作而且读写锁分离，同时拥有复制备份，完全满足缓存的高性能与可靠性。对于大型互联网应用，高峰访问量上百万的并发读写吞吐量，会超出单台服务器的承受力，FourInOne提供了fa?ade的解决方案去解决大集群的分布式缓存，利用硬件负载均衡路由到一组fa?ade服务器上，fa?ade可以自动为缓存内容生成key，并根据key准确找到散落在背后的缓存集群的具体哪台服务器，当缓存服务器的容量到达限制时，可以自由扩容，不需要成倍扩容，因为fa?ade的算法会登记服务器扩容时间版本，并将key智能的跟这个时间匹配，这样在扩容后还能准确找到之前分配到的服务器。另外，基于FourInOne可以轻松实现web应用的session功能，只需要将生成的key写入客户端cookie即可。 FourInOne对于分布式大数据量并行计算的解决方案不同于复杂的hadoop，它不像hadoop的中间计算结果依赖于hdfs，它使用不同于map/reduce的全新设计模式解决问题。FourInOne有“包工头”，“农民工”，“手工仓库”的几个核心概念。“农民工”为一个计算节点，可以部署在多个机器，它由开发者自由实现，计算时，“农民工”到“手工仓库”获取输入资源，再将计算结果放回“手工仓库”返回给“包工头”。“包工头”负责承包一个复杂项目的一部分，可以理解为一个分配任务和调度程序，它由开发者自己实现，开发者可以自由控制调度过程，比如按照“农民工”的数量将源数据切分成多少份，然后远程分配给“农民工”节点进行计算处理，它处理完的中间结果数据不限制保存在hdfs里，而可以自由控制保存在分布式缓存、数据库、分布式文件里。如果需要结果数据的合并，可以新建立一个“包工头”的任务分配进行完成。多个“包工头”之间进行责任链式处理。总的来说，是将大数据的复杂分布式计算，设计为一个链式的多“包工头”环节去处理，每个环节包括利用多台“农民工”机器进行并行计算，无论是拆分计算任务还是合并结果，都可以设计为一个单独的“包工头”环节。这样做的好处是，开发者有更大能力去深入控制并行计算的过程，去保持使用并行计算实现业务逻辑的完整性，而且对各种不同类型的并行计算场景也能灵活处理，不会因为某些特殊场景被map/reduce的框架限制住思维，并且链式的每个环节也方便进行监控过程。 FourInOne也可以当成简单的mq来使用，将domain视为mq队
分布式机器学习_分布式机器学习之参数服务器(PS)详解
为了更好的了解分布式机器学习，深入理解参数服务器的理念及设计是必要的。结合最近看的李沐大神参数服务器的论文，加深对PS的理解，故整理此文。Parameter server 使用缩写PS提出参数服务器框架来解决分布式机器学习问题，数据和计算工作量都分布到Client节点，而服务器节点维护全局共享的参数，这些参数为稀疏向量和矩阵。PS 维护 Client和Server 之间的异步数据通信。支...
深入浅出分布式服务器架构
本文是对分布式服务器架构的由来进行介绍，要开发一款网络游戏自然不能对开发网络游戏的历史一无所知，充分了解网络游戏开发的历史也能加深对当前网络游戏架构的理解 下面就来看一看网络游戏的服务器是如何一步步的从一个简单的服务器逐渐过渡到当前热门的分布式架构服务器的
分布式机器学习
一、分布式机器学习定义 分布式机器学习（DML）是指利用多个计算节点进行机器学习或者深度学习的算法和系统，旨在提高性能、保护隐私，并可扩展至更大规模的训练数据和更大的模型。 举个例子，一个由三个计算节点和一个参数服务器组成的分布式机器学习系统如下，训练数据被分为不相交的数据分片并被发送给各个计算节点，计算节点将在本地执行随机梯度下降（SGD）。计算节点将梯度或者模型参数发送至参数服务器。
分布式机器学习第3章 分布式机器学习框架
分布式机器学习第3章 分布式机器学习框架 学习笔记
C语言

69,368

社区成员

243,081

社区内容

发帖
与我相关
我的任务
社区描述
C语言相关问题讨论
社区管理员
  • C语言
  • 花神庙码农
  • 架构师李肯
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章