微博动态推送功能是怎么架构的呢

txgaozhao 2012-06-01 12:50:29

微博动态推送功能是怎么架构的呢？数据库方面应该怎么样设计才比较合理呢？大家来一起讨论下吧
...全文
366 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
threenewbee 2013-11-13
  • 打赏
  • 举报
 回复
引用 5 楼 yangjjfan 的回复:
我想说html5直接有websocket,不需要ajax轮询了吧[Quote=引用 1 楼 的回复:] ajax轮询是html5之前唯一且最好的办法。 [/Quote]
注意红字。
代码小天王 2012-06-02
  • 打赏
  • 举报
 回复
我想说html5直接有websocket,不需要ajax轮询了吧[Quote=引用 1 楼 的回复:]

ajax轮询是html5之前唯一且最好的办法。
[/Quote]
txgaozhao 2012-06-02
  • 打赏
  • 举报
 回复
数据库方面该怎么设计呢？
threenewbee 2012-06-01
  • 打赏
  • 举报
 回复
ajax轮询是html5之前唯一且最好的办法。
txgaozhao 2012-06-01
  • 打赏
  • 举报
 回复
数据库方面该怎么设计呢？
happytonice 2012-06-01
  • 打赏
  • 举报
 回复
用“拉”好实现些
记事狗微博系统最新官方版
这是记事狗微博系统最新官方版，记事狗微博系统，是一套创新的PHP开源微博程序，兼有BBS和轻博系统特性，支持短信、手机客户端，可与新浪微博平台内容互通，既可用来独立建站也可通过Ucenter与已有网站整合，通过微博评论模块、关注转发机制打通全站的信息流、关系流，是新时代网站运营不可或缺的系统。整个V3.5版本从数据库结构、代码规范完善、系统负载性能、后台安全管理、信息导航架构、注册认证体系、内容审核管理、用户关系挖掘、多客户端接入、应用功能扩展等十多个方面做了全面改进提高！ 更新说明： 记事狗V4.5.0 beta 版本更新 +--------------------------------------+ 全新的UI风格 全新的导航设计 积分商城功能 内容推送功能（重要动态） 频道模块升级 发布框全新设计，支持带标题微博 微博支持匿名发布 新增加微博相册功能 修复程序安全问题（感谢 datuz@360 、 Chora@乌云 的反馈） 记事狗微博 V4.0.5 Build20130521 1、支持海量数据，可自由分布式架构和关键表分表； 2、全新云验证码，不用再担心注册机的骚扰，还可赚广告费； 3、用户登陆优化，不用再费力猜测输入的昵称是不是自己的； 4、注册过程完善，轻松解决注册后不能快速融入社区的困扰； 5、创新频道模块，即拥有论坛版块优势，又可规避列币驱逐良币的难题； 6、全新顶赞机制，不仅有效激励用户，更让精彩内容不再错过； 7、图片附件任意扩展，不仅支持FTP服务器负载均衡，更支持阿里云存储； 8、用户资料更丰富，启用哪些用户属性、在哪里显示管理员说了算； 9、图文混排更精彩，是微博也是轻博，满足不同用户的需要； 10、在线图片搜索添加，网上海量的图片随便选，让网站更引人入胜； 11、文字样式更多彩，是粗体还是彩色、是代码和引用都可以； 12、私信支持表情图片，好友私聊也精彩； 13、有了马甲更好运营，可用多个账户围观讨论，让新人感受网站的魅力； 14、邮件提醒抓回用户，即可即时消息提醒、也可以定期top内容通知； 15、创新左侧导航，即有两栏的大气、又有三栏的明了，随意开启关闭； 16、附件功能更完善，上传下载都有积分，还可指定用户组不受积分限制等； 17、全新模板界面，简约、大气、素雅，重点内容更突出； 18、精彩内容轻松推荐，可推荐到话题、微群、频道并直接标记展示； 19、重要内容全站置顶，还可以通知到手机客户端，全站用户都不会错过； 20、评论详情更精彩，不仅可直接查看精彩评论，更支持类网易新闻的盖楼评论； 21、有奖转发激活网站，没事做个转发抽奖活动让全站用户动起来； 22、图片投票更有趣，文不如表、表不如图啊； 23、系统定制更方便，是微博还是微贴、是顶还是赞，后台一键设置； 24、广告管理更强大，用链接、文字还是图片，想单独设置还是批量管理均可 25、自由游客首页设置，选新浪还是腾讯模式、用图片墙还是频道看你的心情； 26、任意控制用户访问，可单独设置任何用户组、用户和IP的访问权限； 27、全新android客户端V2.0，支持频道、赞、置顶内容推送等； 28、后台URL链接地址管理及黑名名单功能，方便站长管理和控制微博中的URL网址； 记事狗V4，不只是微博！ 记事狗，为轻运营而生！
记事狗微博系统 v4.0.5 Build20130510
记事狗微博系统，是一套创新的PHP开源微博程序，兼有BBS和轻博系统特性，支持短信、手机客户端，可与新浪微博平台内容互通，既可用来独立建站也可通过Ucenter与已有网站整合，通过微博评论模块、关注转发机制打通全站的信息流、关系流，是新时代网站运营不可或缺的系统。整个V3.5版本从数据库结构、代码规范完善、系统负载性能、后台安全管理、信息导航架构、注册认证体系、内容审核管理、用户关系挖掘、多客户端接入、应用功能扩展等十多个方面做了全面改进提高！ 更新说明： 记事狗微博 V4.0.5 Build20130521 1、支持海量数据，可自由分布式架构和关键表分表； 2、全新云验证码，不用再担心注册机的骚扰，还可赚广告费； 3、用户登陆优化，不用再费力猜测输入的昵称是不是自己的； 4、注册过程完善，轻松解决注册后不能快速融入社区的困扰； 5、创新频道模块，即拥有论坛版块优势，又可规避列币驱逐良币的难题； 6、全新顶赞机制，不仅有效激励用户，更让精彩内容不再错过； 7、图片附件任意扩展，不仅支持FTP服务器负载均衡，更支持阿里云存储； 8、用户资料更丰富，启用哪些用户属性、在哪里显示管理员说了算； 9、图文混排更精彩，是微博也是轻博，满足不同用户的需要； 10、在线图片搜索添加，网上海量的图片随便选，让网站更引人入胜； 11、文字样式更多彩，是粗体还是彩色、是代码和引用都可以； 12、私信支持表情图片，好友私聊也精彩； 13、有了马甲更好运营，可用多个账户围观讨论，让新人感受网站的魅力； 14、邮件提醒抓回用户，即可即时消息提醒、也可以定期top内容通知； 15、创新左侧导航，即有两栏的大气、又有三栏的明了，随意开启关闭； 16、附件功能更完善，上传下载都有积分，还可指定用户组不受积分限制等； 17、全新模板界面，简约、大气、素雅，重点内容更突出； 18、精彩内容轻松推荐，可推荐到话题、微群、频道并直接标记展示； 19、重要内容全站置顶，还可以通知到手机客户端，全站用户都不会错过； 20、评论详情更精彩，不仅可直接查看精彩评论，更支持类网易新闻的盖楼评论； 21、有奖转发激活网站，没事做个转发抽奖活动让全站用户动起来； 22、图片投票更有趣，文不如表、表不如图啊； 23、系统定制更方便，是微博还是微贴、是顶还是赞，后台一键设置； 24、广告管理更强大，用链接、文字还是图片，想单独设置还是批量管理均可 25、自由游客首页设置，选新浪还是腾讯模式、用图片墙还是频道看你的心情； 26、任意控制用户访问，可单独设置任何用户组、用户和IP的访问权限； 27、全新android客户端V2.0，支持频道、赞、置顶内容推送等； 28、后台URL链接地址管理及黑名名单功能，方便站长管理和控制微博中的URL网址； 记事狗V4，不只是微博！ 记事狗，为轻运营而生！
区块链之去中心化微博
开篇先讲两个小故事故事一：在北京一家创业公司工作的年轻女白领是一个旅行爱好者，喜欢旅行并分享到微博上。趁着五一假期到泰国旅游，她拍摄了一组照片分享到了微博上，24h后，微博阅读量达到1万，她收到了100元的广告费。年轻女白领收到广告费后非常的开心，因为她做着自己喜欢的事，还因此而获得了额外收益，从此决定创作出更多精美内容发送到微博上，与人分享自己的快乐。故事二：201X年，微博用户掀起“打拐”行动（打击拐卖儿童行动），一条“6岁女孩周XX四川彭州被拐”的微博在网上被疯狂转发，引来无数网友关心。不久之后，杭州一位女士，发现该条微博上使用的照片正是自己女儿的照片，而自己的女儿一直在家中，并未被拐。于是立马报警，网警查看了微博的操作记录（全部存在区块链上），快速追溯到了虚假微博的始作俑者，并将其绳之于法。上述故事情节，在去中心化微博平台中都是可以实现的，借助于区块链技术，可以保证微博上的所有数据和行为可溯源，从而保证传播信息的真实性。同时，由于去除掉了中心化主体，微博的参与者将同时成为微博平台的所有者，可以共享微博平台的收益。一、现有的中心化微博平台——新浪微博传统微博（如新浪微博）就是一个中心化的应用平台，新浪公司就是整个微博平台的中心。新浪公司制定新浪微博的运行规则，开发出整个微博平台，为其提供中央服务器，维持着整个新浪微博的运转，并不断地向外推广，吸引用户使用。一切商业行为都是为了追逐利益的，新浪公司运营新浪微博，也是为了吸引广告主投放广告，从而获得巨额的广告收入。在中心化的微博平台中，大致流程是这样的，博主（发微博者）会编辑微博发送到新浪微博平台中，新浪微博将微博推送给观众（看微博者），观众查看微博，微博中会夹杂着一些广告，观众看微博时也会看到一些广告。广告主会为广告的浏览量和点击量，支付广告费给新浪公司。二、去中心化微博平台与传统微博平台不同，在去中心化微博平台中，将没有中心机构，没有中央服务器，主要是通过区块链技术，运用分布式自治组织（DAO）的组织架构，实现微博平台的自治。让每一个微博参与者都成为微博平台的所有者，他们将共享微博平台获得的全部收益。在去中心化微博平台中，参与者主要有：发微博者，他们是微博内容提供者，是最核心的参与者之一。微博平台受不受欢迎，很大程度上依赖于内容的质量，而这就必然取决于发微博者。发微博者可以根据其微博中所包含广告的浏览量（等同于微博浏览量）和点击量，来获得微币（WB）作为奖励。挖矿者（存储节点），提供算力和存储能力，充当着服务器的角色，是微博平台得以正常运行的基础。微博系统每隔10分钟会将最新微博打包发送到各个存储节点中，存储节点会储存最新的微博数据，保证所有数据可溯源（区块链技术特点）。作为奖励，系统会给提供算力和存储能力的挖矿者以微币（WB）作为奖励。看微博者，他们是微博内容的浏览者，是微博平台中的主要用户，根据其对微博以及广告的浏览量和点击量，系统也会给予其微币（WB）作为奖励；广告主，在微博中投放广告，以提高自己品牌知名度或者直接引流的商家，他们可以在微博中投放广告，并根据广告的浏览量和点击量，用微币（WB）来支付广告费。在四个参与者中，发微博者、挖矿者和看微博者在参与过程中，都会获取到微币（WB）作为奖励，而广告主则主要需要消耗微币（WB）才能参与到微博活动中。因此，会形成一个微币（WB）交易市场。在交易市场中，广告主用现实中的通用货币（如RMB）购买其他参与者手中的微币（WB）。此外，博主（发微博者）通过微博下方所包含的广告是可以获得收益的，但广告也会给粉丝（看微博者）带来阅读成本，甚至造成反感，从而取消关注，所以博主会主动去把握好广告与粉丝之间的均衡。因此，在去中心化微博平台中，会将微博中广告数量和内容的选择权让渡给博主，从而降低粉丝阅读广告的心理成本，并提高广告的点击量。如一个摄影博主，发了一个在极地拍摄美景的微博，微博下方的广告则选择了与博主同款单反相机的广告，因为关注他微博的人都是以摄影爱好者为主，因此对这样的广告不会过度反感，甚至还会主动去了解。（注：笔者经常在某浪微博上刷到贷款、祛痘、整形等垃圾广告，表示十分反感，无法忍受！）去中心化微博平台参与者所构成的业务流程图详情如下： 
sina_weibo_crawler:利用urllib2加beautifulsoup爬取新浪微博
sina_weibo_crawler 基于urlib2及beautifulSoup实现的微博爬虫系统。 数据库采用mongodb，原始关系以txt文件存储，原始内容以csv形式存储，后期直接插入mongodb数据库 功能: * weibo登陆，原始登陆机制采用模拟登陆，直接用PIL库调出验证码后，人工输入后，将相关参数编码到urllib2中，产生请求，后期采用cookie登陆, 免去了一系列麻烦。 * 爬取推送内容，推送内容主要包括用户发送的数据，包括发送时间、发送来源、转发来源。 * 爬取用户资料 ，包括用户的性别、年龄、住址、图像、昵称、ID. * 爬取用户关注、粉丝名单,由于新浪限制，目前只可以爬取大约5页左右的关注及粉丝列表。 * 爬取某条消息的评论及转发数据，可以通过解析js数据，爬取任意转发用户、评论用户的评论内容。 * 采用多进程在多核服务器上并行爬取 DEMO: 架构环境
新浪微博技术架构分析和设计
第一部分：新浪微博技术架构新浪微博在2014年3月公布的月活跃用户（MAU）已经达到1.43亿，2014年新年第一分钟发送的微博达808298条，如此巨大的用户规模和业务量，需要高可用（HA）、高并发访问、低延时的强大后台系统支撑。微博平台第一代架构为LAMP架构，数据库使用的MyIsam，后台用的php，缓存为Me...
.NET社区

62,046

社区成员

669,049

社区内容

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章