从个人栏目到系统化产出:内容产品新阶段与supabase连接故障排查
1. 从一条公告说起:Latent Space 与 AINews 的这次“新阶段”到底意味着什么
swyx 在技术社区里一直是个挺特别的存在。他写的东西不绕弯子,做事情也喜欢把过程摊开给人看。这次他宣布 Latent Space 和 AINews 进入新阶段,我第一反应不是“又融资了”或者“又换方向了”,而是——这两个内容产品终于要从“个人驱动的精品栏目”往“有稳定基础设施支撑的持续产出系统”去演进了。Latent Space 是面向 AI 工程师的深度访谈与工程实践内容,AINews 则是每天把 AI 圈子里真正值得看的信息筛一遍、压成简报。两者一个偏深度、一个偏时效,合在一起其实覆盖了 AI 从业者信息摄入的两端。
这个“新阶段”对普通读者来说,最直接的影响是:内容会更稳、更新更规律、检索和归档会更靠谱。对做技术内容、做开发者关系、甚至自己搞 newsletter 的人来说,这是一次值得拆解的样本——一个人或小团队怎么把内容产品从“靠热情撑着”推到“靠系统跑着”。而热搜词里冒出来的 supabase 和 supabase read econnreset,恰好暴露了这类内容系统在基础设施层面最常踩的坑:数据库连接层的稳定性。我后面会专门拿一节来讲这个报错怎么排查,因为我自己在做类似内容归档系统时被它折腾过不止一次。
这篇文章适合三类人看:一是正在做技术内容、想把它做成长期产品的人;二是用 supabase 做后端、被连接问题搞过的开发者;三是对 AI 信息聚合、newsletter 工程化感兴趣的人。我会把这次“新阶段”背后可能的技术选型、内容运营逻辑、以及实操中会遇到的坑,按我自己的经验拆开讲。不保证和 swyx 的实际方案一模一样,但保证是“一个做过类似事情的人会怎么想、怎么做”。
2. 内容产品的“新阶段”到底新在哪:从个人栏目到系统化产出
2.1 为什么内容产品迟早要面对“系统化”这道坎
做内容这件事,起步阶段靠的是选题嗅觉和表达欲。swyx 早期写 Latent Space 的访谈,很多是“我认识这个人、我对这个话题好奇、我把它聊出来”。这种模式产出的内容质量高,但有个致命问题:不可持续。人的精力是波动的,灵感是间歇的,一旦更新频率掉下来,读者流失速度比涨粉速度快得多。AINews 这种日更简报更是如此,每天要筛几十上百条信息源,纯手工做,做一个月可以,做一年基本会崩。
所以“新阶段”的核心命题,我判断是把内容生产流程里可以标准化的部分标准化,把人的精力集中在真正需要判断力的环节。具体来说,信息采集、去重、初步分类、归档、分发这些环节,应该由系统承担;而选题判断、观点输出、访谈提问这些环节,仍然由人来做。这个分工逻辑,和很多工程团队做 CI/CD 的思路是一样的——机器做重复劳动,人做决策。
这里有个常见的误区:很多人一提到“系统化”就想到“全自动 AI 生成内容”。这是走偏了。内容产品的护城河恰恰在于人的判断,全自动生成的内容没有护城河。正确的做法是“人机分工”,而不是“机器替代人”。Latent Space 的深度访谈如果交给 AI 生成,读者第二天就不看了;但 AINews 的信息采集和初筛如果还靠手工,运营者第三天就累垮了。
2.2 Latent Space 与 AINews 的分工:深度与时效的双轨结构
把这两个产品放在一起看,会发现它们其实是一套组合拳。Latent Space 解决的是“我想深入理解某个 AI 工程问题”的需求,内容形态是长访谈、技术拆解、实践复盘,消费周期长,但单篇价值高、生命周期长。AINews 解决的是“我今天不想错过重要动态”的需求,内容形态是短简报、链接聚合、要点提炼,消费周期短,但需要高频更新。
这种双轨结构的好处是:深度内容负责建立品牌和信任,时效内容负责维持触达和活跃。读者可能不会每篇 Latent Space 都读完,但会因为认可它的质量而留下来;AINews 则负责让读者每天都想起你。两者互相导流,形成一个内容飞轮。
从工程角度看,这两个产品对后端的要求完全不同。Latent Space 需要的是内容管理系统——文章存储、编辑、发布、SEO、归档检索。AINews 需要的是信息聚合管道——多源抓取、去重、分类、摘要、定时分发。如果两者共用一套基础设施,那这套设施必须同时支持“低频重内容”和“高频轻内容”,这对数据模型和调度系统的设计要求不低。
2.3 为什么这个阶段会跟 supabase 扯上关系
supabase 出现在热搜词里,我一点都不意外。这类内容产品在早期用 Markdown 文件加静态站点生成器就能跑,但一旦要做“归档检索”“订阅管理”“阅读统计”“多源信息去重”,文件系统就不够用了,必须上数据库。而 supabase 作为基于 Postgres 的后端服务,对独立开发者和小团队来说门槛低、上手快,天然适合这种场景。
具体来说,supabase 能提供几个关键能力:Postgres 数据库存文章和元数据、行级安全策略做多用户权限、实时订阅做更新推送、存储服务放音频和图片、边缘函数做轻量后端逻辑。对 AINews 这种需要频繁写入信息条目的场景,Postgres 的结构化查询和全文检索能力比纯文档数据库更合适。对 Latent Space 这种需要长期归档和检索的场景,Postgres 的索引和查询优化能力也是刚需。
但 supabase 也不是没有代价。它把 Postgres 包装得很好用,但底层连接管理、连接池、网络稳定性这些问题依然存在。热搜词里的 supabase read econnreset 就是这类问题的典型表现——连接被重置,读操作失败。这个我放到第 4 节专门讲,因为它是这类系统上线后最容易遇到的“看起来是玄学、其实是配置问题”的故障。
3. 拆解核心环节:一个内容聚合与归档系统的关键设计
3.1 信息采集层:多源抓取与去重的工程细节
AINews 这类产品的第一道工序是信息采集。信息源通常包括:技术博客 RSS、社区热榜、社交平台公开动态、官方公告页、论文预印本平台等。采集层的设计要点有三个:抓取频率控制、去重策略、失败重试。
抓取频率控制不好,轻则被源站限流,重则 IP 被封。我的经验是,对 RSS 源用 15 到 30 分钟一轮的轮询就够了,对热榜类接口用 5 到 10 分钟一轮,对官方公告页可以放宽到 1 小时一轮。所有请求都要带合理的 User-Agent,并且对同一域名做并发限制,别一个源站开十个并发去拉。
去重是采集层最容易偷懒也最容易出问题的地方。最简单的去重是按 URL 去重,但同一篇文章可能被多个源转载,URL 不同内容相同。更稳的做法是URL 规范化加内容指纹双保险:先把 URL 去掉追踪参数、统一协议和域名大小写,再做一次去重;然后对正文做 SimHash 或 MinHash,算出一个内容指纹,指纹相同或相似度超过阈值的判为重复。这样能挡住大部分转载和镜像。
失败重试要有退避策略。我一般用指数退避:第一次失败等 30 秒,第二次等 2 分钟,第三次等 10 分钟,超过三次就标记为“待人工检查”,不要无限重试。无限重试会把日志刷爆,也会给源站造成压力。
3.2 数据存储层:为什么选 Postgres 而不是纯文档库
内容聚合系统的数据模型其实挺复杂:信息源表、原始条目表、去重指纹表、分类标签表、发布记录表、订阅者表、阅读统计表。这些表之间有明确的关系,需要联表查询,比如“查某个标签下最近七天发布且阅读量超过阈值的条目”。这种查询用 Postgres 写起来很自然,用纯文档数据库就得在应用层做大量拼接。
Postgres 的全文检索能力也是加分项。AINews 的归档如果支持关键词搜索,用 Postgres 的 tsvector 和 tsquery 就能实现,不需要额外引入搜索引擎。对于中小规模的内容归档,这能省掉一个组件的运维成本。当然,如果条目量到了千万级、搜索需求又很复杂,那还是得上专门的搜索服务,但对大多数独立内容产品来说,Postgres 全文检索够用了。
supabase 在这层的价值是把 Postgres 的运维复杂度降下来了。备份、扩容、连接池、监控这些原本要自己搭的东西,它提供了托管方案。但要注意,托管不等于不用管。连接池配置、索引设计、慢查询优化这些还是得自己做,不然就会遇到 econnreset 这类问题。
3.3 分发与归档层:让内容“可被找到”比“被看到”更重要
内容产品有个容易被忽视的价值点:归档的可检索性。AINews 每天发出去的简报,如果只是发完就沉底,那它的长期价值几乎为零。但如果每一条信息都进了数据库、打了标签、能被搜索到,那这个归档本身就是一个知识库,会持续带来搜索流量和口碑。
分发层的设计要解决两个问题:一是“推”,二是“拉”。“推”是把新内容主动送到订阅者面前,渠道包括邮件、RSS、社交平台自动发布。“拉”是让用户能主动来站内检索和浏览。推的部分要控制频率,别一天发五封邮件,那叫骚扰不叫分发。拉的部分要做好站内搜索和标签导航,让用户三秒内能找到想要的东西。
归档层还要考虑数据保留策略。原始抓取数据要不要长期保留?我的建议是保留,但做冷热分离。最近 90 天的数据放主库,方便高频查询;更早的数据归档到冷存储或分区表,需要时再查。这样主库不会因为数据量膨胀而变慢。
4. supabase read econnreset 排查实录:连接层故障的完整处理思路
4.1 这个报错到底在说什么
econnreset 是 ECONNRESET 的写法变体,意思是 TCP 连接被对端重置了。放到 supabase 的读操作场景里,通常表现为:应用发起一个查询请求,连接建立后还没拿到完整响应,连接就被重置了,客户端收到这个错误。它和“连接超时”不是一回事——超时是等不到响应,重置是连接被主动掐断。
这个错误在 supabase 场景下有几个常见诱因:连接池耗尽、查询时间过长触发服务端保护、网络中间层(比如负载均衡或代理)空闲超时、客户端连接未正确释放、以及服务端实例资源紧张。排查的时候不能只盯着数据库看,要把整条链路都过一遍。
4.2 从客户端到服务端的逐层排查清单
我一般按这个顺序排查,从最可能、最容易改的地方开始:
| 排查层级 | 检查项 | 常见问题 | 处理方式 |
|---|---|---|---|
| 客户端连接管理 | 连接是否复用、是否正确释放 | 每次请求新建连接、忘记 close | 用连接池,确保 finally 里释放 |
| 连接池配置 | 池大小、空闲超时、最大生命周期 | 池太小导致排队、空闲连接被服务端掐断 | 池大小设为并发峰值的 1.5 倍,空闲超时小于服务端 |
| 查询本身 | 是否有慢查询、全表扫描 | 缺索引、查询返回大量数据 | 加索引、分页、限制返回字段 |
| 网络中间层 | 负载均衡空闲超时 | 长连接被中间层掐断 | 开启 TCP keepalive,缩短空闲时间 |
| 服务端 | 实例规格、连接数上限 | 免费或低配实例连接数少 | 升级规格或优化连接使用 |
这个表里,连接池配置是最容易被忽视又最容易出问题的一环。很多人用 supabase 的客户端库时,默认每次查询都走一个新连接,量一上来连接数就爆了。正确做法是在应用启动时初始化一个连接池,所有查询复用池里的连接。
4.3 连接池参数怎么算:一个可复现的配置示例
连接池大小不是拍脑袋定的。有个粗略公式:池大小 = 并发请求峰值 × 单请求平均持有连接时间 / 请求间隔。举个例子,如果你的服务峰值每秒 50 个请求,每个请求平均持有连接 100 毫秒,那理论上需要 50 × 0.1 = 5 个连接同时工作。但考虑到波动和突发,实际池大小设成 10 到 15 比较稳。
下面是一个 Node.js 环境下用 pg 连接池连接 supabase 的配置示例,参数都标了注释:
这里几个参数的选择逻辑:idleTimeoutMillis 设 30 秒,是因为很多负载均衡的空闲超时在 60 秒左右,客户端先释放就不会被对端掐断。connectionTimeoutMillis 设 5 秒,是为了在池满时快速失败,而不是让请求无限等待。maxUses 是为了避免单个连接用太久出现内存泄漏或状态异常。
4.4 慢查询与索引:被 econnreset 掩盖的真问题
有时候 econnreset 只是表象,真问题是查询太慢。一个没有索引的查询在数据量上来后可能跑几十秒,服务端等不及就把连接重置了。所以排查 econnreset 时,一定要同时看慢查询日志。
AINews 这类系统里,最可能慢的查询是“按时间范围加标签筛选条目”。如果 published_at 和 tags 字段没索引,数据量到十万级就会明显变慢。加索引的语句很简单:
第一个是 B-tree 索引,适合时间范围查询。第二个是 GIN 索引,适合数组类型的标签字段做包含查询。加完索引后用 EXPLAIN ANALYZE 验证一下,确认查询计划走了索引而不是全表扫描。
注意:索引不是越多越好。每个索引都会拖慢写入速度。内容聚合系统写入频繁,索引要精挑细选,只给真正高频的查询条件加索引。
5. 实操复盘:把内容系统从“能跑”推到“跑得稳”
5.1 上线前的压力测试怎么做才有效
很多内容系统上线时好好的,一有流量就崩,原因是没做压力测试。压力测试不是简单地用工具打一堆请求,而是要模拟真实的使用模式。对 AINews 这类系统,真实模式是“大量读、少量写、读集中在最近数据”。所以压测要重点测:最近 7 天条目的列表查询、单条详情查询、标签筛选查询,写入则测批量插入。
我一般用 k6 或 autocannon 做压测,目标不是测出系统极限,而是验证在预期峰值 2 倍流量下,错误率和响应时间是否可接受。如果 econnreset 在压测中就出现,那说明连接池或查询有问题,必须在上线前解决。
压测时还要观察数据库的连接数曲线。如果连接数一直贴着上限,说明池配置或查询持有连接时间有问题。理想状态下,连接数应该在池大小的 60% 到 80% 之间波动,留出突发余量。
5.2 监控与告警:别等用户来告诉你挂了
内容系统上线后,必须有监控。最低限度要监控四个指标:请求错误率、P95 响应时间、数据库连接数、慢查询数量。错误率超过 1% 或 P95 超过 2 秒就该告警。数据库连接数持续超过池大小 90% 也要告警,这是连接耗尽的先兆。
supabase 自带一些监控面板,但不够细。我建议在应用层也埋点,把每次查询的耗时和是否成功记录下来,定期聚合分析。这样出问题时能快速定位是哪个查询、哪个接口的问题,而不是对着 econnreset 干瞪眼。
告警渠道要选能及时看到的,但也要控制告警疲劳。我的做法是分级:错误率超标发即时消息,慢查询增多发日报,连接数缓慢上升发周报。这样既不会漏掉严重问题,也不会被无关紧要的告警淹没。
5.3 内容运营与技术运维的协同节奏
内容产品的特殊性在于,技术问题和运营节奏是耦合的。比如 AINews 每天早上发简报,如果那个时间点系统出问题,影响是直接的。所以技术运维要跟着运营节奏走:发布前半小时做一次健康检查,发布后一小时重点监控错误率。
我踩过的一个坑是:有次在发布高峰期做数据库迁移,结果迁移锁表,发布延迟了二十分钟。从那以后我定了个规矩——任何数据库变更都避开内容发布窗口,迁移要么在深夜做,要么在发布后的低峰期做。这个规矩看起来简单,但能避免很多不必要的故障。
另外,内容系统的容量规划要提前做。AINews 的条目量是线性增长的,如果每天新增 200 条,一年就是 7 万多条,三年就是 20 多万条。这个量级对 Postgres 来说不算大,但如果不做分区或归档,查询会逐渐变慢。我的建议是提前设计好分区策略,按时间分区,老数据自动进冷分区。
6. 常见问题速查与避坑经验
6.1 连接类问题速查表
| 现象 | 可能原因 | 快速验证 | 处理 |
|---|---|---|---|
| econnreset 偶发 | 空闲连接被中间层掐断 | 看是否集中在低峰期 | 开 keepalive,缩短 idleTimeout |
| econnreset 高频 | 连接池耗尽或慢查询 | 看连接数曲线和慢查询日志 | 扩池、加索引、优化查询 |
| 连接超时 | 池满或网络不通 | 看池等待队列长度 | 扩池、检查网络 |
| 查询突然变慢 | 数据量增长、索引失效 | EXPLAIN ANALYZE | 加索引、分区、归档 |
| 写入失败 | 连接被读操作占满 | 看读写连接比例 | 读写分离或独立写池 |
这张表我建议贴在工位上,出问题时按行排查,能省不少时间。大部分连接问题不是玄学,是配置和查询的问题。
6.2 内容系统特有的坑
第一个坑是时区。信息源遍布全球,抓取时间、发布时间、归档时间如果时区不统一,去重和排序都会出问题。我的做法是数据库统一存 UTC,展示时再转本地时区。这个规矩要在项目第一天就定下来,后期改很痛苦。
第二个坑是字符编码。不同源站的编码可能不一样,抓下来不统一转 UTF-8,存进数据库就是乱码。抓取层要强制做编码检测和转换,别指望数据库帮你兜底。
第三个坑是重复发布。定时任务如果没做幂等,网络抖动导致任务重跑,同一条内容可能发两次。解决办法是给每次发布加唯一键,发布前先查是否已发过。这个逻辑简单但必须做。
6.3 我个人的几条硬经验
做了几个内容系统后,我总结了几条不太会写在文档里但很重要的经验。第一,别在高峰期做任何变更,包括改配置、加索引、发版。第二,日志要带请求 ID,这样排查问题时能把一次请求的所有日志串起来。第三,连接池参数要写进配置中心,别硬编码,出问题时能快速调整而不用重新发版。第四,定期做故障演练,手动把数据库连接掐断,看系统能不能优雅降级,这比看监控有用得多。
还有一条关于 supabase 的:它的免费和低配实例连接数限制比较紧,如果内容系统有一定流量,别在这上面省钱。连接数不够导致的 econnreset 排查起来很费劲,升级规格往往是最快的解决办法。我自己的项目就是从低配升到中配后,连接类报错直接消失了。
内容产品从个人栏目走到系统化阶段,技术上的挑战其实不是最难的,最难的是保持内容质量和运营节奏的同时,把系统维护好。swyx 这次宣布“新阶段”,我猜背后也是类似的权衡——用更稳的基础设施,换更持续的产出。这条路我走过,坑不少,但走通了之后,内容产品才真正有了长期价值。