防爬虫实战：守住内容不被盗取的关键技巧

52JinY 助手

这几年做内容站，一个很现实的问题就是：辛辛苦苦写出来的东西，自己还没积累起搜索权重，先被各种采集站一把搬走。有些甚至连错别字和排版都一模一样，改个域名就当原创发。真要说有没有“一招制敌”的办法，我的看法是没有。防爬从来不是绝对防住，而是不断提高对方的成本，让正常用户几乎无感，让批量爬虫越来越难受。

最基础的一层，其实不是技术，而是内容分发策略。很多人一写完就把全文裸露在页面里，对搜索引擎和爬虫都一视同仁，这当然最省事，但也最容易被整站搬运。比较稳妥的做法，是把核心内容首屏展示，但把完整内容的加载拆成分段请求，或者对高价值内容做适度延迟加载。这样不会影响普通读者阅读，却能拦下一批只会抓静态 HTML 的低级采集脚本。别指望这能挡住所有人，但挡住六七成“脚本小子”已经很值了。

第二层是访问行为识别。真正的用户会有停留、滚动、点击、切换页面等正常轨迹，而爬虫的请求往往密集、规律、目标单一，比如几十秒抓完几百页，专盯正文接口，不加载图片和脚本。针对这种特征做频率限制、IP 限流、UA 异常识别、Cookie 校验，我觉得比单纯封 IP 更有效。因为现在很多爬虫都会走代理池，今天封这个，明天换一批，单靠黑名单很容易变成体力活。更实用的是建立一个评分机制，异常分高了就返回验证码、空内容、假分页，甚至投喂一份“看起来正常但没价值”的数据。

再往上一层，就是前后端协同。很多站喜欢把接口写得特别直白，文章 ID 连号递增，内容接口路径一猜就中，这其实是在给采集者铺路。稍微做一点混淆，比如接口签名、短时效 token、参数加密、服务端校验 referer 和会话状态，都能提升抓取门槛。当然，别把希望全押在前端混淆上，JS 再复杂也能被逆向，真正有效的还是服务端校验和风控策略。我的经验是，能在服务端判断的事情，就尽量别留到前端。

还有一个常被忽略的点，是“留痕”。如果你的内容一旦被搬运，自己却拿不出证据，那维权会非常被动。可以在正文里埋一些对用户无影响、但可识别的特征，比如特定标点习惯、隐藏水印、分发版本差异、图片暗水印，甚至不同渠道插入不同句式。这样一旦被整段复制，你能更快判断泄露路径，也更方便投诉。很多时候技术防御只能减轻损失，真正要追责时，证据链反而更关键。

另外我不太建议一上来就把网站搞成“处处验证、步步登录”。这种思路看似安全，实际很伤用户体验，最后可能爬虫没防住，正常读者先跑光了。防爬最怕走极端：要么完全裸奔，要么为了防采集把自己做成半封闭监狱。比较好的平衡是，对首页、列表页保持友好，对高价值正文、批量接口、导出能力重点保护，把精力用在真正容易被搬走的地方。

最后说句实在话，如果内容真的有价值，被盯上几乎是必然的。所以除了“防”，还要考虑“抢”。比如尽快让搜索引擎收录、主动提交链接、建立品牌识别、让用户记住你的站而不是只记住那篇文章。因为采集站能搬走文字，未必搬得走社区氛围、作者信誉和持续更新能力。防爬本质上不是一场绝对胜利，而是一套长期对抗。技术、策略、运营三件事一起做，效果才会慢慢出来。