页面渲染方式这件事,说点实在的。我这几年做过三种站:纯服务端渲染、纯前端渲染、还有一个混合的,感受完全不一样。
纯前端渲染那站最麻烦。打开源代码,除了一个空壳和几个脚本引用什么都没有。搜索引擎第一次来抓,拿到的就是这个壳子。我等了两个月,收录不到三成。后来用工具模拟抓取,发现它拿到的确实是空白内容,就明白了。
那次之后我改了两件事。一是把文章内容改成服务端先输出,交互再交给前端接手。二是加了预渲染,把固定页面提前生成成静态 HTML。改完抓取立刻正常,部分页面的收录一周内就来了。
混合的方式现在我很推荐:需要交互的地方用前端,需要被搜索的内容一定要出现在最初返回的 HTML 里。判断方法很简单,用 curl 拉一下页面,能看到正文就算过关。
另外一个坑是内链也是脚本生成的。爬虫看不到站内跳转,整个站就成了孤岛。导航和文章列表这类关键链接,必须写在 HTML 里。
—— 来自 挖的客 - 优秀网站分类目录 的分享