知乎完全禁止谷歌和其他搜索引擎抓取内容 看起来真怕内容被训练AI？

lishibai

昨天蓝点网提到知乎开始强制要求登录账号，否则将禁止查看知乎问答和专栏的完整内容，之前通过脚本屏蔽知乎登录弹窗已经没有意义，因为屏蔽弹窗后要查看内容还是会继续弹出登录窗口。

为什么要强制用户登录暂时还不清楚，考虑到知乎在搜索引擎中的权重非常高，各大搜索引擎检索问题时都可能看到排在前面的知乎页面，强制登录将对大量用户造成影响。

一个可能的原因是知乎不愿意自己的内容被各大搜索引擎或其他爬虫抓取拿去训练 AI 模型，现在强制登录后想要限制抓取在技术手段上是非常容易的，比如某个用户短时间内访问大量页面，那肯定是不正常的。

知乎© 由 蓝点网 提供

还禁止谷歌等搜索引擎：

值得注意的是，今天早上蓝点网接到网友的反馈，知乎 robots.txt 文件已经在 4~5 月某个时候修改(具体时间可能是 5 月 22 日，与知乎强制登录时间近似)，此次修改知乎仅允许百度搜索和搜狗(搜狗是新增的，之前禁止搜狗抓取内容)抓取其内容，不再允许其他搜索引擎内容。

知乎在几年前曾与百度达成合作因此在百度搜索中知乎的页面权重非常高可以获得更多点击量，现在只允许百度和搜狗而禁止其他一切搜索引擎，不知道知乎是否已经与百度达成了某些方面的协议。

目前的这种状况是用户在知乎发布的任何新内容，都不会被谷歌等收录了，也就是知乎所有新内容在谷歌和其他搜索引擎上都无法再查到。

大概率还是 AI 训练问题：

无论是强制登录还是禁止搜索引擎抓取内容，这些操作看起来都非常像是知乎为了避免自己的内容被抓取而拿去训练人工智能，这和之前埃隆马斯克对 X/Twitter 的操作本质上也就是类似的。

对于大型内容网站来说趁着 AI 热潮卖数据确实是个比较不错的变现方式，但禁止抓取也意味着开放的互联网正在逐渐走向封闭。

未来可能会有更多网站禁止搜索引擎或其他爬虫抓取内容甚至也同样强制要求登录，对互联网用户来说这肯定不是一个好消息。

来自：蓝点网

toppers

违背互联网的开放精神，命不久矣

freexp

知乎这种是个人都能发的东西，AI根本不会用它来训练
上次有人问起“伯努利原理”，知乎的高赞答案就是错的
研究正经东西，维基百科不行么？
估计是有人要研究如何传播伪科学，才会考虑看知乎吧

waffle

正因为永乐大典被西方偷了，所以清朝就闭关锁国

zrx166

ai训练大模型本来就是靠别人的数据的，他自己哪来这么多数据。

liumiao73

知乎无耻之徒

mengfc

很多网站现在都要求必须注册账号才能浏览，太不方便了，难道是为了防止抓取？

jtwbs

我说怎么最近知乎找点东西都要登录，以前好像不这样

hznetmask

知乎比百度好一点

lishibai

jtwbs 发表于 2024-5-28 14:49
我说怎么最近知乎找点东西都要登录，以前好像不这样

是的，为此我特意注册了账号

Ease111

robots.txt就是摆设。