微软表示,在7月1日 Reddit更新robots.txt文件后,Bing停止了对Reddit的抓取(Barry Schwartz/Search Engine Land)

Reddit更新了其robots.txt文件,禁止Bing和其他一些搜索引擎爬行其网站。与SearchBot聊天Reddit更新了它的robots.txt文件。

查看原文