黑板报 微软表示,在7月1日 Reddit更新robots.txt文件后,Bing停止了对Reddit的抓取(Barry Schwartz/Search Engine Land) 2024-07-25 Reddit更新了其robots.txt文件,禁止Bing和其他一些搜索引擎爬行其网站。与SearchBot聊天Reddit更新了它的robots.txt文件。查看原文