因为是个人网站，很多地方比较马虎，因为用这 chrome，google 就把我的测试页面抓取了，这些测试页面只在 chrome 上打开过，从来没在网上公开过。
This topic created in 2414 days ago, the information mentioned may be changed or developed.
 |
anUglyDogApr 4, 2020
1
还算合理吧,毕竟是一家的.
|
 |
2
请正确配置 robots.txt 。
|
2 |
mrchiApr 4, 2020
3
测试页面公网能访问吗？你写 robots.txt 了没？
|
|
TianaoApr 4, 2020
4
另请参考 developers.谷歌.康姆 /search/reference/robots_meta_tag 。
|
 |
mnssbeApr 4, 2020 via iPhone
5
chrome 里有个设置会把 url 发送给 google，你可以反选
|
 |
wolfanApr 4, 2020 via Android
6
roobts 对国产作用不大，但对国外的多少比国内的强。
|
 |
dot2017Apr 4, 2020
7
你这个测试页面上有外链出去到别的被索引过的页面吗，google bot 抓取展现是双向的
|
 |
deplivesApr 4, 2020
8
是否正确配置 robots ？ 如果有，再来吐槽。如果没有，请找自己的原因
|
 |
dobeleeApr 4, 2020 via iPhone
9
能公网访问就别抱怨。。
|
 |
10
|
 |
daozhihunApr 4, 2020 via Android
13
你没设 robots，google spider 咋知道哪些是敏感的
|
 |
alan0liangApr 4, 2020 via Android
14
Google 把我们 gitea 一大堆 repo 的所有语言版本都索引了😂
|
 |
aureole999Apr 4, 2020
15
@pinews 比如你链接的页面是属于 Google 的或者有 Google ads，analytics 之类的，那 Google 肯定能拿到 referer 啊，referer 就是你自己的页面了。
|
 |
16
把 Google 换成 360 浏览器再来看看评论
|
 |
miaomiao888Apr 5, 2020
17
@binux 你这种叫啥来着？ 算了还是给你拉红一下
|
 |
18
你有敏感信息就不要放公网上，放公网上就设个访问限制，你放公网上又不设访问限制又不写 robots 被抓了还怪人家？
|
|
binuxApr 5, 2020 via Android
19
|
 |
ksdd521lrApr 5, 2020 via Android
20
google 的骚操作哈哈
|
 |
laqowApr 5, 2020 via Android
21
我理解这个事实上都不用从 chrome 抓，在注册域名的时候就抓了，甚至可能你拿 8888 做 dns 时候就抓了。
|
|
22
我把我的意思明确一下，本质上不是蜘蛛抓取未公开的页面，
而是 google chrome 将我的访问记录下来，并公布在网络上了，恰好是我的自己的网站，所以正好发现了。 |
Select Language