未公开的域名被蜘蛛爬，到底是哪一环出了问题？ - V2EX

Home Sign Up Sign In

This topic created in 3480 days ago, the information mentioned may be changed or developed.

域名 NS 放在CloudXNS
独立 IP 地址 VPS
VPS 安装宝塔Linux 管理
给朋友用微信发送过网址， log 里有微信跳转服务用IE 的 User-Agent的访问记录以及微信内部浏览器 Micromessage 的 UA
给朋友用 QQ 发送过网址， log 里只有QQ 浏览器的 UA
我自己使用官网下载的Chrome浏览器，未安装其他扩展
未使用任何网站监控服务

先后被 GoogleBot 、 BaiduBot 、 Baidu-YunGuanCe 等蜘蛛爬，发现之后写了Deny * 的 robot.txt ，这几个蜘蛛还在爬，除了云观测其他的都在爬一些不存在的网页，被服务器返回了 404 。

部分日志如下图

10 replies • 2016-12-06 23:30:47 +08:00

1

wjm2038

Dec 6, 2016

chrome 访问过就会被爬， qq 微信也同理。。。

2

CloudnuY

OP

Dec 6, 2016

@wjm2038 所以说用 Chrome 访问过的 URL 就会被提交到 googlebot 吗…………

那为什么他要爬一些并不存在的网址。。。

3

wjm2038

Dec 6, 2016

@CloudnuY 你这个日志没有的话我也不知道为什么啊。。你好歹贴个日志啊，顺便记得把网址手动打码

4

wjm2038

Dec 6, 2016

@CloudnuY 顺便根据我猜测，谷歌爬的是看你这个是什么框架的，百度的没看到 404 ，还有谷歌会忽略 deny *的

5

twl007

Dec 6, 2016 via iPhone

@wjm2038 Google 应该不是忽略而是该抓还是抓只是最后不会在搜索结果页面呈现出来罢了

6

badcode

Dec 6, 2016

这个问题涉及的不仅仅是网站这边，还有访客的环境！

7

forestyuan

Dec 6, 2016

域名只要注册了，都能在 whois 查到，所以我觉得不存在公不公开的问题

8

CloudnuY

OP

Dec 6, 2016

@badcode @wjm2038 访客只用微信和 QQ 打开过，百度的云观测怎么就知道这个二级域名了呢。。。

@forestyuan 其实准确的说是未公开的二级域名。。。

9

ye10010

Dec 6, 2016

会否是宝塔软件或者 cloudxns 会自动推送?
反正 dnspod 上可以开启搜索引擎推送功能.

10

CloudnuY

OP

Dec 6, 2016

@ye10010 设置里面都没开通这功能，难道会偷偷推送。。。

About · Help · Advertise · Blog · API · FAQ · Solana · 1242 Online Highest 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 37ms · UTC 17:41 · PVG 01:41 · LAX 10:41 · JFK 13:41
♥ Do have faith in what you're doing.