当前网址：<%- url %>
客户端特征：<%- user_agent %>
拦截时间：<%- now %> 本次事件ID <%- rule_id %>
```
还有下面的：
```javascript
var content = _.template(document.getElementById('content_tpl').innerHTML)({
error_403: '' || '当前访问疑似黑客攻击，已被网站管理员设置为拦截',
url: document.URL.replace(/\/g,"%3E"),
user_agent: navigator.userAgent,
now: new Date(new Date() - -8 * 3600000).toISOString().substr(0, 19).replace('T', ' '),
rule_id: parseInt('[80001]'.replace(/\[|\]/g, '')) || '',
from: encodeURIComponent(document.referrer.substr(0, 1024)),
client_ip: '59.66.16.88',
ref: encodeURIComponent(document.URL.substr(0, 1024))
});
```
不难发现这个网站所托管的“创宇云防御”屏蔽了我们的访问，而引起这一问题的原因，我们可以查看：
```python
>>> response.request.headers
{'User-Agent': 'python-requests/2.25.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}
```
其中显然有一条 `'User-Agent': 'python-requests/2.25.1'`，不打自招的爬虫行为，被屏蔽也并不奇怪（题外话，这个网站并没有设置 `robots.txt`，因此双方都很难说谁对谁错）。好在现在这个网站不像去年一样会封 IP 地址，所以我们可以先演示错误示例。
我们当然可以模仿前面的做法，从浏览器中抄一个 User-Agent 过来，但是如果我们快速爬很多东西，最好还是每次换一个新的 User-Agent 减少被当作同一个用户的概率，因此我们使用如下方法：
```python
ua = UserAgent(path='./fake_useragent.json')
response = get('http://wjw.beijing.gov.cn/', headers={'User-Agent': ua.random})
# 没错，ua.random 虽然是成员变量，但是每次使用的时候会改变自己，而不是用户调用一个类似于 ua.random() 的函数才会改变
```
除此之外可能还会需要使用代理 IP，如何获取代理地址请自学，使用方法如下：
```python
proxies = {
"http": "http://10.10.1.10:3128",
"https": "http://10.10.1.10:1080",
}
requests.get("http://example.org", proxies=proxies)
```
使用这两种方法可以避免很多反爬的系统（当然如果检查 Cookie 大概会很糟糕，可能需要使用 Session 来解决，像上述直接设置 Cookie 实际上并不很通用，在此不做很具体的说明），但是还有更多的情况可能真实的数据并不能轻易获取，这个时候就要善用浏览器的开发者工具审查所有的网络请求。
### 资源链接
+ 2021 科协暑培