抓wow英雄榜数据

Craynic posted @ 2014年2月04日 01:17 in 未分类 , 1603 阅读

抓了角色名\ 种族\ 职业\ 等级\ 装备等级\ 战场等级\ 专业.

https://github.com/craynic/wow_armory

总的来说用python写就不用关心细节了，方便得很。

遇到几个问题。

1. 最开始我是设置没有等待，抓失败了就等个随机的时间然后继续抓。结果貌似是被当成 DDoS 了……经常一大排的失败。然后我改成每次抓之前都等1秒，就很很顺畅了。

2. 用配置文件方便很多，用的时候就不会要改的找半天找不到了。

3. python 的编码。外部文件用的基本都是 utf-8，我在 mongodb 里用的也是 utf-8（这样比较直观）。但是 python 内部通用的是 unicode。在用 json 解析之后会自动把编码转成 unicode。如果是 unicode 编码的，字符串的类是 unicode，否则就是 str。unicode = str.decode('utf-8') str = unicode.encode('utf-8')

4. battle.net/api 居然还会看 ua。我用浏览器打开如果服务器忙的话会给一个 json 并有 reason:'Internal server error.'，爬虫返回的就只有 500 的状态。