xrandr + xfce 双屏幕 panel 位置问题
忽略deb包依赖

抓wow英雄榜数据

Craynic posted @ 2014年2月04日 01:17 in 未分类 , 1382 阅读

抓了 角色名\ 种族\ 职业\ 等级\ 装备等级\ 战场等级\ 专业.

https://github.com/craynic/wow_armory

总的来说用python写就不用关心细节了,方便得很。

遇到几个问题。

1. 最开始我是设置没有等待,抓失败了就等个随机的时间然后继续抓。结果貌似是被当成 DDoS 了……经常一大排的失败。然后我改成每次抓之前都等1秒,就很很顺畅了。

2. 用配置文件方便很多,用的时候就不会要改的找半天找不到了。

3. python 的编码。外部文件用的基本都是 utf-8,我在 mongodb 里用的也是 utf-8(这样比较直观)。但是 python 内部通用的是 unicode。在用 json 解析之后会自动把编码转成 unicode。如果是 unicode 编码的,字符串的类是 unicode,否则就是 str。unicode = str.decode('utf-8')  str = unicode.encode('utf-8')

4. battle.net/api 居然还会看 ua。我用浏览器打开如果服务器忙的话会给一个 json 并有 reason:'Internal server error.',爬虫返回的就只有 500 的状态。

  • 无匹配
Avatar_small
tzwm 说:
2014年2月04日 01:49

蔡果然碉堡了~ 你回家后学术得厉害啊……


登录 *


loading captcha image...
(输入验证码)
or Ctrl+Enter