Skip to main content

RapNet的账号开通在国内需要联系香港的办公室,具体信息:
Hong Kong & China
+852-2805-2620
hk@diamonds.net

获取钻石价格需要2个接口,一个获取钻石列表,另一个获取钻石的详细信息。

通过WebServer获取

这种方式除了上面的2个接口外还需要一个接口获取ticket,请求和处理返回值都相对比较麻烦,就放弃了。

获取JSON格式数据

每次请求携带用户、密码和查询参数,服务端返回json格式的字符串。

阅读全文


刚刚WordPress群里发生的对话,新鲜热乎的。

卖主机的:腾讯云学生机
卖主机的:有要的没
路人1:5毛钱就要
管理员:(截图了一个刚进群妹子的个人资料,并且里面有4张个人照)
路人2:这群要炸了
路人3:射交群?
路人3:100秒了
妹子:神经病啊
路人4:活好?
妹子:有病啊,一个个跟狗似的?
卖主机的:学生机
妹子:就会约炮?
卖主机的:有没有要的
妹子:你才是学生鸡
管理员:我只是想告诉你们群里来女生了
妹子:神经病
卖主机的:腾讯云 学生机
妹子:别满嘴臭味
卖主机的:学生机=学生鸡,醉了


这一次抓取的站点稍微麻烦一点,每篇url没什么规律,图片加了防盗链。

先解决每篇地址的问题,查看了一下,每页的地址还是有规律的,那么就循环每页,然后从页面里面抓取每篇的地址,写入一个文本里。

save_page_url.py

阅读全文


pyquery允许你用类似jQuery的语法来操作HTML内容,它的API与jQuery很相似。下面是一些相关的资料和示例。

官网:https://pypi.python.org/pypi/pyquery

文档:http://pyquery.readthedocs.io/en/latest/

GitHub项目主页:https://github.com/gawel/pyquery

GitHub克隆地址:https://github.com/gawel/pyquery.git

GitHub下载地址:https://github.com/gawel/pyquery/archive/master.zip

阅读全文


Python 分析网页,抓取图片保存到本地。这是我第一次用Python写爬虫,或者说第一次用Python,代码写的很挫,不忍直视。

无意中发现一个图片站,没什么保护,并且结构简单。就拿来练练手。目标站点特别简单,甚至比我的站还简单。

每篇文章的路径类似:http://www.xxxx.com/banner/{n},没啥好说的,直接循环就可以爬到所有页面。

文章里没有正文,直接就是标题+图,底部有加载全部的按钮,js动态加载的,不能从html源码中得所有图片的地址,但是它的图片地址是:http://www.xxxx.com/img/2017/{n}.jpg,也可以通过循环来获取单篇里所有图片的地址的,每篇30-40张,数量不固定,可以通过判断状态来结束循环,遇到404,直接break。

网页抓取和解析用的类库分别是:requests,pyquery,下面直接看代码吧(为了避免目标站点被爬死,代码里把域名部分***了):

阅读全文


在开发的项目中,有工作流审批功能,有些岗位的人员并不是一直在办公室的,这就需要在手机端审批。手机端是在企业号中的应用实现的,登录时需要获取企业员工的手机号,具体代码如下:

阅读全文


利用Spring MVC 的 Interceptor 实现个简易的性能监控,计算一下每个url的执行时间。

在 preHandle 方法中记录当前的时间戳到线程局部变量里,然后在afterCompletion方法中,用当前的时间戳剪掉线程局部变量里的时间戳得出个运行时间,并记录到log里。

这只是个简易的性能监控,如果想长期正式的监控性能,请选择其它成熟的产品。

Interceptor

阅读全文


昨天写 JPA的查询方式,里面关于QueryDSL的部分没有写,当时因为一直报错,现在错误解决了,补上 Spring Data JPA 通过 Query DSL 查询的实现。

另2篇:

Spring Data JPA 的查询方式
You need to run build with JDK or have tools.jar on the classpath

阅读全文