如何爬取京东手机上万的商品数据，这个神器可以帮你

Charles是一个网络抓包工具，我们可以用它来做App的抓包分析，得到App运行过程中发生的所有网络请求和响应内容，这就和Web端浏览器的开发者工具Network部分看到的结果一致。

相比Fiddler来说，Charles的功能更强大，而且跨平台支持更好。所以我们选用Charles作为主要的移动端抓包工具，用于分析移动App的数据包，辅助完成App数据抓取工作。

一、本节目标

本节我们以京东App为例，通过Charles抓取App运行过程中的网络数据包，然后查看具体的Request和Response内容，以此来了解Charles的用法。

二、准备工作

请确保已经正确安装Charles并开启了代理服务，手机和Charles处于同一个局域网下，Charles代理和CharlesCA证书设置好。

三、原理

首先Charles运行在自己的PC上，Charles运行的时候会在PC的8888端口开启一个代理服务，这个服务实际上是一个>调用服务的过程以及接收到服务器端的返回值后处理结果的过程。
程序调用了 HelloClient 的 helloVoid 方法，在 helloVoid 方法中，通过 send_helloVoid 方法发送对服务的调用请求，通过 recv_helloVoid 方法接收服务处理请求后返回的结果。

爬虫技术是可以抓取到浏览器能够访问的公开页面。订单内容属于私人内容，不是公开内容，是不能抓取的，除了你自己淘宝账号的订单信息。但是像商品信息、评论信息、商铺信息都可以的，我之前用前嗅的forespider抓过。

靠谱， Python爬虫，自动登录京东网站，查询商品库存，价格，显示购物车详情等。
可以指定抢购商品，自动购买下单，然后手动去京东付款就行。
chang log
2017-03-30 实现二维码扫码登陆
2017-06-27 Golang版JD_AutoBuy
运行环境
Python 27
第三方库

---