八爪鱼采集淘宝数据时总是要登录

设置问题。用户使用八爪鱼爬虫进行采集淘宝数据时总是需要进行登录是因设置问题，在八爪鱼爬虫设置中设置账号为长期登录即可。八爪鱼采集淘宝数据可以对竞争对手的店铺进行数据统计分析，通过监控研究竞争店铺的同类产品、店铺上新、销售情况等。

爬虫技术是可以抓取到浏览器能够访问的公开页面。订单内容属于私人内容，不是公开内容，是不能抓取的，除了你自己淘宝账号的订单信息。但是像商品信息、评论信息、商铺信息都可以的，我之前用前嗅的forespider抓过。

爬虫淘宝数据 都要有sign验证，app端是 x-sign。

简单来说pc端的sign验证藏在js里面 用token+data+t+appkey 做md5 就可以获取，本文主要说的是 app端的，这里就不细说。

在app端有了x-sign基本上所有数据都可以爬取到。逆向xsign算法网上也不少帖子可以查找到， 有兴趣学习可以找逆向资料学习。

下面是成品，做法是先搞定xsign算法，处理成接口返回签名需要的字段

{

wua: “FKr2_DmXgvslIZkzhfKjBuiMWTAuRxH4JVyYwM1SgFCfGD4T28iKOhL830o7xTyxXi833x+gWBp8g5UWnxy8CoTRHG9NX5UwaFok8WYHM1ftRXGRr7z4FSWJWsAYnuN+5mJWcDuPV3eItUNl+u18ypOHG5eu/q3jEJ+IfCUOfb2qjS/+PNJzCRKeGhLvt7W5udQp/HdB7wld16IzdgbLat+2MEcYJ3+1E+W8Z7j6jo/N3nsxEpXmWcWhmRSoHxXEuZIkYUPjNaQtQakSLxpp2OajdaDSBUhOysbfD+RFv95KQsJOSbH7J6+m/8vBVsebH0VqgnhyJjPQIIisbQyLUpPhZL2zw+TXFHe54+tKzHlk4yXhesLElXTdFy0MbTeiDr3/17R8KVb9lUatf5ITpT2weFg==”,

x-mini-wua: “HHnB_6GmTtOeuwdkCMKyhCgL8CDkahxEQtQNxrcsSVJJ7yx77w9HVsWA4610tcKU+/Qzcs70PR6plS3AWwnQFyvRfDRbH+/7W/nZ7j2P4FItFgRAb0lzQZqA7DVHBdxA75x8Q”,

x-sgext: “JAG7pXI5ds78b0CE23FM7Q==”,

x-sign: “azYBCM002xAALfdUCwyFS/3t+5vyaodd/vWOaADDOHStGiPqD2lE+dFwxAqi0739gh+DwVWNiUAUVzNRp2SzGiVqJs33bfdd9233Xf”,

x-t: “1602081910”,

x-umt: “pH1Lf4NLOkJi0zV1WOSqB1QnScotB+He”

}

然后抓包要爬取的页面，看请求参数，把请求参数提交到做好的xsign接口返回签名。然后请求淘宝数据接口 获取数据。

---