「docker实战篇」python的docker爬虫技术-导学（一）-创新互联

原创文章，欢迎转载。转载请注明：转载自IT人故事会，谢谢！
原文链接地址：「docker实战篇」python的docker爬虫技术-导学（一）

“只有客户发展了，才有我们的生存与发展！”这是成都创新互联的服务宗旨！把网站当作互联网产品，产品思维更注重全局思维、需求分析和迭代思维，在网站建设中就是为了建设一个不仅审美在线，而且实用性极高的网站。创新互联对成都网站制作、网站设计、网站制作、网站开发、网页设计、网站优化、网络推广、探索永无止境。

这个专辑开始从环境的搭建到app数据抓取的整套的实战流程。

我们会学到什么？

老铁，只有个电脑没有手机怎么办，没事我想到了用模拟器，说实话模拟器没有手机爬的效率快，但是模拟器都会了手机还是问题不？

• 安卓模拟器的搭建
• 抓包工具
• 自动化控制工具使用

  模拟点击，模拟输入等功能

• python编写爬虫app数据
• 基于docker的多app端数据抓取系统

拿到数据能干什么？

• 做个互联网项目，没有基础数据行不行

• 数据库分析

  对比其他公司的状态，对公司的运营有指导作用。分析用户的行为和消费需求。

• 用户画像

  精准的定位用户，对用户进行分类。

• 统计系统

  拿到报表数据，作为指导

• 商业竞争

  通过对手app应用投放的数据，最近在某个城市启动了那么新的产品，某个营销数据和趋势，可以了解对手在某个城市的运营状况，从而相对的应对。

对于自己的好处

• 技能的提升

  web端的抓取思路很多，github一堆一堆的。但是app抓取应用数据的技能很少。

• 面试必问
  1. 如何抓取App应用的数据？
  2. 抓取过哪些应用上的数据？
  3. 抓包工具如何使用？

App的数据好抓吗？

既简单又困难

• 简单

  app里的数据比web端更容易抓取，反爬能力也没那么强。大部分都是http或者https协议，返回的数据类型大多数为json。直接解析json就可以了。

• 困难
  1. 可能需要适当的反编译，解析出来加密算法并抓取信息
  2. 可能加固了，需要脱壳，然后反编译，分析出加密算法并抓取信息
  3. 需要破解通过各式各样的证书，签名，设备绑定等方法，找到隐藏加密算法

python爬虫工程师需要的技能点

1. python爬虫开发经验
2. java开发经验
3. android开发经验
4. app 逆向
5. app 脱壳
6. 破解加密算法

最终目的

python自动化应用，抓包工具，解析app应用的方法来进行数据的抓取。不需要破解加密算法。

PS：之前也学过一段时间python，爬过一些数据和app，公司目前还停留在手动点击的测试里，同事也催我帮忙写套教程，最好是围绕docker的完成python的自动化测试，使用app测试工具appium。就开始行动了。里面可是有很多的灰色技术，潮流技术，多工具对比，哈哈。希望老铁可以get到！

另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。