申明:严禁爬取个人隐私

严正声明:

为了进一步保护个人隐私,请大家在开发和使用神箭手的过程中,严格遵守《国家网络安全法》相关规定,严禁爬取任何个人隐私数据,一旦发现,本平台将立即进行封号处理。

发布于
  • 310 人浏览
    分类

    基于AI的”后羿采集器”重磅上线

    各位神箭手的老铁们,感谢大家多年来对我们团队的支持(和吐槽)!

    随着很多网站对于采集内容进行了登录查看内容的限制,此外很多老铁在采集一些网站时觉得开发爬虫也有点杀鸡用牛刀的赶脚,大家纷纷表示希望我们能推出一款跟市场上其他的可视化采集软件类似的软件。

    timg当我们第一次听到这个要求时,其实我们是拒绝的。我们跟大家讲,我们拒绝这个要求,因为我们觉得,你不能让我开发我就开发,第一我要试一下你们说的可视化操作方式。

    发布于
  • 1,804 人浏览
    分类

    奔走相告,神箭手支持Scrapy在线运行啦!

    神箭手作为国内提供专业的云端爬虫服务的平台,目前已经支持了爬虫,API,清洗,Tensorflow应用的云端开发和运行,并提供了大量的周边服务包括海量IP,文件云托管,Webhooks,数据库对接等等,然而Scrapy框架,这位爬虫界皇冠上的明珠,却一直与神箭手无缘。现在,这终于成为历史。大家从此以后不仅仅可以在神箭手提供的云端IDE中直接开发的Scrapy,还可以非常轻松的将已经写好的Scrapy爬虫移植到神箭手平台,一键对接神箭手提供的IP,云托管等众多周边服务。并且可以直接使用定时功能来调度哦,还可以一键分布式运行。当Scrapy加上神箭手,一定令大家的工作效率飙升。那么我们一起来看看如何使用神箭手上的Scrapy吧:

    首先当然是创建应用,点击创建应用后,就可以看到Scrapy应用啦,直接选择这把小铲子,然后起个漂亮的名字,点击创建既可:

    qq20181229-1510232x

    到神箭手看看什么才是真正的获取数据API

    大家肯定遇到过这样的情况,爬虫爬到了很多数据,可是数据在云端,但是又不想直接导出全部数据,只希望根据自己的需要获取数据。不少其他爬虫软件都提供了通过api获取数据的功能,很多朋友问我,神箭手有没有这样的功能呢?每当这个时候,我都会微微一笑,神箭手作为对用户体验追求极致的平台,怎么会连如此基础的功能都没有呢?我们不仅有,还免费,而且强大到不敢想象。今天就给大家介绍下神箭手上这个牛逼闪闪的功能-graphql。

    qq20181229-1453422x

    最初我们在设计这个请求API的时候就注意到,由于请求的条件千变万化,一个简单的按条件查询数据显然是不满足需求的,但是如果设计的机制过于复杂,又可能带来接口不统一或者非常不好理解的情况。这个时候我们注意到了GraphQL,这个是由Facebook主导开源的一个网络请求协议,简单来说就是支持通过http形式对数据库进行SQL查询,那么这个正是我们想要的,并且既然是大厂的作品,从规范性和兼容性角度都有着不少的优势。下面我们一起来怎么用GraphQL请求神箭手上托管的数据:

    如何采集Wish电商商品信息,包括wish销量、wish价格?

    本文主要介绍神箭手“Wish电商商品信息采集爬虫”(以下简称“Wish爬虫”)的使用教程及注意事项。

     

    Wish跨境电商平台是一个比较成熟的电商平台,采集并分析Wish平台上商品价格、销量趋势、评价信息,对做跨境电商产品分析的你来说,都是相当有必要的,那如何采集Wish商品数据呢?别急,神箭手已经提供了“Wish爬虫”供你使用~~