小红书API数据接口采集

基本环境

app数据采集 app数据抓取工具

1、root的安卓手机一部。这里推荐某米的手机,其他型号手机解锁麻烦。

2、小红书的apk。多备几个,可以观察不同版本差异性。

3、抓包工具,我用的是charles,个人用习惯了。能抓包就行,不做要求。

4、Windows系统

开始抓包

向往常一样,装证书,抓包,三下五除二搞完,发现抓包的时候,一直提示:网络不可用、网络异常等字样。此时脑海立马出现之前爬取的某款app也有同样情况。然后尝试将证书装到系统目录下:

证书装到系统目录下方法:

将charles证书,利用OpenSSL命令:openssl x509-inform PEM-subject_hash_old-in charles.pem会生成 c957050g若是cer证书用 DER

执行命令:cp charles.pem c957050g.0

手机用USB线连到电脑上,依次执行如下命令:adb push c957050g.0/sdcard/

adb shell

su

mount-o rw,remount/system

mv/sdcard/c957050g.0/system/etc/security/cacerts/

chmod 644/system/etc/security/cacerts/c957050g.0

reboot

openssl与 cp命令可以安装 GitBash,借助GitBash完成

adb命令需要安装 adb工具。安装方式自行百度

完成上面操作后,再抓包,正常抓取到数据。进行分析接口。

所有数据接口基本在 这个下面,

老版本基本在 这个下面

搜索接口:/api/sns/v8/search/notes?keyword=%E9%A6%99%E5%A5%88%E5%84%BF63&filters=&sort=&page=1&page_size=20&source=explore_feed&search_id=927A522C26DC8FD699971F1B1C1F6838&platform=Android&deviceId=560c6663-a66f-3aab-aff8-a8fe7bc48809&device_fingerprint=20180711115937dab00272f54a61a24dbf8e788810c0ac01ea060ac16b8048&device_fingerprint1=20180711115937dab00272f54a61a24dbf8e788810c0ac01ea060ac16b8048&versionName=5.24.1&channel=Sogou&sid=session.1220794269578290029&lang=zh-Hans&t=1536298303&sign=dd2764c4258e12db80fbe5df11e01af0

笔记详情接口:/api/sns/v1/note/feed?note_id=6208778400000000210350c9&page=1&has_ads_tag=false&num=5&fetch_mode=1&source=explore&ads_track_id=onlineswing_PAGETIME10_6208bb170000000001026d83%4029sgq68pxlmfug0s4pfq6&from_rec_local=false

评论接口:/api/sns/v5/note/comment/list?note_id=6208778400000000210350c9&start=621b4f88000000001302bb82&num=15&show_priority_sub_comments=0&source=explore&top_comment_id=&shake_user=0

经过分析反复验证,其核心参数有

shield:该参数主要与url、xy-common-params、xy-platform-info、data、 user-agent等参数有关。

sid:调/api/sns/v1/user/activate接口 post提交可得到。

数据接口如下:

目前已封装好,采集接口稳定,如需进一步拿更多数据,欢迎加我进行探讨

286493339

为什么手机app要收集我们的生活数据

于大数据的用户画像,能让商家摸清你更爱吃辣还是吃酸,并通过算法把更符合你口味的餐厅排序靠前。用户数据,往往是通过一个个手机App被互联网平台采集的。

在与App打交道的过程中,同样也有令大家担忧的问题不断出现,比如“App偷听”现象,“App偷听”是否存在呢?来看技术专家做的测试。

App治理工作组技术专家何延哲:假如发一个语音,当手松开了以后,这个录音事实上还在继续。

我们还可以把提示去掉,测试的过程是两分钟。

两分钟后,记者看到,在测试程序中生成了一条时长为120秒的语音。技术人员将语音数据导出后,经过核对,证实了当测试程序置于前台运行时,“偷听”是可以实现的。

此外,经过对比实验,技术人员告诉我们,在测试程序退至后台,或者在手机处于锁屏的情况下,录音依然可以持续进行一段时间,但都会自行终止。只是不同的手机操作系统,锁屏下持续录音的时长略有不同。

在技术上可以实现的“偷听”手段,是否在市面上的App中被滥用了呢?

App治理工作组技术专家何延哲:目前还没有发现哪款App有把语音信息上传之后的偷听行为。

专家提示,用户可以在手机操作系统的权限设置里,找到麦克风权限,检查目前有哪些App被授权使用麦克风。根据自己的需要,用户是可以随时关闭对App使用麦克风的授权。

部分App隐私政策篇幅长

账户无法注销

App治理工作组的专家们在对市面上的App进行检测时,还发现很多App存在隐私政策篇幅长、用户难以读懂、账户无法注销等诸多问题。

在测试的过程中,专家发现一款壁纸App,隐私政策竟然有一万多字。

专家告诉记者,账号注销难,是目前用户投诉量很大的另一个问题。如今,技术带来的便利和个人信息的保护,正处在一个摇摆天平的两端。专家表示,在这个天平的“配平”过程中,需要监管机构、平台和用户三方在互动中来探寻。

对App“越界”行为要严打重罚

工信部多次在官方网站上通报侵害用户权益的App,其中不少App被通报的原因是违规收集个人信息,强制、频繁、过度索取权限。技术是把“双刃剑”,互联网公司既能给用户推荐更适宜的商品和服务,也能利用技术侵犯用户隐私、损害用户利益。

对此,相关监管部门要对App的个人信息收集进一步规范和细化,还要强化执法力度,让相关的法律、法规“长出牙齿”,完善惩戒机制,对不顾用户正当权益的App运营商予以严惩。

地图采集任务app都有哪些

地图采集任务app都有哪些?

1.讯飞地图采集:由讯飞语音科技有限公司推出的地图信息采集软件,可帮助用户记录周边的地理信息,并上传到地图数据库中。

2.火图云图:由北京火图公司推出的线上地图图库,用户可以通过APP采集并上传全国各地的地理信息。

3.趣拍地图采集:由趣拍科技有限公司推出的地图信息采集软件,用户可以在手机端自由编辑地图标签和位置信息,并与其他用户共享。

4. OSMAnd:一款基于开源地图数据的地图采集任务软件,用户可以在线/离线采集并上传地理信息到开源地图数据库中。

5.高德地图采集者:由高德软件有限公司推出的地图信息采集软件,可帮助用户采集、整理并上传地理信息到高德地图数据库中。

这是一些常见的地图采集任务软件APP,但具体应用需要根据具体情况选择。一些APP可能有特定的采集领域、采集要求和支付方式等,需要根据实际需求进行选择。