导语:
如今,移动互联网浪潮进入白热化竞争态势,APP渠道传播成为很多企业常用的推广方式,APP推广费用也在水涨船高,从PC时代的一个装机0.5元到1元不等,到移动互联网时代的5元,甚至几十元,但为什么转化效果却越来越差。在如此巨大经济利益的驱使下,渠道推广掺假成为业界的普遍认知,渠道不刷量也只存在于童话故事里。因此,如何能减少APP推广经费被羊毛党消耗,便成为了大部分互联网企业都在思考的问题。
本报告将分享阿里巴巴集团安全部关于App流量推广数据造假攻防的产业链的应对,重点介绍阿里安全独创的五层识别模型是如何在与黑产攻防转换斗争中,有效识别各种刷量作弊,为企业用户节省开支,减少业务损失。
下面有请阿里巴巴集团移动安全专家马征,为大家分享APP渠道推广作弊攻防那些事儿。
嘉宾演讲正文:
刚才一位同学做了一个很好的分享,也介绍了一些黑科技,实际上这些黑科技在整个阿里巴巴集团安全部来讲只是冰山一角,那么我们平常会把这些黑科技应用在哪些地方,实际上最主要的一个“战场”就是在与黑产的对抗当中,与黑产高强的对抗,是应用我们这些技术的主战场。下面由我进行一些有趣的分享。
首先我们先了解一下现在整个APP推广行业的背景,看看推广环境是怎么样的,2017年对移动互联网公司来讲是非常恐怖的,这是王兴讲过一句话。
第一,我们自己的大数据分析总体手机数量已经不涨了,智能手机已经走过10个年头的发展,新增量和淘汰量是持平的,总体智能手机的数量已经不再增长了。
第二,竞品太多,消费者卸载,同一类型的APP最终留在我们客户的手机里面的基本上都分一个类型或者一个类型里面留一款,我用了高德都不会再用百度,用了饿了么就不再用美团,所以基本上最终留下来的只有一个,所以竞品太多,消费者初期可能会装,但是后期的卸载率是很高的。
第三,因为前面我们说过“盘子”已经固定了,“蛋糕”已经这么大了,不再涨了,而且竞品这么多,导致现在整体的推广费用涨了近30%,这是进您上半年的一个数据。这张图可以直观看到APP的推广费用,直播行业价格还算低一点。下一个纬度就是在游戏行业里面,大部分推广费用就已经上升到20块到30块一个新增,那么到了金融领域就是跟钱相关的这些APP当中,像平安银行信用卡一个新增到的55块钱,价格非常高,而且我们通过其他渠道看到,包括我自己接触的一些用户我们也看到,甚至我们接触过一个新增100块钱也是不少见的,所以总体的推广费用会一直涨,而且这个数量在未来几年之内它不会停止它涨的趋势。所以整体的外在环境还是比较恶劣的。
那除了外部的环境之外,一本财经有一个报告,1000万流量推广预算的60%是被内鬼、中介、羊毛党吞噬,利润的分成是四六分,我六,你四,其实受损的是企业。那只要有利益存在的地方,就一定会成为黑客的攻击目标,一定会成为黑客的重点,黑客利用病毒每天可以获利300万到500万美元,整个APP渠道推广的市场是多么的诱人,会有越来越多的黑产来分这个“蛋糕”。
下面简单看一下目前企业常见的几种推广方式。
第一种企业会选择大的渠道商,比如说应用市场或者微博、头条这种大的渠道商去做推广,会在内部做广告,然后去做APP上架包括排名,包括下载推荐等等。那么在做这种大型的渠道商推广的时候,我们常面临几个比较麻烦的问题。首先大型的渠道商一般比较强势,我们真正去做APP推广大部分是中型的企业或者小型的创业企业。我们跟大家谈的时候是很难拿到一个合理的价格,他们比较强势,所以我们性价比不是很高,虽然大型渠道商周边量很少,但是它信用很高,但是一个APP的推广成本很高,那么在这样的渠道里面我们即使抓到一个刷量,或者一个有问题的量,那我们所为用户节省资金实际上不小于小的这种渠道商的。
第二个纬度就是手机厂商预装的方式来做APP推广,目前来讲手机厂商预装这种方式比较混乱,就是没有一个特别好的规范或者没有一个特别好的管理,那么之前就有新闻报道过,就是某个国产的手机厂商,具体名字不谈了,当年它的出货量是100万台左右,但是它给某APP做推广报了500万的数量,这个事情比较尴尬了。一台手机难道要装5个一模一样的APP吗?这也是一种非常不规范的,就是没有通过强管理的渠道。
第三种利用广告联盟小型或者种型的渠道进行推广,这种方式也是多数的企业所采用的一种方式,但是问题也是最大的,体积越庞大,问题越多,存在的刷量越多,市场同样是不规范的,虽然我们看到广告联盟推广的时候可能费用会比较低,但实际上存在的刷量还是非常高的,最后用三个词来形容就是“水太深”。那基本上广告联盟的结算方式会配渠道号去做结算。
下面进入正式的攻防对抗了,只要有利润黑客就会追逐利润,只要有资金,黑客就会去刷,就会去吃这块“蛋糕”,下面简单介绍一下黑客发现这块“蛋糕”,他们是怎么去吃这个“蛋糕”了。
首先我们发现黑客采用比较常见的方式是叫众筹刷,这是一款众筹刷的一个软件,里面集成了非常多需要做推广的安装包,我把这个装在我的手机上面,一个两三毛,做这种众筹刷的黑产在从中获利。它的特点比较明确,这些所有做APP激活或者安装的都是真人,地理位置都是不同的,全国的任何一个位置都有可能。第二没有很明显的作弊特征,识别难度比较大,这些实际上还是通过我们真实的用户在去做点击去做安装,实际下载到也是用户的手机上面,没有明显作弊的特征。但是面临的问题也很明显,它需要绑定银行卡去提现,作为我来讲去做这件事情,本身的金额又不大,对我来讲诱惑不是很高。它自己众筹刷软件本身的推广也是一个比较大的问题,我怎么让人知道我这款软件来做这个事情,这个也是比较大的难点,所以整体来讲众筹刷的方式不太多,占一定部分的比例。
第二种比较厉害,是做病毒刷,根据2016年猎豹发布的报告,他们发现了一款叫做“悍马”的一个病毒,在全球,每天能达到140万的日活,他们也做了一个测试,在两到三个小时之内这个病毒就安装了200个应用,消耗掉用户的容量达到2个G,一个APP0.5美元成本,一天就可以赚50万美元,这个非常诱人。讲一下它的特点,首先利用病毒款是在比较老的设备上进行,这种比较容易种这种病毒。同时这个病毒能够自动激活,激活设备也是真人真机,我不知道我的手机中了病毒了,也不能在默默的安装应用。这两个面临比较大的难点,首先病毒开发本身是需要一定的技术门槛的,而且未来随着安卓6.0版本以上,iOS10版本以上,对于开发的难度会越来越大,那么传播的难度也就越来越大,现在大多数人的安全意识已经在慢慢提高,我们都知道可能在一些不明链接下下载的APP是不安全的,包括一些钓鱼网站国家进行大力的打击,大家都会在正规的应用市场上面去做下载,所以它的传播难度还是蛮大的。
第三种方式是人肉刷,这就是我们的设备牧场,我不知道在座的各位有没有见过这个场景?实际上还是比较壮观的,在一个房间里面,多的用书架,非常非常多的设备,然后通过一到两个人挨个点击进行安装,恢复设置然后进行下一批的安装,这个就是设备牧场。这个是我们发现的一个设备牧场的广告,拥有粉丝就拥有劳斯莱斯,这个话和阿里客户第一的价值观比较相符,但是不同点在于它是用粉丝来换取“劳斯莱斯”的,阿里是把我们的粉丝当做劳斯莱斯对待,这是我们之间的区别。 那么这种人肉刷的方式特点比较明确,首先设备要有越狱的权限,这是需要一个最基础的条件。第二,它通常安装有修改设备信息的软件,因为我刷完一批以后,我通过修改设备信息的软件要进行修改,然后再安装另外一批软件,或者第二天同样安装第一天安装过的软件,算一个新量。所以它需要修改设备信息的文件保持安装量。但是激活IP和地理位置比较统一了,设备牧场集中在一个环境里面,那么比较大的缺点或者比较大的问题就是它作弊成本相对偏高,需要购入真实的机器去做人肉刷。
最后一种是机器刷,就是电脑运行的模拟器,进行安装各个APP,现在主流的作弊设备吃的大部分内存比较严重,因为CPU和硬盘资源足够用了,那么瓶颈是在内存。一台实际内存设备为某一个模拟器分担20兆的内存,一台这样的设备也就是几千块钱,能跑51台模拟设备。机器刷的特点也比较明确,首先用到99%以上是模拟器,这些模拟器大多数拥有越狱的权限,拥有修改设备信息的软件,比如定位软件,我希望定位到北京,刷一批,再定位到其他的城市刷一批,作弊的成本相对比较低,几千块钱模拟出很多的设备。
那针对以上刷量的威胁,我们看一下被刷的危害。
首先第一个金钱成本,这个不用说了,我们花了1000万去做推广,但真实安装到我的APP的用户只占了50%,那我相当用500万打了水漂。
第二个是信用成本,每年我们申请一两千万的预算,最终为公司所带来真实的用户量实际上是刷出来的,是非常少的,说严重一点老板会不会怀疑我们是跟刷量的做勾结,然后把钱款吞掉了,说得再轻一点,即使老板不怀疑我们的人品,不怀疑我们去内外勾结分钱,那会对我的工作能力做质疑。
第三机会成本,因为一般的用户在做推广的时候,是在几个关键业务节点,包括上市之前包括某一个风口,如果在这个节点上面做推广,有一大部分是被机器刷掉了,很有可能错过了一个非常好的机会,错过一个很好的风口,也有可能失去了下一个10亿美元的独角兽。
第四数据不靠谱,我觉得这个超越前三个危害,现在这个时代已经进入数据时代,所有的公司都是以数据来说话,用数据规划我们未来的业务方向,我们在对传统的门户网站去做安全服务的时候,今年春节后突然发现业务PC访问量爆增,按照正常的逻辑来讲在这个时代,我们PC业务是呈一个缓慢下降的趋势,但是它从3月份开始发现他们的PC访问是呈直线上升的趋势,他们慌了,因为他们本来已经转型字移动端了,看到这个访问量不知道下一步整个公司该怎么投资,业务重心怎么偏斜,那这个到底是来自真实的用户,还是被一些黑产盯上了,在刷我们,经过排查是被刷了。我们以用户基础做的数据分析、业务分析,假如只参进10%的水分,最终导致我们的用户画像不准确,未来业务发展的方向很有可能受到影响,这个是被刷的危害。
下面进入攻防转换,前面企业发现被刷的危害,我们怎么去处理这个方式,我们有了第一代反作弊的手段。第一我们收集检测是否安装了作弊工具,比如像模拟器,首先检测安装了APP的设备是否存在作弊工具,如果存在的话就处理掉。第二检测ROOT、越狱权限,我们发现是大量存在越狱的权限,我就要报高风险,然后进行分析判断是不是作弊的设备。第三,现在有很多用户仍然用到的一个方式,就是做具体业务的分析,7日留存或者自定义事件触发等等,这个用户首先安装客户端,每天还要有启动,每天要有点击进行搜索链接, 在某些真实的页面要停留5秒以上,这个才算一个活跃,就是结合我们的业务逻辑去判断他是一个活跃用户还是一个刷量。这是我们为了应对前面说的这种方式来想出的反作弊的技术。
黑产当发现我们进行对旁的时候,它也会跟我们做对抗,它是在攻守转换,黑产也会看我们的检测技术,我们前面说了检测修改设备信息的分享工具,黑产现在做得更加高明,会用一些工具反进程枚举,会自动屏蔽掉一些进程,让我们检测不到这台设备安装了黑产软件,前面我们说会去检测ROOT、检测越狱的情况,黑产会利用一些插件去屏蔽掉我的越狱痕迹,检测不到我的越狱项。包括现在也在用到业务数据去做渠道推广的反作弊,现在黑产只要摸清我们业务数据的点,只要用很短时间抓住我们这些数据曲的纬度利用脚本很轻松的作出一套非常完美的报表,这是一个例子,伪造日活和业务数据,24小时有监控,而且他们有自己的团队,价格优惠力度很大,这个我们也做过调研,几千块钱可以送10万的装机量,非常非常便宜,而且报表呈现的非常完美,这个也是我们很多企业非常头疼的一个问题,就是我在做推广的时候,你要什么样的数据,你要什么样的报表我都可以给你,但是只要我跟你进行钱的结算,只要结算完超过一周甚至短的几天你的数据直线下来了,这是非常头疼的,只要我们的业务逻辑被黑产拿到,他就模拟我们的点,利用手机脚本新一代神器,大家可以搜一下,这种工具非常多,利用脚本进行刷量。
下面继续进行攻防转换,刚才是黑产向我们进攻,但现在我们针对黑产这几个方式我们有什么新的解决方案呢?最新的阿里云渠道反作弊解决方案当中,我们引入了客户端和服务端去做检测,我们利用大数据分析识别各种数据情况,我们会有一个安全组件去识别和获取客户端APP运行的环境信息、系统信息、设备信息等等,我们会取100多个纬度的信息,那中间通过我们的白盒加密的方式进行输出。我们渠道的信息在中间传输的过程当中被黑产截获,黑产通过分析发现的我们的纬度然后进行破解和模拟,整个过程变得没有意义。所以我们在传输的过程当中,利用白盒加密的方式,这是一种没有密钥的加密方式,非常安全,利用设备指纹,利用设备基础信息的查询,最终到安全智能识别引擎去做综合的分析,最后输出结果来识别它到底是不是一台模拟器,它是不是设备牧场。
我们用了哪些黑科技,最核心是五层识别模型。
最底层是黑名单过滤层,这也是一个比较简单的一层,阿里巴巴利用了10年的技术沉淀,因为每年的双十一我相信既是我们各位剁手族的盛宴,也是黑产的盛宴,黑产也是在双十一的时候借这个机会去刷我们的量,接受双十一的洗礼,我们沉淀了大量的黑名单,我们知道哪些设备是作弊设备,哪些是正常设备,刚才提到了设备牧场更换设备的成本是比较高的,黑产在双十一的时候可以去刷淘宝、天猫,它已经在其他时候是刷我们合作伙伴。所以我们通过设备指纹进行黑名单的判断,只要发现有作弊行为的,我们都会报高风险。
上面一层就是我们的设备信息纬度的识别层,我们会检测100多个纬度,这里面就不一一列出了,包括IP包括CPU都会进行检测,我们会进行单一属性的输出,就是我们每一个检测都对应一个输出结果,有可能他的CPU是正常的,IP地址是正常的,但是IP信息是异常的,最后通过我们综合分析会去报这个设备到底是正常还是不正常的设备,这是设备信息的识别层。
下面一层我们除了设备信息纬度的识别,除了黑名单之外,还会去做大数据的分析,前面两层说的是单一设备,这个会结合另外的一些信息,举个例子,我们判断了某一个设备是疑似作弊的设备,我们再做校验,我们看一周有没有过支付宝的付款行为,有没有淘宝的购物行为,有没有过高德的地图导航的行为,有没有UC的搜索行为,我们根据各种行为发现一台完全的设备没有任何刚才说的那些纬度的信息,我们就有理由相信是一个作弊设备。即使前面疑似有可能作弊设备,但是我们通过大数据的分析发现近三天有过购物记录和导航的应用,就是人常用的一些行为的话,我们也会判断他有可能是一个真机