全球先进的网络资产探测系统ZoomEye再次升级了!
由于今年的特殊情况导致了知道创宇主办的黑客大会——KCon2020被迫取消,也就导致了KCon传统保留环节:「404发布」(404实验室是知道创宇最核心的安全技术部门)也没能如期展示。在以往的「404发布」里ZoomEye更新一直是核心重点介绍部分。
在最近的更新里我们更加关注ZoomEye的用户体验,主要支持API-KEY、可视化图形输入方式,另外我们也继续关注数据对维度关联本次与知道创宇安全大脑威胁情报数据打通,继续更新了多个端口及协议数据的支持,最主要这里重点需要介绍的是基于“动态测绘”思想的尝试推出了“数据订阅”功能。
01 API—KEY
从8月份宣布取消原有API接口数据输出限制,全面支持100%的数据输出后,近期又支持了API-KEY的用户登陆认证模式。这是一种不再依赖单一的用户名及密码登陆认证方式,让开发者及用户更加安全方便使用API接口。API-KEY的值位于用户中心“个人资料”页面里(https://www.zoomeye.org/profile)同时提供了一键重置功能,一旦API-KEY泄露就可以通过该功能进行更改重置。
当然ZoomEye API SDK已进行了对应的升级:https://github.com/knownsec/ZoomEye
安装执行命令:
sudo pip3 install git+https:_//github.com/knownsec/ZoomEye.git
调用如下:
随着我们API能力逐步开放完善,有更多的优秀的项目开始集成调用ZoomEye的能力。如下:
后续我们会持续打造更加强大的API接口能力!
02 可视化图形输入查询
这个功能主要是为了方便初学者不熟悉搜索语法词而量身打造的,对于没够语法词的值提供对应的关联提示。在设计这个功能的原始目的是想把搜索变成我们正常的说话逻辑,比如某天领导提了个需求:我需要中国大陆的思科VPN设备的分布数据,工程师拿到这个需求后,可以简单通过我们的可视化图形输入查询功能来翻译成为搜索语法。
我们在搜索“关键词”或者“APP(组件)”里输入“思科”,即可看到关联搜索提示找到查询的组件,在我们 “查询逻辑”里选择 “且(包括)“,后进入选择国家的逻辑,我们在“关键词”选择 “country(国家)”,在值里输入“中国”会根据提示选择“中国大陆(不包括港澳台)”点击检索即可完成如下:
https://www.bilibili.com/video/BV1bT4y1M7RG
03 知道创宇安全大脑威胁情报数据打标
ZoomEye一致关注IP全方位画像尤其是威胁情报方向的恶意IP画像,就在今年ZoomEye还被国外同行评选为“全球25大最佳OSINT(开源威胁情报)工具”之一,如下:
近期我们完成了知道创宇安全大脑威胁情报数据对接,知道创宇安全大脑依靠CDN防御产品创宇盾捕获的大量恶意行为IP,会同步到ZoomEye上进行数据打标,如下:
04 数据订阅
今年7月我们提出了“动态测绘才是真测绘!”的观点。ZoomEye作为中国第一个网络空间测绘搜索引擎同时已成为国际网络空间测绘的领跑者,早在2014年ZoomEye一举成名关于“心脏流血”的漏洞应急报告就是一个典型的案例。
当然后续我们也做了很多基于“动态测绘”这个思想的经典案例报告:https://www.zoomeye.org/topics ,另外就在今年的ISC 2020 我们受邀发表《从数据动态视角看网络空间测绘》议题分享了关于“动态测绘”的一些经验及成果。
这次我们发布的“数据订阅”功能就是基于“动态测绘”思想上的一个简单的尝试,可以让用户时刻关注目标如特定IP段或者相关设备数据的动态数据变化,并提供动态趋势图、增量数据下载、邮件提醒等功能,这个功能让目标测绘更加持续、清晰、快捷!
用户可以通过用访问户中心点击“数据订阅”开启体验之旅。如下:
https://www.bilibili.com/video/BV1NK4y1L7Mh
05 持续改进数据获取能力
I、加强完善HTTP跳转页面数据获取能力
在近期我们的一个重点工作主要集中在HTTP协议上,更加细节点应该就是HTTP协议跳转识别能力上,在我们访问某个IP或者域名的HTTP服务时,经常会遇到跳转到其他页面的情况,转跳后的banner数据获取对于设备字纹识别、title提取等信息提取有积极重要的作用,近期我们实现通过动态解析获取转跳页面办法大幅度提升了转跳banner的数据获取能力。
ii、加强wmap域名数据获取能力
在之前ZoomEye的域名扫描引擎wmap只会获取并展示HTTP协议返回头信息,目前我们已经完成wmap引擎改造并获取展示包括返回HTML的完整banner数据,另外我们扩充了超过52亿的域名池,将陆续加入节点列队进行探测。
iii、支持多个端口协议数据获取
其实这个工作我们平时一直都在做,这里只列举下最近比较有意思的几个数据:
①新增CobaltStrike Beacon配置信息获取
搜索语法:
“CobaltStrike Beacon configurations” https://www.zoomeye.org/searchResult?q=%22CobaltStrike%20Beacon%20configurations%22
②新增264/tcp端口扫描并支持checkpoint相关协议探测
搜索语法:
port:”264” +service:”checkpoint” https://www.zoomeye.org/searchResult?q=port%3A%22264%22%20%2Bservice%3A%22checkpoint%22
③新增4899/tcp端口扫描并支持radmin相关协议探测
搜索语法:
port:”4899” +service:”radmin” https://www.zoomeye.org/searchResult?q=port%3A%224899%22%20%2Bservice%3A%22radmin%22
06 搜索语法支持括号优先运算逻辑
ZoomEye搜索语法之间支持逻辑运算:空格 为 or 运算符表示逻辑或运算,+ 为 and 运算符,表示逻辑且运算,- 为 not 运算符,表示逻辑非运算 ,在一般情况下这些运算基本满足搜索需求,但是遇到某些非常规搜索可能会遇到比较复杂的逻辑,所以我们推出了括号优先逻辑运算更能满足某些复杂的搜索逻辑。
07 日常修正了n多bug
如题目所示,修bug是少不了的工作。
08 最后
ZoomEye(“钟馗之眼”)为知道创宇旗下404实验室驱动打造的中国第一款同时也是全球著名的网络空间搜索引擎,通过分布在全球的大量测绘节点针对全球范围内的IPv4、IPv6地址库及网站域名库进行24小时不间断探测、识别,根据对多个服务端口协议进行测绘,最终实现整个或者局部地区的网络空间进行画像。
通过多年的发展不停的技术改造,目前ZoomEye拥有的自主研发网络空间搜索核心引擎已拥有世界领先网络空间测绘能力,并积累了大量的测绘数据进行趋势分析最终实现跨时空式的动态网络空间测绘画像。
ZoomEye(“钟馗之眼”)作为国际领先的网络空间测绘搜索引擎,我们一直在努力!