本文分享了自动化采集、分析 Nginx 日志并实时封禁风险 IP 的方案及实践
阅读这篇文章你能收获到:
阅读本文你需要:
实时采集并分析 Nginx 日志, 自动化封禁风险 IP 方案
文章地址: https://blog.piaoruiqing.com/2019/11/17/block-ip-by-analyzing-nginx-logs/
本文分享了自动化采集、分析 Nginx 日志并实时封禁风险 IP 的方案及实践.
阅读这篇文章你能收获到:
阅读本文你需要:
分析 nginx 访问日志时, 看到大量 404 的无效请求, URL 都是随机的一些敏感词. 而且近期这些请求越来越频繁, 手动批量封禁了一些 IP 后, 很快就有新的 IP 进来.
因此萌生了通过自动化分析 Nginx 日志实时封禁 IP 的想法.
序号 | 需求 | 备注 |
---|---|---|
1 | Nginx 日志收集 | 方案有很多, 笔者选择了最适合个人服务器的方案: filebeat +redis |
2 | 日志实时分析 | 实时消费redis 的日志, 解析出需要的数据进行分析 |
3 | IP 风险评估 | 对 IP 进行风险评估, 多个维度: 访问次数、IP 归属、用途等 |
4 | 实时封禁 | 针对风险 IP 进行不同时长的封禁 |
从日志中简单总结几个特征:
序号 | 特征 | 描述 | 备注 |
---|---|---|---|
1 | 访问频繁 | 每秒数次甚至数十次 | 正常的流量行为也存在突发流量, 但不会持续很久 |
2 | 持续请求 | 持续时间久 | 同上 |
3 | 多数 404 | 请求的 URL 可能大多数都不存在, 且存在敏感词汇如 admin、login、phpMyAdmin、backup 等 | 正常流量行为很少存在这种情况 |
4 | IP 不正常 | 通过 ASN 能看出一些端倪, 一般这类请求的 IP 都不是普通的个人用户. | 查询其用途一般是 COM(商业)、DCH(数据中心/网络托管/传输)、SES(搜索引擎蜘蛛)等 |
备注: 这里分析 IP 是通过ip2location的免费版数据库, 后面会有详细的描述.
来源: 笔者的网站通过 docker 部署, Nginx 作为唯一入口, 记录了全部访问日志.
采集: 由于资源有限, 笔者选择了一款轻量的日志采集工具Filebeat, 收集 Nginx 日志并写入 Redis.
Monitor服务根据 URL、IP、历史评分等进行风险评估, 计算出最终的危险系数.
Monitor发现危险 IP 后(危险系数超过阈值), 调用Actuator进行 IP 封禁, 封禁时长根据危险系数计算得出.
Filebeat 的用法很简单, 笔者通过 swarm 进行部署, 其部署文件如下(为防止代码过长, 此处略去了其他服务):
version: '3.5'services: filebeat: image: docker.elastic.co/beats/filebeat:7.4.2 deploy: resources: limits: memory: 64M restart_policy: condition: on-failure volumes: - $PWD/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro - $PWD/filebeat/data:/usr/share/filebeat/data:rw - $PWD/nginx/logs:/logs/nginx:ro environment: TZ: Asia/Shanghai depends_on: - nginx
$PWD
为当前目录, 即执行docker stack deploy
的目录. ro
为只读权限.rw
为读写权限.filebeat.yml
文件内容如下:
filebeat.inputs:- type: log enabled: true paths: - /logs/nginx/access.log json.keys_under_root: true json.overwrite_keys: trueoutput.redis: hosts: ["redis-server"] password: "{your redis password}" key: "filebeat:nginx:accesslog" db: 0 timeout: 5
filebeat.inputs: 定义输入
paths: 日志路径
json.keysunderroot: 将日志内容放到 json 的根节点(如果没有设置, 整条数据会被放到一个二级节点下). 注: 笔者将 nginx 日志配置为 json 格式. 参考配置如下:
log_format main_json escape=json '{' '"@timestamp":"$time_iso8601",' '"http_host":"$http_host",' '"remote_addr":"$remote_addr",' '"request_uri":"$request_uri",' '"request_method":"$request_method",' '"server_protocol":"$server_protocol",' '"status":$status,' '"request_time":"$request_time",' '"body_bytes_sent":$body_bytes_sent,' '"http_referer":"$http_referer",' '"http_user_agent":"$http_user_agent",' '"http_x_forwarded_for":"$http_x_forwarded_for"' '}';
json.overwrite_keys: 覆盖 Filebeat 生成的 KEY, 此处为了覆盖@timestamp
字段.
output.redis: 定义输出.
部署成功后查看 redis 数据:
Monitor
服务使用 Java 编写, 使用 docker 部署, 与Actuator
服务通过 http 交互.
风险评估需要综合多个维度:
序号 | 维度 | 策略 |
---|---|---|
1 | IP 归属地 | 中文网站的用户群体一般归属地都在中国, 若 IP 归属地为国外就需要警惕了. |
2 | 用途 | 通过 IP 获取其用途, DCH(数据中心/网络托管/传输)、SES(搜索引擎蜘蛛)等提高危险评分. |
3 | 访问资源 | 访问资源不存在且路径中含有敏感词, 如 admin、login、phpMyAdmin、backup 等, 提高危险评分. |
4 | 访问频率及持续时间 | 频繁且持久的请求, 考虑提高评分. |
5 | 历史评分 | 历史评分综合到当前评分中. |
IP 归属地获取比较容易, 有不少数据服务网站提供了免费套餐, 如IpInfo等. 也有免费版 IP 数据库可以下载如ip2location等.
笔者使用了ip2location的免费版数据库:
ipfrom和ipto是 IP 段起止, 存储的格式是十进制, MySQL 中可通过inet_aton('your ip')
函数将 IP 转为十进制. 如:
set @a:= inet_aton('172.217.6.78');SELECT * FROM ip2location_db11 WHERE ip_from <= @a AND ip_to >= @a LIMIT 1;
ip_from | ip_to | country_code | country_name | region_name | city_name | latitude | longitude | zip_code | time_zone |
---|---|---|---|---|---|---|---|---|---|
2899902464 | 2899910655 | US | United States | California | Mountain View | 37.405992 | -122.07852 | 94043 | -07:00 |
LIMIT 1
.多数网站提供的免费服务中都无法查询 ASN 或没有其用途. ASN 数据也有免费的数据库, 但是依旧没有其用途及类型等. 此时笔者通过其它的方法曲线救国.
ip2location提供了免费版本的IP2LocationLITE IP-ASN
和IP2ProxyLITE
数据库.
IP2LocationLITE IP-ASN: 数据库提供了确定自治系统和编号(ASN)的参考.
IP2ProxyLITE: 数据库包含被用作开放代理的 IP 地址. 该数据库包括所有公共 IPv4 和 IPv6 地址的代理类型、国家、地区、城市、ISP、域、使用类型、ASN 和最新记录.
IP2LocationLITE IP-ASN中无法查询到 IP 的使用类型, IP2ProxyLITE数据较少中不一定会包含指定的 IP. 但可以结合这两个库, 大致猜测 IP 的用途:
首先, 在IP2ProxyLITE中查询出 IP 的 ASN.
set @a:= inet_aton('172.217.6.78');SELECT * FROM ip2location_asn WHERE ip_from <= @a AND ip_to >= @a LIMIT 1;
ip_from | ip_to | cidr | asn | as |
---|---|---|---|---|
2899904000 | 2899904255 | 172.217.6.0/24 | 15169 | Google LLC |
结合 ASN 和 IP, 查询相同 ASN最接近指定 IP 的前后两条记录:
set @a:= inet_aton('172.217.6.78');SELECT * FROM ip2proxy_px8 WHERE ip_from >= @a AND asn = 15169 ORDER BY ip_from ASC LIMIT 1;SELECT * FROM ip2proxy_px8 WHERE ip_from <= @a AND asn = 15169 ORDER BY ip_from DESC LIMIT 1;
ip_from | ip_to | region_name | isp | usage_type | asn | as |
---|---|---|---|---|---|---|
2899904131 | 2899904131 | California | Google LLC | DCH | 15169 | Google LLC |
ip_from | ip_to | region_name | isp | usage_type | asn | as |
---|---|---|---|---|---|---|
2899904015 | 2899904015 | California | Google LLC | DCH | 15169 | Google LLC |
计算查询到的 proxy 记录中 IP 与当前 IP 的差值的绝对值.
IP | proxy IP | abs(IP - proxy IP) |
---|---|---|
2899904078 | 2899904131 | 53 |
2899904078 | 2899904015 | 63 |
如果绝对值很接近, 那么就认为此 IP 的用途和 proxy IP 相同. 很接近的定义可以根据情况调整, 如绝对值在 65535 范围内.
综合评分的规则可根据实际场景进行调整
序号 | 评分项 | 评分规则(1-10 分) |
---|---|---|
1 | IP 归属地 | 如: 国内 5 分, 国外 10 分, 可根据地区再进行细分 |
2 | 用途 | 如: ISP/MOB 计 2 分, COM 计 5 分, DCH 计 10 分 |
3 | 访问资源 | 如: 404 计 5 分, 存在敏感词一律 10 分 |
4 | 访问频率及持续时间 | 根据一段时间内平均访问次数计算分数 |
5 | 历史评分 |
综合上述 1-5 项, 进行计算, 可以简单的相加, 也可加权计算.
笔者采用iptables+ipset的方式进行 IP 封禁. Actuator
服务使用 node 编写, 运行在主机上, docker 中的Monitor
通过 http 与其交互. 封禁 IP 部分代码如下:
'use strict';const express = require('express');const shell = require('shelljs');const router = express.Router();router.post('/blacklist/:name/:ip', function (req, res, next) { let name = req.params.name; let ip = req.params.ip; let timeout = req.query.timeout; let cmd = `ipset -exist add ${name} ${ip} timeout ${timeout}`; console.log(cmd); shell.exec(cmd); res.send('ok\n');});module.exports = router;
目前, 还是有不少"头铁"的 IP 频繁扫描笔者的网站, 在发现后几秒内自动屏蔽掉, 目前效果比较理想.
欢迎关注公众号(代码如诗):
[版权声明] 本文发布于朴瑞卿的博客, 允许非商业用途转载, 但转载必须保留原作者朴瑞卿 及链接:http://blog.piaoruiqing.com. 如有授权方面的协商或合作, 请联系邮箱: [email protected].
阅读全文: http://gitbook.cn/gitchat/activity/5dd164e39a8e8d63ff434956
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。
文章浏览阅读202次。packagecode;//importjava.awt.*;//importjava.awt.Canvas;//importjava.awt.event.*;//importjavax.swing.*;importjava.util.Random;importjavax.microedition.lcdui.*;//写界面所需要的包/***//***俄罗斯方块*高雷*2007年1..._240×320java游戏
文章浏览阅读779次,点赞14次,收藏19次。然后,实现系统的数据管理和服务功能,包括用户的注册与登录、电影的分类与展示、电影信息的查询与推荐、座位的选择与预订、在线支付与电子票生成等。此外,随着在线视频平台的兴起,越来越多的人选择在线观看电影,这对传统电影院产生了巨大的冲击。研究意义: 开发在线电影院售票平台对于提升用户的观影体验、优化电影院的运营效率、促进电影产业的发展具有重要的意义。该系统旨在通过技术手段解决传统电影院售票中的问题,提供一个集成化的电影信息展示、座位选择、在线支付和用户评价平台,同时也为电影院和电影制作方提供有效的工具。
文章浏览阅读509次。保护我们剩下的人的通话信息安全,使用TOX可以让你在和家人,朋友,爱人交流时保护你的隐私不受政府无孔不入的的偷窥.关于TOX:其他牛逼的软件因为一些细化服务问你要钱的时候, TOX分文不取 . 你用了TOX, 想干嘛就干嘛.网友评论:项目源码展示:源码测试效果:最后,如果你学C/C++编程有什么不懂的,可以来问问我哦,或许我能够..._基于c++的即时聊天系统设计
文章浏览阅读584次。鱼弦:CSDN内容合伙人、CSDN新星导师、全栈领域创作新星创作者 、51CTO(Top红人+专家博主) 、github开源爱好者(go-zero源码二次开发、游戏后端架构 https://github.com/Peakchen)当Java服务在Linux系统中运行时,可能会出现swap分区被占用的内存泄露问题,导致系统性能下降或者崩溃。下面是该问题的故障及解决方法、底层结构、架构图、工作原理、使用场景详解和实际应用方式、原理详细描述、相关命令使用示例以及文献材料链接。_linux swap占用很高
文章浏览阅读662次。Alt+F11,然后插入-模块:复制下面代码到编辑窗口:Sub 半角标点符号转换为全角标点符号()'中英互译文档中将中文段落中的英文标点符号替换为中文标点符号 Dim i As Paragraph, ChineseInterpunction() As Variant, EnglishInterpunction() As Variant Dim MyRange..._替换半角宏
文章浏览阅读2.8k次。#.简介: WebView是Android提供的用来展示展示web页面的View,内部使用webkit浏览器引擎(一个轻量级的浏览器引擎),除了展示Web页面外,还可与Web页面内的JS脚本交互调用。WebView内部的WebSetting对象负责管理WebView的参数配置; WebViewClient负责处理WebView的各种请求和通知事件,在对应事件发生时会执行WebViewClient的对应回调; ChromeWebviewClient辅助Webview处理与JS一些交互......_android webview真正加载完成
文章浏览阅读1.6k次。_bitcoin 调试环境搭建
文章浏览阅读4.3k次,点赞93次,收藏94次。为了解决贝塞尔曲线无法局部修正、控制性减弱、曲线次数过高、不易拼接的缺陷,引入B样条曲线(B-Spline)。本文介绍B样条曲线的基本概念:节点向量、支撑性、次数阶数、加权性质、节点生成算法等,为后续曲线计算打下基础。_样条曲线生成
文章浏览阅读902次。配置本地repo库下载我的阿里云盘文件文件放置#创建目录mkdir -p /opt/cloudera/parcel-repo/mkdir -p /opt/cloudera/cm/yum install createrepoCDH 6.2.0 的三个文件放到/opt/cloudera/parcel-repo/中,并且注意把sha256后缀的文件名修改为sha#执行createrepo命令生成rpm元数据 最终/opt/cloudera/parcel-repo/会多一个repodata目录_/opt/cloudera/cm-agent/service/mgmt/mgmt.sh: line 76: /usr/java/jdk1.8.0_181
文章浏览阅读943次,点赞2次,收藏2次。uni.canvasToTempFilePath_uni.canvastotempfilepath
文章浏览阅读3.1k次。SRAM :静态RAM,不用刷新,速度可以非常快,像CPU内部的cache,都是静态RAM,缺点是一个内存单元需要的晶体管数量多,因而价格昂贵,容量不大。DRAM:动态RAM,需要刷新,容量大。SDRAM:同步动态RAM,需要刷新,速度较快,容量大。DDR SDRAM:双通道同步动态RAM,需要刷新,速度快,容量大。........................_sdram 干扰
文章浏览阅读7.3k次。假设表格有A、B、C、D四列数据,希望导入到你的数据库中表格table,对应的字段分别是col1、col2、col3、col4。_excel数据怎么生成sql语句