技术标签: matlab klt 算法设计 track opencv
MATLAB:
% 作者:Ephemeroptera
% 时间:2018/11/24
% 联系qq:605686962
%% 读取视频以及视频第一帧
video=VideoReader('ww.mp4');
firstFrame=imresize(readFrame(video),[480 640]);
%% KLT的初始化设置
faceDetector = vision.CascadeObjectDetector; %开启前脸侦测器
faceBbox=faceDetector(firstFrame); %检测人脸
MinEigenPoints = detectMinEigenFeatures(rgb2gray(firstFrame), 'ROI', faceBbox);%使用最小特征值算法和返回cornerPoints检测角点
firstShow=insertObjectAnnotation(firstFrame,'rectangle',faceBbox,'Face','LineWidth',2,'Color','g'); %显示
firstShow=insertMarker(firstShow,MinEigenPoints.Location,'+','Color','w','Size',2);
figure(1);imshow(firstShow);title('the initial');
pointTracker = vision.PointTracker('MaxBidirectionalError', 2);%向前后错误阈值设置为2
initialize(pointTracker, MinEigenPoints.Location, firstFrame);%初始化追踪器
%% KLT追踪
oldPoints =MinEigenPoints.Location;% 获取初始化时特征角点
bboxPoints = bbox2points(faceBbox);% 获取人脸框的四个坐标
n=2;
while hasFrame(video)%遍历视频
frame = imresize(readFrame(video),[480 640]); % 读取当前帧
[newPoints,validity,score] = pointTracker(frame); % 获取可疑点
oldPoints = oldPoints(validity, :); % 获取高置信点匹配对
newPoints = newPoints(validity, :); % 获取高置信点匹配对(第一次过滤)
%估计几何仿射关系,进一步获取高质量的点匹配对(第二次过滤)
[xform, oldPoints, newPoints] = estimateGeometricTransform(oldPoints, newPoints, 'similarity', 'MaxDistance', 4);
bboxPoints = transformPointsForward(xform, bboxPoints); %由仿射关系更新bboxPoints
bboxPolygon = reshape(bboxPoints', 1, []);% 重构成行向量
%显示每一帧
trackShow = insertShape(frame,'Polygon',bboxPolygon,'LineWidth',2,'Color','g');
trackShow = insertMarker(trackShow,newPoints,'+','Color','w','Size',2);
figure(2);imshow(trackShow);title(strcat('NO. ',num2str(n),' Frame..'));drawnow;
%新旧轮替
oldPoints = newPoints;
setPoints(pointTracker, oldPoints);
n=n+1;
end
结果演示:
初始:
追踪:
C++:
/****************************************************************/
//作者:Ephemeroptera
//最后修改时间:2018/11/26
//地点:AHU;
//联系qq:605686962
/****************************************************************/
#include <iostream>
#include"opencv2/opencv.hpp"
#include "opencv2/video/tracking.hpp"
#include "dlib/image_processing/frontal_face_detector.h"
#include <dlib/image_processing.h>
#include <dlib/opencv.h>
using namespace cv;
using namespace std;
int main()
{
try
{
//读取视频
VideoCapture capture("eyes.avi");
//声明前脸检测器detector
dlib::frontal_face_detector faceDetector = dlib::get_frontal_face_detector();
//捕获第一帧
Mat firstFrame;
capture >> firstFrame;
resize(firstFrame, firstFrame, Size(640, 480));
//cv to dlib
dlib::cv_image<dlib::bgr_pixel> cframe(firstFrame);
//检测人脸
std::vector<dlib::rectangle> facebbox = faceDetector(cframe);
//facebbox格式由dlib转换为cv
Rect faceRect(facebbox[0].left(), facebbox[0].top(), facebbox[0].width(), facebbox[0].height());
//再变换为Mat形式
Mat faceROI = (Mat_<double>(4, 2) << faceRect.x, faceRect.y,
faceRect.x + faceRect.width, faceRect.y,
faceRect.x + faceRect.width, faceRect.y + faceRect.height,
faceRect.x, faceRect.y + faceRect.height);
faceROI = faceROI.t();//转置
//特征点初始化
const ushort MAX_COUNT = 300;//特征点数量上限
vector<Point2f> initCorners;//初始特征点容器
Mat firstGray(firstFrame.size(), CV_8UC1);//灰度化
cvtColor(firstFrame, firstGray, CV_RGB2GRAY);
//指定ROI
Mat mask = Mat::zeros(firstGray.size(), CV_8UC1);//mask初始化全为0
mask(faceRect).setTo(255);//将非roi区域置为255
goodFeaturesToTrack(firstGray, initCorners, MAX_COUNT, 0.01, 10, mask, 3, 3, 0, 0.04);//特征点初步检测
//亚像素再次检测
Size subPixWinSize(10, 10);
TermCriteria termcrit(TermCriteria::COUNT | TermCriteria::EPS, 20, 0.03);//声明迭代属性(最大次数或者极小波动)
cornerSubPix(firstGray, initCorners, subPixWinSize, Size(-1, -1), termcrit);//进一步满足亚像素特性筛选
//遍历视频
int numOfframes = 1;//当前帧数
Mat oldFrame;//定义新帧和旧帧
Mat newFrame;
vector<Point2f> oldCorners;
vector<Point2f> newCorners;
while (waitKey(30) != 27)
{
++numOfframes;//帧+1
//获取每一帧
Mat rgbFrame;
capture >> rgbFrame;
//读取结束跳出
if (rgbFrame.empty())
{
break;
}
//灰度化
Mat grayFrame(rgbFrame.size(), CV_8UC1);
cvtColor(rgbFrame, grayFrame, CV_RGB2GRAY);
//图像大小归一
resize(grayFrame, grayFrame, Size(640, 480));
if (numOfframes == 2)//如果遍历开始
{
oldFrame = firstGray;
oldCorners = initCorners;
}
newFrame = grayFrame;//当前帧为新帧
//KLT核心算法
vector<uchar> validity;//置信
vector<float> err;//有效光流的误差
Size winSize(31, 31);//搜索窗大小
calcOpticalFlowPyrLK(oldFrame, newFrame, oldCorners, newCorners, validity, err, winSize, 3, termcrit, 0, 0.001);
//标记点(遍历所有特征点)
int i; int k;
for (i = k = 0; i < newCorners.size(); ++i)
{
if (!validity[i])//如果没找到对应点跳转下一个
continue;
oldCorners[k] = oldCorners[i];
newCorners[k++] = newCorners[i];//提取高质量点
circle(rgbFrame, newCorners[i], 2, Scalar(0, 255, 0), -1, 8);//标记
}
oldCorners.resize(k); //滤除劣质特征点
newCorners.resize(k);
//预测特诊点的变化
Mat transEstimate = estimateRigidTransform(oldCorners, newCorners, 0);
//bbox变化
Mat bias = Mat::ones(Size(4, 1), CV_64FC1);//添加偏置,(2x4)->(3x4)
faceROI.push_back(bias);
faceROI = transEstimate * faceROI;//(2x3)*(3x4)->(2x4)
//画出bbox
Point2f point0(faceROI.at<double>(0, 0), faceROI.at<double>(1, 0));
Point2f point1(faceROI.at<double>(0, 1), faceROI.at<double>(1, 1));
Point2f point2(faceROI.at<double>(0, 2), faceROI.at<double>(1, 2));
Point2f point3(faceROI.at<double>(0, 3), faceROI.at<double>(1, 3));
line(rgbFrame, point0, point1, Scalar(255, 0, 0),3,16);
line(rgbFrame, point1, point2, Scalar(255, 0, 0),3,16);
line(rgbFrame, point2, point3, Scalar(255, 0, 0),3,16);
line(rgbFrame, point3, point0, Scalar(255, 0, 0),3,16);
imshow("KLT", rgbFrame);
//新旧轮替
oldFrame = newFrame;
oldCorners = newCorners;
}
}
catch (const std::exception& e)
{
cout << "\nexception thrown!" << endl;
cout << e.what() << endl;
}
return 0;
}
结果展示:
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数