360度全景视频技术

qianhuafei 2013-09-11 10:59:10

欢迎大家热烈讨论全景视频技术。全景图到处都是，软件都是国外的，门槛低，国人也没研究图片拼接算法，甚是遗憾，作为全景图的替代者--全景视频，我们是不是可以捷足先登，让视频拼接技术可以国产化，以长我国人士气。

...全文

1725 15 打赏收藏转发到动态举报

写回复

用AI写文章

15 条回复

切换为时间正序

请发表友善的回复…

发表回复

shiter 2015-04-02

打赏
举报

不过据我看，那个街景图像采集车上面是360的摄像头，一个点照一张图片，生成了可能类似动态gif 的东西，当然了，主要原理上一个的链接里面都有的，中国知网上面论文一大堆，这个领域我到觉的360度3维重建更加厉害

shiter 2015-04-02

打赏
举报

http://blog.163.com/outmen_jet/blog/static/832604682010821105019937/ 每一个谷歌街景（Street View）全景照片其实是一张或一组提供了从一个地点360度全景视角的照片。街景全景照片是用了遵循“等矩形投影”（equirectangular (Plate Carrée) projection）的图片。这样的一个投影包括了一个360度的水平视野（完整地绕一周）和一个180度的垂直视野（从正上方到正下方）。这样的视野（fields of view）形成了一张宽高比为2:1的图片。 http://www.myexception.cn/image/1498389.html


相关代码如下：
//读取图像
Mat leftImg=imread("left.jpg");
Mat rightImg=imread("right.jpg");
if(leftImg.data==NULL||rightImg.data==NULL)
	return;

//转化成灰度图
Mat leftGray;
Mat rightGray;
cvtColor(leftImg,leftGray,CV_BGR2GRAY);
cvtColor(rightImg,rightGray,CV_BGR2GRAY);

//获取两幅图像的共同特征点
int minHessian=400;
SurfFeatureDetector detector(minHessian);
vector<KeyPoint> leftKeyPoints,rightKeyPoints;
detector.detect(leftGray,leftKeyPoints);
detector.detect(rightGray,rightKeyPoints);
SurfDescriptorExtractor extractor;
Mat leftDescriptor,rightDescriptor;
extractor.compute(leftGray,leftKeyPoints,leftDescriptor);
extractor.compute(rightGray,rightKeyPoints,rightDescriptor);
FlannBasedMatcher matcher;
vector<DMatch> matches;
matcher.match(leftDescriptor,rightDescriptor,matches);	
int matchCount=leftDescriptor.rows;
if(matchCount>15)
{
	matchCount=15;
	sort(matches.begin(),matches.begin()+leftDescriptor.rows,DistanceLessThan);
}	
vector<Point2f> leftPoints;
vector<Point2f> rightPoints;
for(int i=0; i<matchCount; i++)
{
	leftPoints.push_back(leftKeyPoints[matches[i].queryIdx].pt);
	rightPoints.push_back(rightKeyPoints[matches[i].trainIdx].pt);
}

//获取左边图像到右边图像的投影映射关系
Mat homo=findHomography(leftPoints,rightPoints);
Mat shftMat=(Mat_<double>(3,3)<<1.0,0,leftImg.cols, 0,1.0,0, 0,0,1.0);

//拼接图像
Mat tiledImg;
warpPerspective(leftImg,tiledImg,shftMat*homo,Size(leftImg.cols+rightImg.cols,rightImg.rows));
rightImg.copyTo(Mat(tiledImg,Rect(leftImg.cols,0,rightImg.cols,rightImg.rows)));

//保存图像
imwrite("tiled.jpg",tiledImg);
	
//显示拼接的图像
imshow("tiled image",tiledImg);
waitKey(0);

stitching是OpenCV2.4.0一个新模块，功能是实现图像拼接，所有的相关函数都被封装在Stitcher类当中。这个类当中我们可能用到的成员函数有createDefault、estimateTransform、composePanorama、stitch。其内部实现的过程是非常繁琐的，需要很多算法的支持，包括图像特征的寻找和匹配，摄像机的校准，图像的变形，曝光补偿和图像融合。但这些模块的接口、调用，强大的OpenCV都为我们搞定了，我们使用OpenCV做图像拼接，只需要调用createDefault函数生成默认的参数，再使用stitch函数进行拼接就ok了。就这么简单！estimateTransform和composePanorama函数都是比较高级的应用，如果各位对stitching的流程不是很清楚的话，还是慎用。实例也非常简单，下载链接哦：http://download.csdn.net/detail/yang_xian521/4321158。输入原图（为了显示，我都压缩过）：