定位流程

• blob分析
• 模板匹配 （仿射变换成标准的形状）
• 识别

例子一

打开这个关于仿射变换的例子

在窗口中画一个图形，左键画，右键确认

draw_region (Region, WindowID)

获得单位矩阵

hom_mat2d_identity (HomMat2DIdentity)

获得旋转矩阵

hom_mat2d_rotate (HomMat2DIdentity, -0.3, 256, 256, HomMat2DRotate)

可以看到-0.3 是旋转角，如果是正的话，就是逆时针旋转的。负的话就是顺时针旋转,
两个256分别是x,y的坐标点（旋转中心）。
通过旋转角和旋转中心可以得到旋转矩阵

图像缩放

x，y都放大1.5倍，
256,256是固定点
点(Px，Py)是变换的固定点，即当使用HomMat2DScale变换时，该点保持不变。为了获得这种行为，首先向输入变换矩阵添加平移，将固定点移动到全局坐标系的原点。然后，添加缩放，最后是将固定点移回其原始位置的平移。

hom_mat2d_scale (HomMat2DRotate, 1.5, 1.5, 256, 256, HomMat2DScale)

进行放射变换

affine_trans_region (Region, RegionAffineTrans, HomMat2DScale, 'nearest_neighbor')

最后可以看到变换后的结果

dev_clear_window ()
dev_set_draw ('margin')
dev_set_color ('red')
dev_display (Region)
dev_set_color ('green')
dev_display (RegionAffineTrans)

完整代码

dev_close_window ()
dev_open_window (0, 0, 512, 512, 'white', WindowID)
dev_set_color ('black')
* Draw with the mouse an arbitrary region into the window
draw_region (Region, WindowID)
hom_mat2d_identity (HomMat2DIdentity)
hom_mat2d_rotate (HomMat2DIdentity, -0.3, 256, 256, HomMat2DRotate)
hom_mat2d_scale (HomMat2DRotate, 1.5, 1.5, 256, 256, HomMat2DScale)
affine_trans_region (Region, RegionAffineTrans, HomMat2DScale, 'nearest_neighbor')
dev_clear_window ()
dev_set_draw ('margin')
dev_set_color ('red')
dev_display (Region)
dev_set_color ('green')
dev_display (RegionAffineTrans)

补充
最终要的就是 旋转 、平移、缩放

平移 hom_mat2d_translate
旋转 hom_mat2d_rotate
缩放 hom_mat2d_scale

例子二(药片的定位)

打开示例，药片的定位

思路就是 先blob分析，然后计算区域的角度,然后仿射成标准的位置

首先是读取图片，打开窗口，设置字体，和draw方式,线宽等

dev_close_window ()
dev_update_off ()
read_image (ImageOrig, 'blister/blister_reference')
dev_open_window_fit_image (ImageOrig, 0, 0, -1, -1, WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
dev_set_draw ('margin')
dev_set_line_width (3)

获取BGR中的第一个通道，就是B对应的单通道图像
（halcon中的三通道图像是默认BGR的）

access_channel (ImageOrig, Image1, 1)

接下来是二值化和获取轮廓（凸性）

threshold (Image1, Region, 90, 255)
shape_trans (Region, Blister, 'convex')

获得该区域的角度（与水平的夹角）

该运算符基于椭圆轴，将区域看成一个椭圆，椭圆的长轴与极轴的夹角就是这个角度Phi

orientation_region (Blister, Phi)

可以看到是负的

获得区域的中心坐标

area_center (Blister, Area1, Row, Column)

利用 起始中心点坐标和角度 到 目标中心点坐标和角度 生成 仿射矩阵

vector_angle_to_rigid (Row, Column, Phi, Row, Column, 0, HomMat2D)

进行仿射变换

affine_trans_image (ImageOrig, Image2, HomMat2D, 'constant', 'false')

例子三（充电宝定位）

由于图片不是正的，导致测量比较麻烦

所以我们可以通过仿射变换，使得图像变正，就可以使用统一的直线测量线段了

dev_close_window ()
read_image (Image, 'C:/Users/xuheding/Desktop/图片/2.png')
dev_open_window_fit_image (Image, 0, 0, -1, -1, WindowHandle)
dev_display (Image)
rgb1_to_gray (Image, GrayImage)
threshold (GrayImage, Regions, 185, 247)
opening_rectangle1 (Regions, RegionOpening, 15, 15)
fill_up (RegionOpening, RegionFillUp)
* 最小外接矩形
shape_trans (RegionFillUp, RegionTrans, 'rectangle2')
* 获得角度
orientation_region (RegionTrans, Phi)
* 获得区域中心坐标
area_center (RegionTrans, Area, Row, Column)
* 获得仿射矩阵
vector_angle_to_rigid (Row, Column, Phi, Row, Column, rad(180), HomMat2D)
* 仿射变换
affine_trans_image (GrayImage, ImageAffineTrans, HomMat2D, 'constant', 'false')

最后选择，助手->测量助手
绘制直线
设置参数后
点击代码生成

例子四（车牌定位）

将图像转为灰度图后，可以点击助手->OCR
1.先画ROI 2.输入希望读取的文本 3.点击字符是暗背景上的亮字符（因为这张图的缘故） 4.点击应用快速设置即可

1.首先读取图片，转为灰度图，然后阈值分割，开操作（去噪），计算连通域，选择特征形状
2.要排序 区域，因为后序要识别
3.载入ocr分类器（0到9，A到Z），进行预测（由于该分类器的原因，要输入黑字白底的，但是车牌是白字黑底的，所以要翻转一下，传入分类器中）

read_image (Image, 'C:/Users/xuheding/Desktop/图片/3.png')
rgb1_to_gray (Image, GrayImage)

dev_display (GrayImage)
threshold (Image, Regions, 100, 211)
opening_rectangle1 (Regions, RegionOpening, 3, 3)
connection (RegionOpening, ConnectedRegions)
select_shape (ConnectedRegions, SelectedRegions, ['width','height','rectangularity','column'], 'and', [0,35.78,0.20092,254.13], [63.3,71.01,0.59358,725.69])
sort_region (SelectedRegions, SortedRegions, 'character', 'true', 'row')

read_ocr_class_mlp ('DotPrint_0-9A-Z_NoRej.omc', OCRHandle)
invert_image (GrayImage, ImageInvert)
do_ocr_multi_class_mlp (SortedRegions, ImageInvert, OCRHandle, Class, Confidence)

可以看到 都识别到了

其他

测量助手使用

点击

可以通过绘制线段，检测直线

变换设置postive，选择黑到白的变化

设置negative则是，白到黑
设置all则是，都要

可以点击显示轮廓线，来显示轮廓

☞ ░ 老猿Python博文目录：https://blog.csdn.net/LaoYuanPython ░

一、绕指定点旋转的组合变换

绕特定点p（m，n）旋转θ的组合变换公式为：

二、指定直线作为依赖轴的错切变换矩阵

以y=m（m≠0）直线进行水平错切变换处理（错切角为α）的组合变换公式为：

类似的以错切角β、x=m（m≠0）直线进行竖直错切变换处理时，对应的组合变换公式为：

三、小结

本文介绍了组合(也称复合）仿射变换的绕指定点旋转的组合变换、指定直线作为依赖轴的组合变换矩阵的构成。

仿射变换博文传送门（带星号的为付费专栏文章）：

1. *图像仿射变换原理1：齐次坐标来龙去脉详解
2. *图像仿射变换原理2：矩阵变换、线性变换和图像线性变换矩阵
3. *图像仿射变换原理3：仿射变换类型及变换矩阵详解
4. *图像仿射变换原理4：组合变换及对应变换矩阵
5. *图像仿射变换原理5：组合变换矩阵的OpenCV-Python实现
6. OpenCV-Python图像处理：仿射变换详解及案例
7. OpenCV-Python仿射变换开发中遇到的坑
8. openCV仿射变换：getAffineTransform的案例
9. 为什么称图像旋转、错切、缩放变换是线性变换？
10. 图像仿射变换：绕点旋转和指定直线依赖轴shear错切变换矩阵
11. 图像仿射变换shear怎么翻译？剪切、错切、推移哪个译词好？
12. 仿射变换原理和其OpenCV-Python实现知识汇总

更多图像处理的介绍请参考专栏《OpenCV-Python图形图像处理 https://blog.csdn.net/laoyuanpython/category_9979286.html》和《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》相关文章。

更多图像处理的数学基础知识请参考专栏《人工智能数学基础 https://blog.csdn.net/laoyuanpython/category_10382948.html》

写博不易，敬请支持：

如果阅读本文于您有所获，敬请点赞、评论、收藏，谢谢大家的支持！

关于老猿的付费专栏

1. 付费专栏《https://blog.csdn.net/laoyuanpython/category_9607725.html 使用PyQt开发图形界面Python应用》专门介绍基于Python的PyQt图形界面开发基础教程，对应文章目录为《 https://blog.csdn.net/LaoYuanPython/article/details/107580932 使用PyQt开发图形界面Python应用专栏目录》；
2. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10232926.html moviepy音视频开发专栏 )详细介绍moviepy音视频剪辑合成处理的类相关方法及使用相关方法进行相关剪辑合成场景的处理，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/107574583 moviepy音视频开发专栏文章目录》；
3. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10581071.html OpenCV-Python初学者疑难问题集》为《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的伴生专栏，是笔者对OpenCV-Python图形图像处理学习中遇到的一些问题个人感悟的整合，相关资料基本上都是老猿反复研究的成果，有助于OpenCV-Python初学者比较深入地理解OpenCV，对应文章目录为《https://blog.csdn.net/LaoYuanPython/article/details/109713407 OpenCV-Python初学者疑难问题集专栏目录 》
4. 付费专栏《https://blog.csdn.net/laoyuanpython/category_10762553.html Python爬虫入门 》站在一个互联网前端开发小白的角度介绍爬虫开发应知应会内容，包括爬虫入门的基础知识，以及爬取CSDN文章信息、博主信息、给文章点赞、评论等实战内容。

前两个专栏都适合有一定Python基础但无相关知识的小白读者学习，第三个专栏请大家结合《https://blog.csdn.net/laoyuanpython/category_9979286.html OpenCV-Python图形图像处理 》的学习使用。

对于缺乏Python基础的同仁，可以通过老猿的免费专栏《https://blog.csdn.net/laoyuanpython/category_9831699.html 专栏：Python基础教程目录）从零开始学习Python。

如果有兴趣也愿意支持老猿的读者，欢迎购买付费专栏。

跟老猿学Python！

☞ ░ 前往老猿Python博文目录 https://blog.csdn.net/LaoYuanPython ░

原理

先用hough直线检测找到图像中最长的直线，以最长的直线为基准。

使用仿射变换对图像进行修改。

仿射变换中需要有两个三角形，两个三角形的变化决定了图像怎么变化。

 我的做法

最长的直线L 就给了两个点（x1,y1）,(x2,y2),以下图方式计算即可

具体可对照代码理解

之后就调用函数进行仿射变换即可。

效果

代码

类的cpp文件

#include "imgprocess.h"

//求两点之间距离的代码
float distance(Vec4i point)
{
	float dis = 0;
	float a = abs(point[2] - point[0]);
	float b = abs(point[3] - point[1]);
	dis = sqrt(a * a + b * b);
	return dis;


}

Mat imgprocess::Correct(Mat& image)
{
	Mat dst = Mat::zeros(image.size(), image.type());;
	cvtColor(image, dst, COLOR_BGR2GRAY);//转灰度图
	Mat test = Mat::zeros(dst.size(), dst.type());//在test上用白色画检测出来的直线
	GaussianBlur(dst,dst,Size(5,5),0,0);//高斯滤波，消除噪点
	//把检测位置定位到中心
	Canny(dst, dst, 50, 200, 3);//canny 边缘检测
	// Probabilistic Line Transform
	vector<Vec4i> linesP; // will hold the results of the detection
	HoughLinesP(dst, linesP, 1, CV_PI / 180, 50, 50, 10); // runs the actual detection
	// Draw the lines
	/*for (size_t i = 0; i < linesP.size(); i++)
	{
		Vec4i l = linesP[i];
		line(test, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(255), 3, LINE_AA);
		cout << i << endl;
		cout << linesP[i] << endl;
	}*/
	//找到最长的直线
	float max = 0;
	float d;
	int index = 0;
	for (size_t i = 0; i < linesP.size(); i++)
	{
		Vec4i l = linesP[i];
		d = distance(l);
		if (d > max) {
			max = d;
			index = i;
		}
		
	}

	Vec4i l = linesP[index];
	
	line(dst, Point(l[0], l[1]), Point(l[2], l[3]), Scalar(255), 3, LINE_AA);
	cout << index << " is the longesst" << endl;

	//以最长直线为基准进行放射变换，按照论文的公式
	cout << l << endl;
	Point2f srcTri[3];
	srcTri[0] = Point2f(l[0], l[1]);
	srcTri[1] = Point2f(l[2], l[3]);
	//假设这个三角形是直角三角形
	srcTri[2] = Point2f(l[0],l[3]);

	Vec4i l_3 = { l[0],l[1],l[0],l[3] };
	float d2 = distance(l_3);
	cout << "max dis: " << max << endl;
	cout << "d2 test " << d2 << endl;
	//求角度
	float angle = acos(d2/max);
	angle = angle * 180 / CV_PI;
	//cout << "angel : " << angle << endl;
	//测试angle 72度
	//cout << sin((30 * CV_PI)/180) << endl;

	Point2f dstTri[3];
	//max 就是 index 对应的最长的直线长度*
	dstTri[0] = Point2f(l[0], l[1]);
	dstTri[1] = Point2f(l[0]+max,l[1] );
	//求出三角形转平之后的角的坐标

	dstTri[2] = Point2f(l[0]+cos((angle*CV_PI)/180)*d2,l[1]+sin((angle * CV_PI)/180)*d2);
	Mat warp_mat = getAffineTransform(srcTri, dstTri); // 获得反射变换矩阵

	warpAffine(image, dst, warp_mat, dst.size());
	

	return dst;

}

.h 

#pragma once
#include<opencv2/opencv.hpp>
#include<iostream>


using namespace cv;
using namespace std;


class imgprocess
{
public:
	Mat Correct(Mat& image);//位置矫正前的图像预处理
};

主函数

#include<opencv2/opencv.hpp>
#include<iostream>
#include "imgprocess.h"

using namespace cv;
using namespace std;

imgprocess imgP;//类的声明

int main(int argc, char* argv[])
{
	//load pics
	
	string imgPath = "E:\\研究生\\数字图像处理\\c++\\字符识别\\Project1\\char1.png";
	Mat srcImg = imread(imgPath);//RGB,JPG,PNG,TIFF格式

	if (srcImg.empty()) {
		cout << "can't load pic" << endl;
		exit(-1);
	}
	//show pics
	std::string winName = "char1";//std:: 标准命名空间
	namedWindow(winName, WINDOW_AUTOSIZE);
	imshow(winName, srcImg);
	namedWindow("correct image", WINDOW_AUTOSIZE);
	Mat img;
	img = imgP.Correct(srcImg);
	imshow("correct image", img);

	waitKey(0);//wait function

	return 0;
}