grab_point_rs.h 7.5 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210
  1. #pragma once
  2. #include <pcl\point_types.h>
  3. #include <pcl\point_cloud.h>
  4. #include <pcl\segmentation\sac_segmentation.h>
  5. #include "data_def_api.h"
  6. #include "data_def.h"
  7. #include "logger.h"
  8. #include "imstorage_manager.h"
  9. namespace graft_cv {
  10. class CRootStockGrabPoint {
  11. public:
  12. CRootStockGrabPoint(ConfigParam&c, CGcvLogger*pLog = 0);
  13. ~CRootStockGrabPoint();
  14. int grab_point_detect(PositionInfo& posinfo);
  15. float* get_raw_point_cloud(int &data_size);
  16. int load_data(float*pPoint, int pixel_size, int pt_size, int dtype, const char* fn = 0);
  17. void set_image_saver(CImStoreManager** ppis) { m_ppImgSaver = ppis; }
  18. private:
  19. //global configure parameters
  20. ConfigParam& m_cparam;
  21. CGcvLogger * m_pLogger;
  22. int m_dtype;
  23. string m_pcdId;
  24. //用于记录第一排z均值,用来辅助判别1、2排的苗
  25. float m_1st_row_zmean_rs = -1.0;
  26. float m_1st_row_zmean_sc = -1.0;
  27. CImStoreManager** m_ppImgSaver;
  28. pcl::PointCloud<pcl::PointXYZ>::Ptr m_raw_cloud;
  29. double m_cloud_mean_dist;
  30. int read_ply_file(const char* fn);
  31. double compute_nearest_neighbor_distance(pcl::PointCloud<pcl::PointXYZ>::Ptr);
  32. /////////////////////////////////////////////////////////////////////////////////////
  33. //叶子剔除,通过欧式距离聚类,然后判断每一个类别是否是叶子
  34. // 出现的问题:叶子和茎通过叶柄连接时,会误判
  35. void leaf_filter(
  36. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud,
  37. std::vector<int> &stem_cloud_idx
  38. );
  39. //////////////////////////////////////////////////////////////////////////////////////
  40. //叶子剔除,通过形态学方法,腐蚀,得到叶子区域,将叶子区域内地的点云去掉
  41. void leaf_filter_morph(
  42. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud, //input 输入点云数据
  43. std::vector<int> &stem_cloud_idx //output, 过滤后的点云序号
  44. );
  45. //生成3d图像
  46. void gen_3d_image(
  47. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud, //input 输入点云数据
  48. pcl::PointXYZ& min_pt, //input 图像下限
  49. pcl::PointXYZ& max_pt, //input 图像上限
  50. float step, //input 图像像素间隔
  51. cv::Mat& bin_3d_img, //output, 生成的binary图像
  52. std::map<int, std::vector<int>>& id2pcdidx
  53. );
  54. //3*3*3内的膨胀
  55. void dilation_3d(
  56. cv::Mat& in_3d_img, //input, 输入图像
  57. cv::Mat& out_3d_img //output, 生成的图像
  58. );
  59. //3*3*3内的腐蚀
  60. void erosion_3d(
  61. cv::Mat& in_3d_img,
  62. int th, //阈值
  63. cv::Mat& out_3d_img
  64. );
  65. //得到点云序号
  66. void get_mass_obj_idx(
  67. cv::Mat& open_3d_img, //input, 开运算后的图像
  68. std::map<int, std::vector<int>>& id2pcdidx, //input 保存的像素位置的点云序号
  69. std::vector<int>& mass_idx //output,
  70. );
  71. //////////////////////////////////////////////////////////////////////////////////////
  72. //叶子剔除,通过形态学方法
  73. void leaf_filter_ror(
  74. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud, //input 输入点云数据
  75. std::vector<int> &stem_cloud_idx //output, 过滤后的点云序号
  76. );
  77. void cloud_mean_dist(
  78. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud, //input 输入点云数据
  79. double& mean_dist
  80. );
  81. //////////////////////////////////////////////////////////////////////////////////////
  82. void CRootStockGrabPoint::find_fork(
  83. pcl::PointCloud<pcl::PointXYZ>::Ptr in_line_cloud,
  84. float& max_dist,//最大距离
  85. int& max_idx //距离边界最大的点序号
  86. );
  87. void gen_all_seedling_positions(
  88. pcl::PointXYZ&key_center, //输入,已知的苗的坐标
  89. std::vector<pcl::PointXYZ>&candidate_center //输出,有倾斜苗的坐标
  90. );
  91. bool find_seedling_position_key(
  92. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud,
  93. std::vector<int> &first_seedling_cloud_idx,
  94. pcl::PointXYZ&xz_center,
  95. pcl::ModelCoefficients::Ptr& lmodel
  96. );
  97. // 邻域最小抑制
  98. void nms_box(
  99. std::vector<pcl::PointXYZ>&clt_root_v, //目标点的可能位置
  100. std::vector<float>&valid_box_cc_dist, //目标点的重心到中心的距离,距离越近越好
  101. float hole_step_radius, //目标点搜索半径
  102. std::vector<pcl::PointXYZ>& target_toot // 返回值
  103. );
  104. //通过指定位置内,取部分点云分析是否存在真正的茎,真茎位置保存到target_filtered
  105. void line_filter(pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud, //输入点云
  106. float radius, //输入,取点半径
  107. float ymin, //输入,y最小值
  108. float ymax, //输入,y最大值
  109. std::vector<pcl::PointXYZ>&target_root, //输入,位置
  110. std::vector<pcl::PointXYZ>&target_filtered, //输出,位置
  111. std::vector<pcl::PointXYZ>&target_filtered_root, //输出,茎上根部点坐标
  112. std::vector<std::vector<int>>&target_filtered_element, //输出,茎上点index
  113. std::vector<pcl::ModelCoefficients::Ptr>& target_filtered_models//输出,茎直线模型
  114. );
  115. void get_line_project_hist(
  116. pcl::PointCloud<pcl::PointXYZ>::Ptr in_line_cloud, //input 茎上直线点云
  117. pcl::ModelCoefficients::Ptr line_model, //input
  118. std::vector<int>& count_hist // 返回有效直线1mm内点云数量
  119. );
  120. /////////////////////////////////////////////////
  121. void find_seedling_position(
  122. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud,
  123. std::vector<int> &first_seedling_cloud_idx,
  124. pcl::PointXYZ&xz_center
  125. );
  126. void crop_nn_analysis(
  127. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud,
  128. pcl::PointCloud<pcl::PointXYZ>::Ptr seed_cloud,
  129. double dist_mean,
  130. std::vector<double>&mass_indices,
  131. std::vector<int>& idx
  132. );
  133. void euclidean_clustering_ttsas(
  134. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud,
  135. double d1, double d2,
  136. std::vector<pcl::PointXYZ>&cluster_center,
  137. std::vector<std::vector<int>> &clustr_member
  138. );
  139. void cal_obb_2d(
  140. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud,
  141. int axis,
  142. double &dx_obb,
  143. double &dy_obb,
  144. double &angle_obb);
  145. //已知检测出苗的位置,找出有可能有苗的位置
  146. void tilted_seedling_discover(
  147. std::vector<pcl::PointXYZ>&cluster_center, //输入,已知的苗的坐标
  148. std::vector<pcl::PointXYZ>&tilted_center //输出,有倾斜苗的坐标
  149. );
  150. //通过比较直线点云和原始点云相同位置邻域内xz的范围,确定此点是否是无干扰点的茎
  151. void get_optimal_seed_compare(
  152. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud, //input
  153. pcl::PointCloud<pcl::PointXYZ>::Ptr in_line_cloud, //input
  154. pcl::ModelCoefficients::Ptr line_model, //input
  155. pcl::PointXYZ&pt, //输出,
  156. pcl::PointXYZ &pt_ref, //输出, 返回点茎节的参考点
  157. std::vector<int>& valid_line_index //输出,
  158. );
  159. //在一株苗的空间范围内找出直线(茎,假设茎是直线分布的),并返回直线上的点index
  160. void find_line_in_cube(
  161. pcl::PointCloud<pcl::PointXYZ>::Ptr, //输入,整体点云
  162. pcl::PointXYZ& min_pt_ex, //输入,
  163. pcl::PointXYZ& max_pt_ex, //输入,
  164. std::vector<int>& out_idx //输出,直线上点的index, 基于输入整体点云
  165. );
  166. //生成结果图片
  167. void gen_result_img(
  168. pcl::PointCloud<pcl::PointXYZ>::Ptr in_cloud_raw,//输入,未经过滤的整体点云in_cloud_raw,
  169. pcl::PointCloud<pcl::PointXYZ>::Ptr, //输入,整体点云cloud_dowm_sampled,
  170. pcl::PointXYZ& selected_pt, //输入,selected_pt,
  171. pcl::PointXYZ& selected_pt_ref, //输入,selected_pt_ref,
  172. cv::Mat& rst_img //输出,图片, 640*1280
  173. );
  174. void viewer_cloud(pcl::PointCloud<pcl::PointXYZ>::Ptr, std::string&winname);
  175. void viewer_cloud(pcl::PointCloud<pcl::PointXYZRGB>::Ptr, std::string&winname);
  176. void viewer_cloud_debug(
  177. pcl::PointCloud<pcl::PointXYZRGB>::Ptr cloud,
  178. pcl::PointXYZ&p,//抓取点
  179. pcl::PointXYZ &p_ref,//分叉点
  180. pcl::PointXYZ &root_pt,
  181. std::string&winname);
  182. void viewer_cloud_cluster(pcl::PointCloud<pcl::PointXYZRGB>::Ptr cloud, std::vector<pcl::PointXYZ>cluster_center, std::string&winname);
  183. void viewer_cloud_cluster_box(
  184. pcl::PointCloud<pcl::PointXYZ>::Ptr cloud,
  185. std::vector<pcl::PointXYZ>&cluster_center,
  186. std::vector<pcl::PointXYZ>&cluster_box,
  187. std::vector<std::vector<int> >& clt_line_idx,
  188. std::string&winname);
  189. };
  190. };