Python：如何創建和可視化點云
1、簡介
點云應用無處不在:機器人、自動駕駛汽車、輔助系統、醫療保健等。點云是一種適合處理現實世界數據的3D表示，特別是在需要場景/對象的幾何形狀時，如對象的距離、形狀和大小。
點云是一組點，代表現實世界中的場景或空間中的對象。它是幾何對象和場景的離散表示。換句話說，點云PCD是n個點的集合，其中每個點Pi用其3D坐標表示:
注意，還可以添加一些其他特征來描述點云，如RGB顏色、法線等。例如，可以添加RGB顏色來提供顏色信息。
2、點云生成
點云通常使用3D掃描儀(激光掃描儀、飛行時間掃描儀和結構光掃描儀)或計算機輔助設計(CAD)模型生成。在本教程中，我們將首先創建隨機點云并將其可視化。然后，我們將使用Open3D庫從3D表面采樣點，從3D模型生成它。最后，我們將看到如何從RGB-D數據創建它們。
讓我們從導入Python庫開始:
import numpy as np
import matplotlib.pyplot as plt
import open3d as o3d
2.1 隨機點云
最簡單的方法是隨機創建一個點云。注意，我們通常不會創建要處理的隨機點，除非為GAN(生成對抗網絡)創建噪聲。
通常，點云由(n×3)數組表示，其中n是點的數量。讓我們用5個隨機點創建一個點云:
number_points = 5
pcd = np.random.rand(number_points, 3) # uniform distribution over [0, 1)
print(pcd)
我們可以直接打印這些點，但效率不高，特別是在大多數應用中，如果點的數量很大的話。更好的方法是將它們顯示在3D空間中。讓我們用Matplotlib庫來可視化它:
# Create Figure:
fig, ax = plt.subplots(subplot_kw={"projection": "3d"})
ax.scatter3D(pcd[:, 0], pcd[:, 1], pcd[:, 2])
# label the axes
ax.set_xlabel("X")
ax.set_ylabel("Y")
ax.set_zlabel("Z")
ax.set_title("Random Point Cloud")
# display:
plt.show()
隨機點云可視化
2.2 采樣點云
直接處理3D模型需要時間。因此，從它們的三維表面采樣點云是一個潛在的解決方案。讓我們首先從Open3D數據集中導入兔子模型:
bunny = o3d.data.BunnyMesh()
mesh = o3d.io.read_triangle_mesh(bunny.path)
或者以如下方式導入：
mesh = o3d.io.read_triangle_mesh("data/bunny.ply")
接下來，顯示 3D 模型以查看其外觀。您可以移動鼠標從不同的視點進行查看。
# Visualize:
mesh.compute_vertex_normals() # compute normals for vertices or faces
o3d.visualization.draw_geometries([mesh])
兔子3D模型
要對點云進行采樣，有幾種方法。在此示例中，我們從導入的網格中均勻地采樣 1000 個點并將其可視化：
# Sample 1000 points:
pcd = mesh.sample_points_uniformly(number_of_points=1000)
# visualize:
o3d.visualization.draw_geometries([pcd])
兔子點云
我們可以將創建的點云保存為 .ply 格式，如下所示：
# Save into ply file:
o3d.io.write_point_cloud("output/bunny_pcd.ply", pcd)
2.3 來自 RGB-D 數據的點云
RGB-D 數據是使用RGB-D傳感器（例如 Microsoft Kinect）收集的，該傳感器同時提供 RGB 圖像和深度圖像。RGB-D傳感器被廣泛應用于室內導航、避障等領域。由于RGB圖像提供像素顏色，所以深度圖像的每個像素表示其與相機的距離。
Open3D 為 RGB-D 圖像處理提供了一組函數。要使用 Open3D 函數從 RGB-D 數據創建點云，只需導入兩個圖像，創建一個 RGB-D 圖像對象，最后計算點云如下：
# read the color and the depth image:
color_raw = o3d.io.read_image("../data/rgb.jpg")
depth_raw = o3d.io.read_image("../data/depth.png")
# create an rgbd image object:
rgbd_image = o3d.geometry.RGBDImage.create_from_color_and_depth(
color_raw, depth_raw, convert_rgb_to_intensity=False)
# use the rgbd image to create point cloud:
pcd = o3d.geometry.PointCloud.create_from_rgbd_image(
rgbd_image,
o3d.camera.PinholeCameraIntrinsic(
o3d.camera.PinholeCameraIntrinsicParameters.PrimeSenseDefault))
# visualize:
o3d.visualization.draw_geometries([pcd])
從 RGB-D 圖像生成的彩色點云
3、Open3D和NumPy
有時您需要在Open3D和NumPy之間切換。例如，假設我們想要將NumPy點云轉換為Open3D.PointCloud對象進行可視化，并使用Matplotlib可視化兔子的3D模型。
3.1 從NumPy到Open3D
在本例中，我們使用NumPy.random.rand()函數創建2000個隨機點，該函數從[0,1]的均勻分布中創建隨機樣本。然后我們創建一個Open3D.PointCloud對象，并使用Open3D.utility.Vector3dVector()函數將其Open3D.PointCloud.points特征設置為隨機點。
# Create numpy pointcloud:
number_points = 2000
pcd_np = np.random.rand(number_points, 3)
# Convert to Open3D.PointCLoud:
pcd_o3d = o3d.geometry.PointCloud() # create point cloud object
pcd_o3d.points = o3d.utility.Vector3dVector(pcd_np) # set pcd_np as the point cloud points
# Visualize:
o3d.visualization.draw_geometries([pcd_o3d])
隨機點云的 Open3D 可視化
3.2 從 Open3D到NumPy
這里，我們首先使用Open3D.io.read_point_cloud()函數從.ply文件中讀取點云，該函數返回一個Open3D.PointCloud對象。現在我們只需要使用NumPy.asarray()函數將表示點的Open3D.PointCloud.points特征轉換為NumPy數組。最后，我們像上面那樣顯示獲得的數組。
# Read the bunny point cloud file:
pcd_o3d = o3d.io.read_point_cloud("../data/bunny_pcd.ply")
# Convert the open3d object to numpy:
pcd_np = np.asarray(pcd_o3d.points)
# Display using matplotlib:
fig, ax = plt.subplots(subplot_kw={"projection": "3d"})
ax.scatter3D(pcd_np[:, 0], pcd_np[:, 2], pcd_np[:, 1])
# label the axes
ax.set_xlabel("X")
ax.set_ylabel("Y")
ax.set_zlabel("Z")
ax.set_title("Bunny Point Cloud")
# display:
plt.show()
使用 Matplotlib 顯示的兔子點云
4、最后
在本教程中，我們學習了如何創建和可視化點云。在接下來的教程中，我們將學習如何處理它們。
