forked from LTU-RAI/ROS_Unreal-AirSim
-
Notifications
You must be signed in to change notification settings - Fork 0
/
work.txt
258 lines (163 loc) · 9.83 KB
/
work.txt
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
##########################################################################
# Week 27 - Tuesday 04/07/2023 #
##########################################################################
#### Useful Links ####
https://docs.unrealengine.com/4.26/en-US/Basics/RecommendedSpecifications/
https://leartesstudios.com/blog/10-tips-for-improving-performance-in-unreal-engine
## Installation of Unreal Engine (UE) 4.27
* https://github.com/EpicGames/UnrealEngine
* https://docs.unrealengine.com/4.27/en-US/SharingAndReleasing/Linux/BeginnerLinuxDeveloper/SettingUpAnUnrealWorkflow/
## Installation of ethz-asl AirSim and ROS unreal_airsim
* https://github.com/ethz-asl/airsim
* https://github.com/ethz-asl/unreal_airsim
##########################################################################
# Week 27 - Thursday 06/07/2023 #
##########################################################################
#### Useful Links ####
https://docs.unrealengine.com/4.27/en-US/SharingAndReleasing/Containers/ContainersQuickStart/
## UE Docker Images deployment and testing on Windows
##########################################################################
# Week 27 - Friday 06/07/2023 #
##########################################################################
#### Useful Links ####
https://www.microsoft.com/en-us/ai/autonomous-systems-project-airsim
https://github.com/Microsoft/AirSim/blob/main/docs/image_apis.md#segmentation
https://en.wikipedia.org/wiki/Scene_graph
## Setup student@monsterpc
## Read Research Papers
* airsim-high-fidelity-visual-and-physical-simulation-for-autonomous-vehicles.pdf
* image-generation-from-scene-graphs.pdf
* micro-air-vehicle-link-in-a-nutshell-a-survey.pdf
##########################################################################
# Week 28 - Monday 10/07/2023 #
##########################################################################
## Setup student@monsterpc
## Read AirSim and unreal_airsim documentation
* https://github.com/ethz-asl/unreal_airsim/blob/master/docs/settings.md
* https://github.com/ethz-asl/unreal_airsim/blob/master/docs/coordinate_systems.md
* https://github.com/microsoft/AirSim/blob/main/docs/faq.md
* https://github.com/microsoft/AirSim/blob/main/docs/apis.md
* https://github.com/microsoft/AirSim/blob/main/docs/image_apis.md
* https://github.com/microsoft/AirSim/blob/main/docs/settings.md
##########################################################################
# Week 28 - Tuesday 11/07/2023 #
##########################################################################
#### Useful Links ####
https://forums.unrealengine.com/t/how-to-solve-engine-modules-are-out-of-date/564119
## Investigate ROS Wrapper AirSim
https://github.com/microsoft/AirSim/blob/main/docs/airsim_ros_pkgs.md
https://github.com/microsoft/AirSim/blob/main/docs/airsim_tutorial_pkgs.md
## Run Python AirSim examples and obtain segmentation images
##########################################################################
# Week 28 - Wednesday 12/07/2023 #
##########################################################################
## Define AirSim Vehicle Settings
## Investigate AirSim Vehicle API
## Activate and test Computer Vision mode
## Client code for Vehicle Position and Segmentation Images obtention
##########################################################################
# Week 28 - Thursday 13/07/2023 #
##########################################################################
#### Useful Links ####
https://www.ros.org/reps/rep-0103.html
## Create and publish custom ROS message with Airsim topics from multirotor
## Visualize Airsim topics in rviz
## Investigate unreal_airsim settings.yaml to settings.json configuration
##########################################################################
# Week 28 - Friday 14/07/2023 #
##########################################################################
## Visualize unreal_airsim topics in rviz
## Investigate AirSim Vehicle API
## Obtain mesh colors from segmentation image
##########################################################################
# Week 29 - Monday 17/07/2023 #
##########################################################################
#### Useful Links ####
https://github.com/microsoft/AirSim/issues/3423
https://github.com/microsoft/AirSim/pull/2855
## Investigate voxblox image depth generation
* https://github.com/ethz-asl/voxblox
* https://github.com/ethz-asl/voxgraph
## Obtain mesh color IDs and publish them as a ROS topic
##########################################################################
# Week 29 - Tuesday 18/07/2023 #
##########################################################################
#### Useful Links ####
https://github.com/microsoft/AirSim/blob/main/docs/InfraredCamera.md
## Investigate unreal_airsim pointcloud depth generation
* http://docs.ros.org/en/melodic/api/sensor_msgs/html/msg/PointCloud2.html
* http://docs.ros.org/en/jade/api/sensor_msgs/html/classsensor__msgs_1_1PointCloud2Modifier.html
* http://docs.ros.org/en/jade/api/sensor_msgs/html/classsensor__msgs_1_1PointCloud2Iterator.html
##########################################################################
# Week 29 - Wednesday 19/07/2023 #
##########################################################################
## Apply Infrared Corrections to PointCloud
## Create new Blocks Environment
## Investigate Depth Planar Reference Frame
* https://github.com/unrealcv/unrealcv/issues/14
* https://gist.github.com/edz-o/84d63fec2fc2d70721e775337c07e9c9#file-depth_conversion-py
* https://github.com/microsoft/AirSim/issues/1198
##########################################################################
# Week 29 - Thursday 20/07/2023 #
##########################################################################
## Investigate ROS packages for RGB Point Cloud Generation
* http://wiki.ros.org/depth_image_proc
* http://wiki.ros.org/nodelet/Tutorials/Running%20a%20nodelet
## Investigate AirSim implementation for RGB Point Cloud Generation
* https://github.com/microsoft/AirSim/blob/main/PythonClient/multirotor/point_cloud.py
* https://docs.opencv.org/3.4/d9/d0c/group__calib3d.html
##########################################################################
# Week 29 - Friday 21/07/2023 #
##########################################################################
## Investigate ROS packages for RGB Point Cloud Generation
## Investigate Camera Intrinsics and Projection Matrix
##########################################################################
# Week 30 - Monday 24/07/2023 #
##########################################################################
## Solve Mesh Segmentation PointCloud Generation
##########################################################################
# Week 30 - Tuesday 25/07/2023 #
##########################################################################
#### Useful Links ####
https://github.com/matterport/habitat-matterport-3dresearch
https://www.youtube.com/watch?v=gFrWvuzvhAo
## Obtain Matterport dataset and transform GLB File to FBX
## Update README.md
##########################################################################
# Week 30 - Wednesday 26/07/2023 #
##########################################################################
#### Useful Links ####
https://www.youtube.com/watch?v=HIzDW4FlC-U
https://docs.unrealengine.com/4.27/en-US/RenderingAndGraphics/Materials/HowTo/EmissiveGlow/
## Create Unreal Project with Matterport Meshes of Scene and Segmentation
## Solve lightning on unlit simulation
##########################################################################
# Week 30 - Thursday 27/07/2023 #
##########################################################################
#### Useful Links ####
https://matterport.com/blog/announcing-matterport3d-research-dataset
https://niessner.github.io/Matterport/
https://github.com/niessner/Matterport
https://aspis.cmpt.sfu.ca/scene-toolkit/scans/matterport3d/houses
# Solve Depth PointCloud dilated generation
# Publish drone pose and move around Matterport Environment
# Analyze Matterport statistics information
##########################################################################
# Week 30 - Friday 28/07/2023 #
##########################################################################
# Publish drone pose and move around Blocks Environment
# Compute and publish relative ROS distance between meshes and drone
# Update README.md
##########################################################################
# Week 31 - Monday 31/07/2023 #
##########################################################################
# Record rosbag file
# Visualize scatter plot of mesh with vehicle locations
##########################################################################
# Week 31 - Tuesday 01/08/2023 #
##########################################################################
# Make video with segmentation and mesh position topics
##########################################################################
# Week 31 - Thursday 03/08/2023 #
##########################################################################
# Update README.md