Isaac Lab 튜토리얼
이 포스팅은 ‘Isaac Lab‘에 대한 내용을 담고 있습니다.
자료 출처: https://isaac-sim.github.io/IsaacLab/main/source/tutorials/index.html
Isaac Lab Tutorial
Isaac Lab 공식 사이트에 튜토리얼이 친절하게 설명되어 있는데, 소개된 단계를 따라 밟아가면서 Isaac Lab에 대한 이해를 얻어보겠습니다.
빈 장면 만들기
import argparse
from isaaclab.app import AppLauncher
# create argparser
parser = argparse.ArgumentParser(description="Tutorial on creating an empty stage.")
# append AppLauncher cli args
AppLauncher.add_app_launcher_args(parser)
# parse the arguments
args_cli = parser.parse_args()
# launch omniverse app
app_launcher = AppLauncher(args_cli)
simulation_app = app_launcher.app
먼저 시뮬레이션을 실행시킵니다. Isaac Sim의 다양한 모듈들은 시뮬레이션이 실행된 상태에서 사용될 수 있기 때문에 먼저 시뮬레이션을 실행시키기 위한 코드를 작성합니다. 위 블록이 실행되면 시뮬레이션 앱이 실행됩니다.
from isaaclab.sim import SimulationCfg, SimulationContext
시뮬레이션이 실행되면, isaaclab.sim 에서 필요한 도구들을 가져올 수 있습니다. 그러면 이제 이 친구들을 사용해 main()에서 본격적인 장면을 구성해 보겠습니다.
def main():
"""Main function."""
# Initialize the simulation context
sim_cfg = SimulationCfg(dt=0.01)
sim = SimulationContext(sim_cfg)
# Set main camera
sim.set_camera_view([2.5, 2.5, 2.5], [0.0, 0.0, 0.0])
# Play the simulator
sim.reset()
# Now we are ready!
print("[INFO]: Setup complete...")
# Simulate physics
while simulation_app.is_running():
# perform step
sim.step()
SimulationCfg에서는 중력, 시간 간격, 디바이스 등등의 시뮬레이션의 기본 설정들을 결정하게 됩니다. 모든 인자들은 default값이 정해져 있기 때문에, 따로 인자를 넣어주지 않아도 괜찮습니다.
if __name__ == "__main__":
# run the main function
main()
# close sim app
simulation_app.close()
마지막으로 시뮬레이션 앱을 종료시키는 것 까지가 Isaac Lab의 기본적인 코드 구성입니다.
장면에 프림 넣기
이제 Isaac Lab에서 다양한 객체들, 프림을 장면에 넣는 방법에 대해서 살펴봅니다.
def main():
"""Main function."""
# Initialize the simulation context
sim_cfg = sim_utils.SimulationCfg(dt=0.01, device=args_cli.device)
sim = sim_utils.SimulationContext(sim_cfg)
# Set main camera
sim.set_camera_view([2.0, 0.0, 2.5], [-0.5, 0.0, 0.5])
# Design scene by adding assets to it
design_scene()
# Play the simulator
sim.reset()
# Now we are ready!
print("[INFO]: Setup complete...")
# Simulate physics
while simulation_app.is_running():
# perform step
sim.step()
장면에 프림들을 넣는 경우에 위와 같이 sim.reset() 이전에 design_scene() 이라고 다양한 프림들을 선언해주는 함수를 코드에 적어줍니다.
def design_scene():
"""Designs the scene by spawning ground plane, light, objects and meshes from usd files."""
# Ground-plane
cfg_ground = sim_utils.GroundPlaneCfg()
cfg_ground.func("/World/defaultGroundPlane", cfg_ground)
# spawn distant light
cfg_light_distant = sim_utils.DistantLightCfg(
intensity=3000.0,
color=(0.75, 0.75, 0.75),
)
cfg_light_distant.func("/World/lightDistant", cfg_light_distant, translation=(1, 0, 10))
# create a new xform prim for all objects to be spawned under
prim_utils.create_prim("/World/Objects", "Xform")
# spawn a red cone
cfg_cone = sim_utils.ConeCfg(
radius=0.15,
height=0.5,
visual_material=sim_utils.PreviewSurfaceCfg(diffuse_color=(1.0, 0.0, 0.0)),
)
cfg_cone.func("/World/Objects/Cone1", cfg_cone, translation=(-1.0, 1.0, 1.0))
cfg_cone.func("/World/Objects/Cone2", cfg_cone, translation=(-1.0, -1.0, 1.0))
# spawn a green cone with colliders and rigid body
cfg_cone_rigid = sim_utils.ConeCfg(
radius=0.15,
height=0.5,
rigid_props=sim_utils.RigidBodyPropertiesCfg(),
mass_props=sim_utils.MassPropertiesCfg(mass=1.0),
collision_props=sim_utils.CollisionPropertiesCfg(),
visual_material=sim_utils.PreviewSurfaceCfg(diffuse_color=(0.0, 1.0, 0.0)),
)
cfg_cone_rigid.func(
"/World/Objects/ConeRigid", cfg_cone_rigid, translation=(-0.2, 0.0, 2.0), orientation=(0.5, 0.0, 0.5, 0.0)
)
# spawn a blue cuboid with deformable body
cfg_cuboid_deformable = sim_utils.MeshCuboidCfg(
size=(0.2, 0.5, 0.2),
deformable_props=sim_utils.DeformableBodyPropertiesCfg(),
visual_material=sim_utils.PreviewSurfaceCfg(diffuse_color=(0.0, 0.0, 1.0)),
physics_material=sim_utils.DeformableBodyMaterialCfg(),
)
cfg_cuboid_deformable.func("/World/Objects/CuboidDeformable", cfg_cuboid_deformable, translation=(0.15, 0.0, 2.0))
# spawn a usd file of a table into the scene
cfg = sim_utils.UsdFileCfg(usd_path=f"{ISAAC_NUCLEUS_DIR}/Props/Mounts/SeattleLabTable/table_instanceable.usd")
cfg.func("/World/Objects/Table", cfg, translation=(0.0, 0.0, 1.05))
위 코드를 통해 아래와 같은 장면을 구성할 수 있습니다. 각 프림들이 어떻게 정의되는지 하나하나 살펴보겠습니다.
.png)
# Ground-plane
cfg_ground = sim_utils.GroundPlaneCfg()
cfg_ground.func("/World/defaultGroundPlane", cfg_ground)
기본적으로는 sim_utils 하위에 있는 클래스의 객체를 선언한 다음, .func() 메서드를 통해 프림을 장면에 위치시킵니다. .func() 메서드의 첫 번째 인자로는 해당 프림의 이름을 넣어줍니다. 위는 GroundPlane을 설정하는 코드이고, 그 아래에 광원을 설정하는 코드도 비슷한 형태로 쓰여있음을 확인할 수 있습니다.
# create a new xform prim for all objects to be spawned under
prim_utils.create_prim("/World/Objects", "Xform")
프림의 이름이 주소처럼 정해지는 것을 확인할 수 있는데, 실제로 Isaac Sim을 실행시켜보면 우리가 선언한 프림들이 디렉터리 구조로 관리되는 것을 확인할 수 있습니다. 왜냐하면 예를 들어, 위의 상황처럼 책상 위에 여러 프림들을 놓는 상황에서 책상과 함께 물체들을 그룹으로 관리해야 나중에 이 친구들을 한꺼번에 옮기거나 하는 변환을 수행하기에 용이합니다. 따라서, 프림들은 대부분의 경우에 그룹으로 묶여 관리됩니다.
위 코드에서 생성하는 프림이 바로 장면에 생성할 물체들을 한 번에 관리하기 위한 Xform 타입의 프림입니다. "/World/Objects"이라는 이름으로 선언되었는데, 이 디렉터리 하위에 선언되는 프림들은 모두 Xform 타입을 가지게 되고 하나의 그룹으로 관리됩니다.
# spawn a red cone
cfg_cone = sim_utils.ConeCfg(
radius=0.15,
height=0.5,
visual_material=sim_utils.PreviewSurfaceCfg(diffuse_color=(1.0, 0.0, 0.0)),
)
cfg_cone.func("/World/Objects/Cone1", cfg_cone, translation=(-1.0, 1.0, 1.0))
cfg_cone.func("/World/Objects/Cone2", cfg_cone, translation=(-1.0, -1.0, 1.0))
위는 빨간 원뿔을 생성하는 코드입니다. "/World/Objects" 하부에 선언되어 그룹으로 함께 관리됩니다. 바로 아래에서 생성하는 초록색 원뿔의 경우, 공중에 떠 있는 빨간색 원뿔과 달리 객체를 선언할 때 질량과 충돌 특성 등을 설정하기 때문에 마치 일반적인 물체와 같이 중력의 영향을 받아 책상으로 떨어지고, 책상과 상호작용해 충돌하는 것도 확인할 수 있습니다.
# spawn a usd file of a table into the scene
cfg = sim_utils.UsdFileCfg(usd_path=f"{ISAAC_NUCLEUS_DIR}/Props/Mounts/SeattleLabTable/table_instanceable.usd")
cfg.func("/World/Objects/Table", cfg, translation=(0.0, 0.0, 1.05))
위는 다른 USD, URDF 등등의 파일을 통해 객체를 선언하고 프림을 생성하는 코드입니다. 프림을 장면에 생성하는 부분은 동일한데, 객체를 선언할 때에 파일 형식에 맞는 메서드를 사용해야합니다.
Argparser를 사용해 인자 받기
파일을 터미널에서 실행시킬 때, parser를 사용해 scene에 생성할 프림이나 다른 설정들을 바꿀 수 있습니다.
parser = argparse.ArgumentParser(description="Tutorial on running IsaacSim via the AppLauncher.")
parser.add_argument("--size", type=float, default=1.0, help="Side-length of cuboid")
위와 같이 add_argument 메서드를 통해 parser가 받을 인자의 종류를 늘릴 수 있습니다. 그리고 받은 인자를 통해 아래와 같이 프림의 크기를 조절할 수 있습니다.
# spawn a cuboid
cfg_cuboid = sim_utils.CuboidCfg(
size=[args_cli.size] * 3,
visual_material=sim_utils.PreviewSurfaceCfg(diffuse_color=(1.0, 1.0, 1.0)),
)
위와 같이 design_scene() 내부에 선언되는 프림의 크기를 정할 때 parser의 인자를 사용하면, 파일 실행시 넣어준 인자에 따라 장면을 조절할 수 있게 됩니다.
.png)
위는 LIVESTREAM=2 ./isaaclab.sh -p scripts/tutorials/00_sim/launch_app.py --size 10 으로 파일을 실행시킨 결과입니다. 원래 1으로 설정된 정육면체의 크기가 넣어준 인자에 맞춰 커진 것을 확인할 수 있습니다.
Rigid object와의 상호작용
위 링크의 코드를 실행시켜보면, 장면이 짧은 시간 간격을 두고 4개의 초록색 원뿔이 약간의 무작위성이 더해진 위치에서 리셋됩니다. 그리고 리셋되기까지 일정한 시간 간격을 두고 총 4번의 시작 위치 정보를 가져옵니다. 어떻게 무작위성이 더해진 상태로 물체를 초기화시킬 수 있는지, 그리고 장면에 있는 프림들의 정보를 어떻게 가져오는지 아래에서 살펴봅니다.
def design_scene():
"""Designs the scene."""
# Ground-plane
cfg = sim_utils.GroundPlaneCfg()
cfg.func("/World/defaultGroundPlane", cfg)
# Lights
cfg = sim_utils.DomeLightCfg(intensity=2000.0, color=(0.8, 0.8, 0.8))
cfg.func("/World/Light", cfg)
# Create separate groups called "Origin1", "Origin2", "Origin3"
# Each group will have a robot in it
origins = [[0.25, 0.25, 0.0], [-0.25, 0.25, 0.0], [0.25, -0.25, 0.0], [-0.25, -0.25, 0.0]]
for i, origin in enumerate(origins):
prim_utils.create_prim(f"/World/Origin{i}", "Xform", translation=origin)
# Rigid Object
cone_cfg = RigidObjectCfg(
prim_path="/World/Origin.*/Cone",
spawn=sim_utils.ConeCfg(
radius=0.1,
height=0.2,
rigid_props=sim_utils.RigidBodyPropertiesCfg(),
mass_props=sim_utils.MassPropertiesCfg(mass=1.0),
collision_props=sim_utils.CollisionPropertiesCfg(),
visual_material=sim_utils.PreviewSurfaceCfg(diffuse_color=(0.0, 1.0, 0.0), metallic=0.2),
),
init_state=RigidObjectCfg.InitialStateCfg(),
)
cone_object = RigidObject(cfg=cone_cfg)
# return the scene information
scene_entities = {"cone": cone_object}
return scene_entities, origins
RigidObjectCfg라고 새롭게 보이는 함수가 있는데요, sim_utils 의 함수들과 다르게 이 친구는 특성과 생성을 동시에 수행합니다. 특히 prim_path에서 정규 표현식을 사용해 여러 Xform에 동시에 물체를 생성할 수 있습니다. 이후 cone_object = RigidObject(cfg=cone_cfg) 를 사용해 이 원뿔 물체들에 접근할 수 있는 핸들을 만들어 둡니다.
다음으로 이 원뿔 객체를 “cone”이라는 키로 접근할 수 있는 디렉터리에 담아 함수의 출력으로 반환합니다.
def run_simulator(sim: sim_utils.SimulationContext, entities: dict[str, RigidObject], origins: torch.Tensor):
"""Runs the simulation loop."""
# Extract scene entities
# note: we only do this here for readability. In general, it is better to access the entities directly from
# the dictionary. This dictionary is replaced by the InteractiveScene class in the next tutorial.
cone_object = entities["cone"]
# Define simulation stepping
sim_dt = sim.get_physics_dt()
sim_time = 0.0
count = 0
# Simulate physics
while simulation_app.is_running():
# reset
if count % 250 == 0:
# reset counters
sim_time = 0.0
count = 0
# reset root state
root_state = cone_object.data.default_root_state.clone()
# sample a random position on a cylinder around the origins
root_state[:, :3] += origins
root_state[:, :3] += math_utils.sample_cylinder(
radius=0.1, h_range=(0.25, 0.5), size=cone_object.num_instances, device=cone_object.device
)
# write root state to simulation
cone_object.write_root_pose_to_sim(root_state[:, :7])
cone_object.write_root_velocity_to_sim(root_state[:, 7:])
# reset buffers
cone_object.reset()
print("----------------------------------------")
print("[INFO]: Resetting object state...")
# apply sim data
cone_object.write_data_to_sim()
# perform step
sim.step()
# update sim-time
sim_time += sim_dt
count += 1
# update buffers
cone_object.update(sim_dt)
# print the root position
if count % 50 == 0:
print(f"Root position (in world): {cone_object.data.root_state_w[:, :3]}")
main()에서 design_scene()의 출력값을 받아 위의 run_simulator() 가 돌아갑니다. 먼저 디렉터리에서 “cone”을 value(RigidObject 클래스)값을 cone_object에 저장합니다. RigidObject 클래스의 객체들은 클래스 변수로 초기 위치, 방위, 속도를 의미하는 .data.default_root_state를 갖습니다. 원래는 13차원 벡터인데 4개의 원뿔 객체를 생성했기 때문에 4 by 13 행렬의 형태로 저장되어 있습니다. 초기화를 할 때 이 값을 복사해 새로운 변수, root_state에 저장합니다. 이 변수에 각 원뿔별로 생성하고자 하는 origin을 더해주고, 실린더형 랜덤 샘플링한 값을 추가로 더해줘 약간 랜덤성이 추가된 초기화를 수행토록 합니다.
# write root state to simulation
cone_object.write_root_pose_to_sim(root_state[:, :7])
cone_object.write_root_velocity_to_sim(root_state[:, 7:])
# reset buffers
cone_object.reset()
root_state를 사용해 원뿔 물체의 초기화 지점을 저장해주고 리셋합니다. 실행 결과는 아래와 같습니다.
.png)
관절 상호작용
단순한 3차원 CartPole 예시를 통해 관절을 사용하는 방법에 대해서 알아봅니다.
def design_scene() -> tuple[dict, list[list[float]]]:
"""Designs the scene."""
# Ground-plane
cfg = sim_utils.GroundPlaneCfg()
cfg.func("/World/defaultGroundPlane", cfg)
# Lights
cfg = sim_utils.DomeLightCfg(intensity=3000.0, color=(0.75, 0.75, 0.75))
cfg.func("/World/Light", cfg)
# Create separate groups called "Origin1", "Origin2"
# Each group will have a robot in it
origins = [[0.0, 0.0, 0.0], [-1.0, 0.0, 0.0]]
# Origin 1
prim_utils.create_prim("/World/Origin1", "Xform", translation=origins[0])
# Origin 2
prim_utils.create_prim("/World/Origin2", "Xform", translation=origins[1])
# Articulation
cartpole_cfg = CARTPOLE_CFG.copy()
cartpole_cfg.prim_path = "/World/Origin.*/Robot"
cartpole = Articulation(cfg=cartpole_cfg)
# return the scene information
scene_entities = {"cartpole": cartpole}
return scene_entities, origins
평면과 조명을 설정하는 부분은 동일합니다. 여기 코드에서는 CartPole을 2개를 만들기 때문에 각각을 위한 Xform을 만들어주고 origin은 다르게 설정합니다. 로봇 객체를 선언하는 부분도 이전의 원뿔 객체를 선언할 때와 비슷한 형식을 가집니다. CARTPOLE_CEG를 통해 만든 각 프림을 Aritulcation을 사용해 run_simulator에서 핸들로 사용합니다.
def run_simulator(sim: sim_utils.SimulationContext, entities: dict[str, Articulation], origins: torch.Tensor):
"""Runs the simulation loop."""
# Extract scene entities
# note: we only do this here for readability. In general, it is better to access the entities directly from
# the dictionary. This dictionary is replaced by the InteractiveScene class in the next tutorial.
robot = entities["cartpole"]
# Define simulation stepping
sim_dt = sim.get_physics_dt()
count = 0
# Simulation loop
while simulation_app.is_running():
# Reset
if count % 500 == 0:
# reset counter
count = 0
# reset the scene entities
# root state
# we offset the root state by the origin since the states are written in simulation world frame
# if this is not done, then the robots will be spawned at the (0, 0, 0) of the simulation world
root_state = robot.data.default_root_state.clone()
root_state[:, :3] += origins
robot.write_root_pose_to_sim(root_state[:, :7])
robot.write_root_velocity_to_sim(root_state[:, 7:])
# set joint positions with some noise
joint_pos, joint_vel = robot.data.default_joint_pos.clone(), robot.data.default_joint_vel.clone()
joint_pos += torch.rand_like(joint_pos) * 0.1
robot.write_joint_state_to_sim(joint_pos, joint_vel)
# clear internal buffers
robot.reset()
print("[INFO]: Resetting robot state...")
# Apply random action
# -- generate random joint efforts
efforts = torch.randn_like(robot.data.joint_pos) * 5.0
# -- apply action to the robot
robot.set_joint_effort_target(efforts)
# -- write data to sim
robot.write_data_to_sim()
# Perform step
sim.step()
# Increment counter
count += 1
# Update buffers
robot.update(sim_dt)
CartPole를 초기화할 때, 몸체의 위치는 그대로 두고 관절의 위치에만 조금의 랜덤성을 추가합니다. 그리고 각 스텝마다 관절에 가하는 힘을 랜덤으로 결정합니다(슬라이딩, 회전 관절). 실행 결과는 아래와 같습니다.
.png)
댓글남기기