SLAM: 센서퓨전과 필터·그래프 최적화 백엔드로 보는 위치추정

로봇이나 드론이 GPS 신호 없이도 자기 위치를 알고 목적지까지 움직이려면, 위치추정과 지도작성을 동시에 풀어야 한다. 이 문제를 SLAM(Simultaneous Localization and Mapping)이라 부른다. 거리 센서와 비전 센서를 어떻게 섞고, 상태 추정을 필터로 할지 그래프 최적화로 할지가 이 시스템의 성능을 가른다.

포즈와 지도를 동시에 추정한다는 것

SLAM은 로봇의 포즈(위치·자세)와 환경 지도(맵)를 동시에 추정하는 문제다. 입력은 다양한 센서 데이터이고, 출력은 시점별 포즈 추정과 누적 지도다. 수학적으로는 상태공간 x_t(포즈)와 지도 m에 대해 관측 z_t, 제어 u_t를 사용해 p(x_t, m | z_1:t, u_1:t)의 최대우도 추정을 수행하는 문제로 정식화되며, 필터 기반(EKF/UKF/Particle) 또는 그래프 최적화 기반(Factor Graph) 접근이 대표적이다. 운영 관점에서는 프런트엔드(특징 추출·스캔 정합·관측 모델링)와 백엔드(비용함수 구성·루프 클로저·최적화)로 나눠 모듈화 설계한다.

프런트엔드에서 백엔드까지, 무엇이 필요한가

센서 프런트엔드는 비전 특징 추출(ORB/SIFT/SURF)·디스크립터 매칭 또는 포인트클라우드 스캔 정합(ICP/NDT)을 수행하며, 시간동기·왜곡보정·노이즈필터링 같은 전처리로 관측 품질을 확보한다.

상태추정 백엔드는 두 갈래다. 필터 기반은 EKF/UKF/Particle Filter로 실시간성과 메모리 예측 가능성을 확보하고 관측-예측 융합으로 점진적 추정을 수행한다. 그래프 최적화 기반은 g2o/Ceres/ISAM2 등으로 전역 최적화를 수행해 정확도와 글로벌 일관성이 우수하지만 계산량이 늘어난다.

데이터 연관·루프 클로저는 특징점·랜드마크의 연관성을 판단해 관측-지도 매칭을 수행하고, 루프 클로저 검출로 누적 드리프트를 보정한다. 오검출을 억제하려면 유사도 임계와 지오메트리 검증이 함께 필요하다.

지도 표현은 2D 점유격자, 3D Voxel/OctoMap, TSDF/ESDF, 특징 기반 랜드마크 맵, 의미론적 지도 중에서 과업(경로계획/충돌회피/조작) 목적에 맞춰 다계층으로 병행 운용하는 편이 낫다.

좌표계·캘리브레이션·동기는 다중 센서의 외·내부 파라미터 캘리브레이션, IMU-카메라/LiDAR-카메라 정렬이 필수이며, 하드웨어 타임스탬프 기반 동기와 지연 보정으로 일관성을 확보해야 한다.

거리 센서와 비전 센서, 무엇을 섞을 것인가

라이다(LIDAR)·레이저 스캐너는 고정밀 거리·반사 강도를 제공하고 실내·야간·저조도에 강인하지만, 비용·전력·중량 부담이 있고 비·안개·입자성 매질에 영향을 받는다. 레이더(RADAR)는 장거리·악천후에 강인하고 속도(Doppler) 정보로 동적 물체 추적에 유리하지만, 각해상도가 제한적이라 정밀 맵 구축을 단독으로 맡기엔 부족하다. 적외선 스캐너·초음파 센서는 근거리 장애물 감지와 안전 범퍼 용도로 저비용·간단 통합이 강점이지만 노이즈·반사체 의존도가 커서 SLAM 핵심 센서로 단독 사용하기는 어렵다.

모노카메라는 저비용·경량·광범용이지만 스케일 모호성이 있어 IMU/VIO와 결합을 권장하며 조도 변화·모션 블러에 민감하다. 스테레오카메라는 기하 기반 깊이 추정이 가능해 실내 중거리 정밀 추정에 유리하지만 베이스라인·캘리브레이션 품질에 성능이 좌우된다. 전방향카메라는 넓은 FoV로 루프 클로저·비주얼 재인식을 강화하지만 왜곡 보정과 연산량 증가를 감수해야 한다. Kinect(RGB-D) 등 깊이 카메라는 텍스처 빈약 환경에서 강점을 보이고 실내·근거리 정밀 맵에 유리하지만 야외 태양광과 범위 제한이 걸림돌이다.

센서	성능(정확도/해상도)	확장성(거리/환경)	일관성(드리프트/복원력)	안정성(조도/기상)	운영 편의(비용/전력)
LIDAR	매우 높음	중~장거리, 실내/야간 우수	드리프트 낮음, 루프 없이도 안정	조도 영향 적음, 비·안개 영향	비용·전력 높음
스테레오 카메라	높음	중거리, 텍스처 의존	드리프트 중간, 루프 필요	조도 민감	비용·전력 중간
모노 카메라	중간	중거리, 스케일 모호성	드리프트 높음, IMU 결합 권장	조도·블러 민감	비용 낮음·전력 낮음
RADAR	중간	장거리, 악천후 강인	드리프트 낮음(속도 이용)	기상 강인	비용 중간·전력 중간
초음파	낮음	근거리	드리프트 개념 약함	환경 반사체 영향	비용 아주 낮음
RGB-D(Kinect)	높음(근거리)	근거리·실내 중심	드리프트 낮음	태양광에 취약	비용 낮음·전력 중간
전방향카메라	중간	광범위 FoV	루프 검출 강화	조도 민감	비용 중간

입력에서 지도까지, 어디서 끊기는가

⤢✕

센서 드롭아웃이 발생하면 IMU 기반 단기 예측으로 넘어가고, 루프 오검출은 기하 검증으로 폐기하며, 관측 품질이 떨어지면 재초기화를 수행한다.

도메인마다 다른 답이 나온다

자율주행 로봇(AMR/AGV)은 창고·제조 라인에서 2D LiDAR-SLAM으로 점유격자 맵을 만들고 경로계획을 수행하는데, 실시간 제한 50~100ms 사이클을 유지하면서 안전 영역은 초음파/범퍼로 이중화한다. 드론·UAV 내비게이션은 VIO(Vision+IMU) 또는 LiDAR-Inertial SLAM으로 GPS-denied 환경을 비행하고, 루프 클로저로 드리프트를 억제하며 고도 추정은 바리메터·레이저고도계로 보조한다. 디지털 트윈·시설 스캔은 3D LiDAR/RGB-D로 BIM·수치지형 모델을 갱신하고 TSDF 통합으로 고밀도 표면을 재구성한 뒤 메시 최적화를 자동화한다. AR/VR Inside-out 추적은 모노/스테레오 SLAM으로 헤드셋 위치·자세를 추정하며 저지연 프런트엔드와 소규모 로컬맵 유지로 지연을 최소화한다. 농업·건설 현장 로보틱스는 RADAR+LiDAR 융합으로 분진·우천 환경에서도 강인한 내비게이션을 확보하고 의미론적 지도로 작업영역과 장애물을 구분한다.

정확도와 지연은 이렇게 갈린다

실내 LiDAR-SLAM은 25cm, VIO는 520cm 수준의 위치 정확도를 낸다(환경·속도 의존). 루프 클로저를 적용하면 경로 드리프트를 주행거리 기준 0.5% 미만으로 낮출 수 있고, 임베디드 SoC에서는 해상도·알고리즘에 따라 20~50ms 프레임 예산으로 처리 지연을 관리할 수 있다. 이 수치를 얻는 대가로 GPS 의존도를 줄이고 안정적인 내비게이션을 확립할 수 있으며, 축적된 공간 데이터는 경로 최적화·충돌 회피·자산 관리로 이어지고, 센서를 추가·교체해도 모듈형 파이프라인을 유지할 수 있다는 확장성을 얻는다.

설계에서 반복되는 선택들

센서퓨전 전략은 모노+IMU(VIO)로 저비용·경량을 달성하되 어두운 환경에서는 LiDAR 보조가 필요하고, RADAR를 더하면 악천후 강인성이 좋아지지만 각해상도 한계 때문에 비전과 결합하는 편이 낫다. 시간동기·캘리브레이션은 하드웨어 트리거·PPS·PTP로 μs~ms 수준 동기를 확보하고, 정기적으로 리프로젝션 에러를 모니터링해 캘리브레이션 드리프트를 감지해야 한다. 최적화 백엔드는 필터 기반이 저지연·메모리 예측 가능성을 주지만 전역 일관성에 한계가 있고, 그래프 기반은 정확도·루프 보정에 강하지만 계산량·메모리가 늘어난다. 루프 클로저 정책은 시각적 단서와 기하 검증을 이중 기준으로 삼고 임계를 상향해 오검출을 방지하되, 장소 인식 DB 용량과 갱신 정책을 관리해야 한다. 지도 운영은 로컬맵과 글로벌맵을 분리하고 점유+TSDF+세맨틱을 병행하며, 대규모 환경에서는 서브맵·분산 최적화로 확장한다.

도입은 이렇게 진행한다

요구사항 정의에서 정확도·지연·작업공간·비용 한계를 세운 뒤, 센서 선정 단계에서 거리·비전·IMU 조합을 설계하고 설치 위치·시야·진동을 고려한다. 데이터 수집에서는 대표 시나리오 로그를 모으고 시간동기를 검증하며, 알고리즘 선택에서는 필터 대 그래프 접근을 저울질하고 LOAM, LIO-SAM, ORB-SLAM2/3, VINS-Fusion 같은 오픈소스 스택을 평가한다. 파라미터 튜닝은 특징 임계·정합 윈도우·루프 스코어·아웃라이어 비율을 최적화하는 과정이고, 검증·평가는 KITTI/EVO/APE·RPE 지표와 센서 드롭·조도 변화 같은 복원력 테스트로 마무리한다. 배포·모니터링 단계에서는 리소스 사용률·재초기화 이벤트·루프 트리거율을 관측하고 OTA로 파라미터를 업데이트한다.

SLAM은 센서 전처리·연관·최적화·지도 구성을 하나의 파이프라인으로 엮는 시스템 엔지니어링 과제다. 운영 환경과 요구 정확도에 맞춘 센서퓨전과 백엔드 선택, 루프 클로저 정책 수립이 성능을 가르므로, 파일럿 단계에서 대표 시나리오 기반 정량 평가부터 시작해 모듈형 구조로 확장 가능한 스택을 갖추는 편이 안전하다.