mongodb 용 ETL tool 검토 (mysql to mongodb)

sig03
2 min readMar 17, 2020

--

회사 솔루션에 mongodb 를 적용해 보려고 테스트를 하고 있다. 솔루션은 mysql을 사용중인데 이 데이터를 mongodb에 이관해 서비스하려고 한다. 여러 ETL tool을 검토해 봤는데 결론부터 얘기하자면 입에 꼭 맞는 적절한 툴은 찾지 못했다.

# 원했던 모습

  1. mysql 데이터를 다이렉트로 mongodb에 이관해 파일을 남기지 않을 것
  2. 사용과 관련한 레퍼런스가 많을 것
  3. 메모리는 적게 사용할 것
  4. 속도는 빠를 것
  5. 서버 설치형(on-premise)
  6. 배치 서비스로 동작할 것
  7. 사용이 어렵지 않을 것

# 검색결과

클라우드 서비스이거나 레퍼런스가 적거나 설치가 어렵거나 등등

# 검토결과

# 최종결론

mongosyphon 과 csv 를 떨궈서 mongoimport로 넣는 두 가지 방법을 병행하는걸로 결론 지었다. mongosyphon 은 1인 개발자가 유지보수하고 있어 문제가 있지만 어쨌건 원하던 모습과 가장 부합한다. 혹여 mongosyphon에 문제가 생긴다면 mongoimport를 사용하면 된다. 두 가지 방법을 다 적용해서 옵션값으로 스위칭 할 수 있게 하면 될 것이다.

--

--

sig03
sig03

No responses yet