DATA SCIENTISTS, DATA ENGINEERS, SOFTWARE ENGINEERS?

자료과학자? 자료공학자? 소프트웨어공학자?

사람들은 항상 새로운  단어를 만드는 것을 좋아한다.

LinkedIn이 조사(?)한 바에 따르면, 사람들은 위 단어를 아래와 같이 구분지어 생각한다고 한다 (여기서는 본질적으로 정말 그렇든 아니든에 대해서는 생각하지 말자)


Software Engineer는 좀 더 programming language를 다루는 기술이좋거나, 개발에 중점을 두는 걸로 보이고,

Data Engineer는 자료를 다루는 다양한 기술을 소지한 것으로 보인다.

마지막으로 Data Scientist는 자료 분석능력을 가진 사람으로 생각하는 경향이 있는 듯 하다.

물론 LinkedIn의 조사에 참여한 사람들의 의견에 의하면 말이다.

댓글

댓글 쓰기

이 블로그의 인기 게시물

RapidMiner 가 AutoML 서비스를 상용으로 공개하다

이미지
Machine Learning은 현재 다양한 분야에서 폭넓게 사용되고 있다. 다만, 항상 ML 전문가의 경험과 지식에 의존한다는 한계점, 즉 ML 을 잘 모르는 사람이 진입하기에는 장벽이 높다는 단점이 있다. 이런 단점을 극복하기 위해 AutoML (Automated Machine Learning)이 최근들어 활발히 연구되고 있다. AutoML은 전문가 지식없이, 일반인도 쉽게 ML을 적용할 수 있게 해주는 도구다. RapidMiner는 Data Mining 도구로, GUI를 통해 손쉽게 자료분석을 도와주는 소프트웨어 패키지로, 이 분야에서는 꽤나 유명하다.  RapidMiner느느 매우 다양한 기능을 제공하는데, 최근 AutoML도 (상용으로) 제공하기 시작했다. 기업은, 역시, 돈이 될 만한 기술들은 금방 알아채고 적용한다. 원본 소개 페이지는:  https://rapidminer.com/products/studio/#auto-model YouTube 동영상은:  https://www.youtube.com/watch?v=nmRYrTeIBao
자세한 내용 보기

StarCraft II 와 Reinforcement Learning (강화학습)

이미지
Google이 AlphaGo로 바둑계를 재패한 후, 다음 과제로 StarCraft 를 선택할 것이라는 예측은 꾸준히 있어왔다. 그 연구의 일환으로 강화학습을 이용한 SC II 플레이가 처음 공개되었다. https://www.youtube.com/watch?v=St5lxIxYGkI 영상에서 보이듯이 아직은 초보적인 수준이다. 자원을 캐고 기본건물들을 올리는 수준. 아직 복잡한 전투나 전략에 대한 모습은 보여주고 있지 않다. 원본문서는: https://deepmind.com/research/publications/starcraft-ii-new-challenge-reinforcement-learning/ 논문은: https://arxiv.org/abs/1708.04782
자세한 내용 보기

Machine Learning Model Stacking (기계학습 모델쌓기)

이미지
Kaggle. ML에 관심있는 사람은 이미 많이 들어봤을  사이트.  (Kaggle에 대해서는 나중에 따로 소개할 기회가 있을 듯?) 다양한 자료셋을 바탕으로 전세계의 사용자들이 최적의 모델을  만들기 위해 경쟁하는 장이다. 이 Kaggle에서  최적모델을 만드는 방법 중 많이 쓰이는  방법이 이 Model Stacking이다. 이론적으로는 매우 간단한데 아래와  같다. 1) 주어진 자료셋을 이용, 다양한 ML 모델을 학습한다. 2) 학습된 모델을  자료셋에 적용하여 예측값을 얻어낸다. 3) 새로운  모델 (예: Logistic Regression, etc.)을 이용, 자료셋  + 예측값을 포함하는 자료로 새로운 모델을 학습한다. 4) #3에서 학습된 모델이 Stacked Model 이다. 이 방법은  이미 여러 실험과  검증을 통해서, 단일모델보다 성능이 좋은 것으로 밝혀졌다. ML에 관심있는 사람이라면 한번 쯤은 시도해볼만한 방법이다. 원본 문서는:  http://blog.kaggle.com/2016/12/27/a-kagglers-guide-to-model-stacking-in-practice/
자세한 내용 보기