(23-08-11) chatGPT에게 내 일을 물었다 #2 "내가 데이터 엔지니어가 어울릴까? 데이터 엔지니어가 되려면 공부 방법은?"

chatGPT에게 내 일을 물었다 #2

나는 아래와 같은 일을 하고 있어, 내가 데이터 엔지니어를 하면 잘 맞을지 궁금해.
그리고 데이터 엔지니어가 되려면 나는 지금 어떤 공부를 어떻게 하는 게 좋을지 구체적으로 조언 부탁해.
- 지금 하는 일 : 로그 데이터 기획, 로그 데이터 품질 관리, 데이터 플랫폼 기획, 데이터 플랫폼 정책 수립

 

당신이 현재 하고 있는 일은 데이터 엔지니어 역할과 밀접하게 관련이 있으며, 데이터 엔지니어로의 전환에 매우 유리한 경험을 가지고 있습니다. 각 작업이 데이터 엔지니어 역할과 어떻게 연결되는지 설명하고, 필요한 스킬을 기르기 위한 구체적인 학습 방법을 제안해 드릴게요.

1. 현재 하고 있는 일과 데이터 엔지니어 역할의 연결점

• 로그 데이터 기획: 로그 데이터를 기획하는 것은 어떤 데이터를 수집하고 어떻게 저장할지를 결정하는 단계입니다. 데이터 엔지니어는 이와 관련된 데이터 파이프라인을 설계하고 구현하는 역할을 합니다.
• 로그 데이터 품질 관리: 데이터 품질을 관리하는 것은 데이터 엔지니어가 데이터의 일관성과 정확성을 유지하기 위해 수행해야 하는 중요한 작업입니다. 이 경험은 데이터 클렌징 및 검증 작업에 매우 유리합니다.
• 데이터 플랫폼 기획: 데이터 플랫폼을 기획하는 것은 시스템 설계를 이해하고, 데이터를 어떻게 처리할지에 대한 아키텍처를 구성하는 것입니다. 데이터 엔지니어는 이 플랫폼을 구축하고 운영하게 됩니다.
• 데이터 플랫폼 정책 수립: 정책 수립은 데이터 접근 권한, 데이터 보안, 데이터 관리 정책 등을 포함합니다. 데이터 엔지니어는 이러한 정책을 준수하면서 시스템을 구축하고 운영해야 합니다.

2. 데이터 엔지니어가 되기 위해 필요한 스킬

데이터 엔지니어가 되기 위해서는 다음과 같은 기술과 지식이 필요합니다.

• 프로그래밍 언어: Python, Java, Scala 같은 언어에 익숙해져야 합니다. Python은 데이터 처리와 관련된 여러 라이브러리가 풍부하여 많이 사용됩니다.
• 데이터베이스: SQL을 잘 다룰 수 있어야 합니다. 데이터베이스 설계, 관리, 최적화에 대한 이해가 필요합니다. 또한 NoSQL 데이터베이스 (예: MongoDB, Cassandra)도 배워두면 좋습니다.
• ETL(Extract, Transform, Load) 프로세스: 데이터를 추출, 변환, 로드하는 방법에 대한 이해가 필요합니다. 이를 위해 Apache Airflow, Talend 같은 ETL 도구를 학습하는 것이 좋습니다.
• 데이터 파이프라인: Apache Kafka, Apache Spark, Hadoop 같은 빅데이터 처리 도구에 대한 이해가 필요합니다. 데이터 파이프라인을 설계하고 구축하는 능력을 길러야 합니다.
• 클라우드 플랫폼: AWS, GCP, Azure와 같은 클라우드 환경에서 데이터 서비스를 구축하는 능력이 요구됩니다. 클라우드 기반 데이터 웨어하우스 (예: AWS Redshift, Google BigQuery)를 사용하는 경험도 쌓는 것이 좋습니다.
• 데이터 모델링: 데이터를 효율적으로 저장하고 처리하기 위한 데이터 모델링 기법을 익혀야 합니다.

3. 공부 방법

• 온라인 코스: Coursera, Udemy, edX 등에서 데이터 엔지니어링 관련 코스를 수강하세요. 예를 들어 "Google Cloud Certified Professional Data Engineer" 과정이나 "Data Engineering on Google Cloud" 코스를 추천드립니다.
• 실습 프로젝트: 실제 데이터를 사용하여 ETL 파이프라인을 설계하고 구축해보세요. GitHub에 프로젝트를 올려 포트폴리오로 활용할 수 있습니다.
• 오픈소스 프로젝트 기여: Apache Spark, Apache Kafka 같은 오픈소스 프로젝트에 기여하면서 실무 경험을 쌓을 수 있습니다.
• 스터디 그룹: 데이터 엔지니어링 스터디 그룹에 참여하거나 스터디 모임을 만들어 함께 학습하는 것도 큰 도움이 됩니다.

현재의 경험을 바탕으로 위의 기술들을 습득하면 데이터 엔지니어로 성공적인 커리어 전환을 할 수 있을 것입니다. 학습과 실습을 통해 기술을 강화하고, 프로젝트 경험을 쌓으면서 자신의 능력을 입증하세요.

---

데이터 엔지니어링을 한국어로 공부하고 싶어. 한국어로 공부할 수 있는 방법을 추천해줄래? 그리고 한국 기반의 데이터 엔지니어링 스터디, 커뮤니티를 알려줘

---

데이터 엔지니어링을 한국어로 공부하려는 의지를 존중하며, 한국어로 학습할 수 있는 방법과 관련된 스터디 및 커뮤니티를 추천해드릴게요.

1. 한국어로 데이터 엔지니어링 학습 방법

• 온라인 강의 플랫폼:
  • 패스트캠퍼스: 데이터 엔지니어링 관련 강의를 제공합니다. "데이터 엔지니어링 올인원 패키지" 등 다양한 실습 위주의 강의를 통해 체계적으로 학습할 수 있습니다.
  • 인프런: 다양한 데이터 엔지니어링 강의를 한국어로 제공합니다. 특히, SQL, Python, Hadoop, Spark 등의 기초부터 심화까지 다루는 강의가 많습니다.
  • 유데미(Udemy): 한국어 자막을 지원하는 데이터 엔지니어링 강의가 다수 있습니다. "SQL 기초부터 고급까지", "데이터 파이프라인 구축" 등 실습 중심의 강의를 추천합니다.
• 국내 서적:
  • 데이터 엔지니어링 책: "데이터 엔지니어링 파이프라인 구축"이나 "빅데이터 플랫폼" 등 데이터 엔지니어링과 관련된 서적을 통해 학습할 수 있습니다. 이 책들은 데이터 파이프라인 구축, Hadoop, Spark, Kafka 등을 다루며 실습 예제가 포함되어 있습니다.
  • SQL 관련 책: "SQL 첫걸음", "SQL로 배우는 데이터베이스" 등 SQL에 대한 깊이 있는 이해를 도울 수 있는 서적이 많이 나와 있습니다.
• 블로그 및 YouTube:
  • 개발자 블로그: 네이버 블로그나 브런치 같은 플랫폼에서 '데이터 엔지니어링', '빅데이터' 등 키워드를 검색하면 다양한 학습 자료와 실습 예제를 찾을 수 있습니다.
  • YouTube: 국내 데이터 엔지니어들이 운영하는 채널에서 데이터 파이프라인 구축, 클라우드 서비스 활용 등 다양한 주제를 다룹니다. "코드잇", "노마드 코더" 같은 채널에서 유용한 강의를 찾을 수 있습니다.

2. 한국 기반 데이터 엔지니어링 스터디 및 커뮤니티

• NAVER D2 (네이버 개발자 커뮤니티):
  • 네이버에서 운영하는 개발자 커뮤니티로, 데이터 엔지니어링 관련 세미나, 워크숍, 컨퍼런스 등의 정보가 공유됩니다. 네이버 D2에서는 최신 기술 트렌드와 실무 경험을 나눌 수 있는 기회를 제공합니다.
• Kakao Tech (카카오 개발자 블로그):
  • 카카오에서 운영하는 개발자 커뮤니티입니다. 데이터 엔지니어링 관련 기술 블로그와 실무 사례를 공유하며, 세미나나 커뮤니티 모임에 대한 정보도 제공됩니다.
• Facebook 그룹 및 온라인 커뮤니티:
  • "데이터 엔지니어링 스터디": 페이스북에서 '데이터 엔지니어링'을 검색하면 관련 스터디 모임이나 커뮤니티를 찾을 수 있습니다. 특히, "데이터야 놀자" 같은 그룹에서 다양한 정보와 네트워킹 기회를 제공합니다.
  • "프로그래머스": 프로그래머스를 통해 데이터 엔지니어링 스터디 그룹을 찾거나 직접 만들 수도 있습니다. 프로그래머스에서는 다양한 기술 스터디와 커뮤니티가 활발하게 운영되고 있습니다.
• OKKY:
  • OKKY는 한국의 개발자 커뮤니티로, 데이터 엔지니어링 관련 포럼과 Q&A, 스터디 모집 게시판이 있습니다. 특히, 빅데이터 및 클라우드 관련 스터디 그룹이 자주 모집됩니다.
• 개발자 카페 (모각코, 벙개):
  • 오프라인에서 진행되는 개발자 카페 모임에 참여할 수 있습니다. '모각코(모여서 각자 코딩)'나 벙개 모임 등을 통해 데이터 엔지니어링에 관심 있는 사람들과 교류할 수 있습니다.

이러한 자료와 커뮤니티를 통해 한국어로 데이터 엔지니어링을 공부하고, 관련된 실무 경험과 네트워킹을 쌓아갈 수 있을 것입니다. 꾸준히 학습하며 다양한 프로젝트에 참여해보세요.