목록Bigdata (1)

삽질전문

Apache Flink

1) Apache Flink스트리밍-우선 엔진: 배치는 “유한한 스트림”으로 본다는 철학. 같은 API/런타임으로 실시간과 배치를 처리.Stateful Stream Processing: 윈도우 집계, 조인, CEP 등에서 거대한 상태를 디스크(RocksDB 등)에 유지하며 처리.정확성: 체크포인트/세이브포인트 기반의 Exactly-Once 상태 일관성 + 대부분의 싱크에서 EOS를 달성(예: Kafka 트랜잭션, Iceberg/Hudi 커밋 등).시간 의미론: Event Time + Watermark 로 지연(lateness) 데이터까지 통제.2) 런타임 아키텍처JobManager (JM): 작업 제출/스케줄링/체크포인트 조정/장애 복구 총괄. HA 구성 가능(ZK/K8s 등으로 리더선출).TaskMan..
Bigdata/Flink 2025. 8. 2. 00:54
이전 Prev 1 Next 다음