Data

Kubernetes๋ฅผ ์ด์šฉํ•œ ํšจ์œจ์ ์ธ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง(Airflow on Kubernetes VS Airflow Kubernetes Executor) – 2

์•ˆ๋…•ํ•˜์„ธ์š”. LINE Financial Data Platform์„ ์šด์˜ํ•˜๊ณ  ๊ฐœ๋ฐœํ•˜๊ณ  ์žˆ๋Š” ์ด์›…๊ทœ์ž…๋‹ˆ๋‹ค. ์ด ๊ธ€์€ ์ง€๋‚œ NAVER DEVIEW 2020์—์„œ ๋ฐœํ‘œํ–ˆ๋˜ Kubernetes๋ฅผ ์ด์šฉํ•œ ํšจ์œจ์ ์ธ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง (Airflow on Kubernetes VS Airflow Kubernetes Executor) ์„ธ์…˜์—์„œ ๋ฐœํ‘œ ํ˜•์‹ ๋ฐ ์‹œ๊ฐ„ ๊ด€๊ณ„์ƒ ์„ค๋ช…ํ•˜๊ธฐ ํž˜๋“ค์—ˆ๋˜ ๋ถ€๋ถ„์„ ์กฐ๊ธˆ ๋” ์ž์„ธํ•˜๊ฒŒ ์„ค๋ช…ํ•˜๊ณ ์ž ์ž‘์„ฑํ•œ ๋‘ ๋ฒˆ์งธ ๊ธ€์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ์ผ๋ฐ˜์ ์ธ Kubernetes Airflow ํ™˜๊ฒฝ๊ณผ ์ƒˆ๋กœ์šด ๋ฐฉ์‹์˜ ํŠน์ง• ๋ฐ ์žฅ๋‹จ์ ์„ ๋น„๊ตํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ฆฌ๊ณ  ์ƒˆ๋กœ์šด ๋ฐฉ์‹์ธ Kubernetes Executor์™€ KubernetesPodOperator๋ฅผ ์ ์šฉํ•ด ๋ฐ์ดํ„ฐ ํ”Œ๋žซํผ์„ ์–ด๋–ป๊ฒŒ ์šด์˜ํ•˜๊ณ  ๊ฐœ๋ฐœํ•˜๊ณ  ์žˆ๋Š”์ง€ ๋ง์”€๋“œ๋ฆฌ๊ณ , ์ด๋ฅผ ํ†ตํ•ด ๊ธฐ์กด๋ณด๋‹ค ํ™•์žฅ์„ฑ์„ ๋†’์˜€๋˜ ๊ฒฝํ—˜์„ ๊ณต์œ ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

Kubernetes๋ฅผ ์ด์šฉํ•œ ํšจ์œจ์ ์ธ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง(Airflow on Kubernetes VS Airflow Kubernetes Executor) – 1

์•ˆ๋…•ํ•˜์„ธ์š”. LINE Financial Data Platform์„ ์šด์˜ํ•˜๊ณ  ๊ฐœ๋ฐœํ•˜๊ณ  ์žˆ๋Š” ์ด์›…๊ทœ์ž…๋‹ˆ๋‹ค. ์ €๋Š” ์ง€๋‚œ NAVER DEVIEW 2020์—์„œ ๋ฐœํ‘œํ–ˆ๋˜ Kubernetes๋ฅผ ์ด์šฉํ•œ ํšจ์œจ์ ์ธ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง (Airflow on Kubernetes VS Airflow Kubernetes Executor) ์„ธ์…˜์—์„œ ๋ฐœํ‘œ ํ˜•์‹ ๋ฐ ์‹œ๊ฐ„ ๊ด€๊ณ„์ƒ ์„ค๋ช…ํ•˜๊ธฐ ํž˜๋“ค์—ˆ๋˜ ๋ถ€๋ถ„์„ ๋ธ”๋กœ๊ทธ๋ฅผ ํ†ตํ•ด ์กฐ๊ธˆ ๋” ์ž์„ธํ•˜๊ฒŒ ์„ค๋ช…ํ•˜๊ณ ์ž ํ•ฉ๋‹ˆ๋‹ค.

์ €๋Š” ๋‘ ๋ฒˆ์— ๊ฑธ์ณ Kubernetes๋ฅผ ์ด์šฉํ•œ ํšจ์œจ์ ์ธ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง์— ๋Œ€ํ•ด ๊ณต์œ ํ•˜๋ ค๊ณ  ํ•˜๋Š”๋ฐ์š”. ๋จผ์ € ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” Apache Airflow๋ฅผ ๊ฐ„๋žตํ•˜๊ฒŒ ์†Œ๊ฐœํ•˜๊ณ  Executor์˜ ์ข…๋ฅ˜์™€ ๊ฐ ์ข…๋ฅ˜๋ณ„ ๋™์ž‘ ๋ฐฉ์‹์„ ์„ค๋ช…ํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

LINE ๋ฉ”์‹ ์ € ์•ฑ์˜ ๊ณต์œ  ๋ชจ๋“ˆ ํ†ตํ•ฉ ๊ฐœ๋ฐœ๊ธฐ – 2

์ง€๋‚œ 1ํŽธ์—์„œ ์ €ํฌ๊ฐ€ LINE iOS ๊ณต์œ  ๊ธฐ๋Šฅ ๋ชจ๋“ˆ์„ ๊ฐœ๋ฐœํ•˜๋ฉด์„œ ๊ฒช์—ˆ๋˜ ์–ด๋ ค์›€๊ณผ ์ด๋ฅผ ํ•ด๊ฒฐํ•ด๋‚˜๊ฐ„ ๋ฐฉ๋ฒ•์„ ์•„๋ž˜ ์—ฌ์„ฏ ๊ฐ€์ง€๋กœ ๋‚˜๋ˆˆ ๋’ค ๊ทธ์ค‘ ์•ž์„  ๋‘ ๊ฐ€์ง€๋ฅผ ๋จผ์ € ๋ง์”€๋“œ๋ ธ๋Š”๋ฐ์š”.

์ด๋ฒˆ ๊ธ€์—์„œ ๋‚˜๋จธ์ง€ ๋„ค ๊ฐ€์ง€๋ฅผ ๋ง์”€๋“œ๋ฆฌ๋ฉฐ ๊ณต์œ  ๋ชจ๋“ˆ์„ ์‚ฌ์šฉํ•˜๋Š” LINE ๋‚ด ์—ฌ๋Ÿฌย ์„œ๋น„์Šค์˜ ๋‹ค์–‘ํ•œ ์š”๊ตฌ ์‚ฌํ•ญ์„ ๋งŒ์กฑํ•˜๋ฉด์„œ ์œ ์ง€ ๋ณด์ˆ˜๊ฐ€ ํŽธํ•˜๊ณ  ํ™•์žฅ ๊ฐ€๋Šฅํ•œ ๊ตฌ์กฐ๋กœ ๊ตฌํ˜„ํ•˜๊ธฐ ์œ„ํ•ด ์ €ํฌ๊ฐ€ ์–ด๋–ค ๊ณ ๋ฏผ์„ ํ–ˆ๋Š”์ง€ ์ด์•ผ๊ธฐํ•˜๊ฒ ์Šต๋‹ˆ๋‹ค.

LINE ๋ฉ”์‹ ์ € ์•ฑ์˜ ๊ณต์œ  ๋ชจ๋“ˆ ํ†ตํ•ฉ ๊ฐœ๋ฐœ๊ธฐ – 1

์•ˆ๋…•ํ•˜์„ธ์š”. LINE iOS ํด๋ผ์ด์–ธํŠธ ๊ฐœ๋ฐœ์„ ๋‹ด๋‹นํ•˜๊ณ  ์žˆ๋Š” ์กฐํ˜„์ง€, ์ด๊ฑดํ™์ž…๋‹ˆ๋‹ค. ์ด๋ฒˆ ๊ธ€์—์„  LINE iOS ๊ณต์œ  ๊ธฐ๋Šฅ ๋ชจ๋“ˆ์„ ๊ฐœ๋ฐœํ•˜๋ฉด์„œ ๊ฒช์—ˆ๋˜ ์–ด๋ ค์›€๊ณผ ์ด๋ฅผ ํ•ด๊ฒฐํ•ด๋‚˜๊ฐ„ ๋ฐฉ๋ฒ•์— ๋Œ€ํ•ด์„œ ์ด์•ผ๊ธฐํ•˜๋ ค๊ณ  ํ•ฉ๋‹ˆ๋‹ค.