SoniaComp

// ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๋ณ‘์•„๋ฆฌ ํƒˆ์ถœ๊ธฐ // 2โ€“(1) ํ•˜๋‘ก โ€” ๋จผ์ €โ€ฆ ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง ๊ธฐ์ดˆ ๋ฐ์ดํ„ฐ ํŒŒ์ดํ”„๋ผ์ธ์˜ ์ฃผ์š” 3 ์š”์†Œ๋Š”? ๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ ๋ฐฉ๋ฒ• ๋‘๊ฐ€์ง€๋Š”? ๋‘ ์งˆ๋ฌธ์— ๋Œ€๋‹ตํ•˜์ง€ ๋ชปํ•œ๋‹ค๋ฉด, ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง์— ๋Œ€ํ•œ ์ธ์‚ฌ์ดํŠธ ๊ฐ–๊ธฐ // ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๋ณ‘์•„๋ฆฌ ํƒˆ์ถœ๊ธฐ // ์ฒซ๋ฒˆ์งธsoniacomp.medium.com ๋ณธ๊ฒฉ์ ์œผ๋กœ Hadoop ์„ ์•Œ์•„๋ณด์ž!! 1. ๋ถ„์‚ฐ ์‹œ์Šคํ…œ 2. ํ•˜๋‘ก 3. HDFS 4. ๋งต ๋ฆฌ๋“€์Šค 5. ํ•˜๋‘ก ์—์ฝ” ์‹œ์Šคํ…œ ์ฐธ๊ณ  ์•„๋ž˜ ๋ธ”๋กœ๊ทธ ๊ธ€์„ ๋งŽ์ด ์ฐธ๊ณ  ํ–ˆ๋‹ค. ํ•˜๋‘ก(Hadoop) ๊ธฐ์ดˆ ์ •๋ฆฌ ํ•˜๋‘ก์— ๋Œ€ํ•ด ์•Œ์•„๋ณด๊ธฐ ์ „์— ํฐ ํ๋ฆ„์—์„œ์˜ ํ•˜๋‘ก์— ๋Œ€ํ•ด ์ดํ•ด๋ฅผ ํ•ด๋ณด์ž. ํ•˜๋‘ก์€ ๊ธฐ๋ณธ์ ์œผ๋กœ ๋น…๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ๊ณผ์ • ์†์—์„œ ์‚ฌ์šฉ๋˜์–ด์ง„๋‹ค. ๋น…๋ฐ์ดํ„ฐ๋ฅผ ์ฒ˜๋ฆฌํ•˜๋Š” ํ๋ฆ„์œผ๋กœ๋Š” ์šฐ์„  ๋ฐ์ดํ„ฐ๋ฅผ ์ˆ˜์ง‘ํ•œ ํ›„์—, ์ €์žฅํ•˜๊ณ  ์ฒ˜๋ฆฌํ•œ๋‹คโ€ฆhan-py.tistory.com

ํ•˜๋‘ก Hadoop(High-Availability Distributed Object-Oriented Platform) ๋ฟŒ์‹œ๊ธฐ
ํ•˜๋‘ก Hadoop(High-Availability Distributed Object-Oriented Platform) ๋ฟŒ์‹œ๊ธฐ

์ฟ ๋ฒ„๋„คํ‹ฐ์Šค(k8s) ๋ฟŒ์‹œ๊ธฐ ๐Ÿ‘Š [1/7] โ€” ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด๋ง์€ ๋ถ„์‚ฐ ํ™˜๊ฒฝ์—์„œ ์ด๋ฃจ์–ด์ง„๋‹ค. ๋ถ„์‚ฐ ์‹œ์Šคํ…œ์€ ์ปจํ…Œ์ด๋„ˆ ๊ธฐ๋ฐ˜์œผ๋กœ ์ด๋ฃจ์–ด์ง„๋‹ค. ์ปจํ…Œ์ด๋„ˆ ๊ด€๋ฆฌ์˜ ํ‘œ์ค€ ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค์— ๋Œ€ํ•ด ์•Œ์•„๋ณด์ž!! ๊ณต๋ถ€ํ•  ๊ฒŒ ๋„ˆ๋ฌด ๋งŽ์ง€๋งŒ.. ์ถ”์ฒœ ์ฑ… ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค ์ž…๋ฌธ - YES24 ์‹ค์Šต ์ค‘์‹ฌ์œผ๋กœ ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค๋ฅผ ํšจ์œจ์ ์œผ๋กœ ๋ฐฐ์šฐ๋Š” ๊ธธ์žก์ด ์ธํ”„๋ผ ๊ด€๋ จ ๊ธฐ์ˆ ์„ ๋ฐฐ์šฐ๋Š” ์ง€๋ฆ„๊ธธ์€ ์ธํ”„๋ผ๋ฅผ ์ง์ ‘ ๊ตฌ์ถ•ํ•ด๋ณด๊ณ , ์šด์šฉ ๊ด€๋ จ ์‹ค์Šต์„ ์ถฉ์‹คํžˆ ์ˆ˜ํ–‰ํ•˜๊ณ , ๋ฌธ์ œ๋ฅผ ๊ฒช์œผ๋ฉด์„œ ํ•ด๊ฒฐํ•˜๊ณ , ๋ฐฐ์šด ์ง€์‹์„ ๋‹ค๋ฅธ ์ƒํ™ฉ์— ์‘์šฉํ•ด๋ณด๋Š”โ€ฆwww.yes24.com ์ฟ ๋ฒ„๋„คํ‹ฐ์Šค ์ž…๋ฌธ์ž๋ผ๋ฉด ๋ฌด์กฐ๊ฑด ์ถ”์ฒœ!! ์ด ๊ธ€์€ ์œ„ ์ฑ…์„ ๋ณด๋ฉฐ ๊ณต๋ถ€ํ•œ ๊ฒฐ๊ณผ๋‹ค! ๋ฐ”์œ ๋ถ„๋“ค์„ ์œ„ํ•œ ๋‹ค์„ฏ ์ค„ ์š”์•ฝ ์ปจํ…Œ์ด๋„ˆ: ์‹คํ–‰์— ํ•„์š”ํ•œ ๋ชจ๋“  ํŒŒ์ผ์„ ํฌํ•จํ•˜์—ฌ ์ „์ฒด ๋Ÿฐํƒ€์ž„ ํ™˜๊ฒฝ์—์„œ โ€ฆ

์ฟ ๋ฒ„๋„คํ‹ฐ์Šค ์•„ํ‚คํ…์ฒ˜ (์ปจํ…Œ์ด๋„ˆ_Container, ํŒŒ๋“œ_Pod, ๋…ธ๋“œ_Node ๊ตฌ๋ถ„ํ•˜๊ธฐ)
์ฟ ๋ฒ„๋„คํ‹ฐ์Šค ์•„ํ‚คํ…์ฒ˜ (์ปจํ…Œ์ด๋„ˆ_Container, ํŒŒ๋“œ_Pod, ๋…ธ๋“œ_Node ๊ตฌ๋ถ„ํ•˜๊ธฐ)

// ๋ฐ์ดํ„ฐ ์—”์ง€๋‹ˆ์–ด ๋ณ‘์•„๋ฆฌ ํƒˆ์ถœ๊ธฐ // ๋Œ€ํ‘œ์ ์ธ ๋ฐ์ดํ„ฐ ํ”„๋ ˆ์ž„์›Œํฌ (2) โ€” ์ฐธ๊ณ  ์ŠคํŒŒํฌ ์™„๋ฒฝ ๊ฐ€์ด๋“œ - ๊ต๋ณด๋ฌธ๊ณ  ์ŠคํŒŒํฌ๋ฅผ ํ™œ์šฉํ•œ ๋น…๋ฐ์ดํ„ฐ ์ฒ˜๋ฆฌ์™€ ๋ถ„์„์˜ ๋ชจ๋“  ๊ฒƒ | ์ŠคํŒŒํฌ ํ™œ์šฉ๊ณผ ๋ฐฐํฌ, ์œ ์ง€ ๋ณด์ˆ˜๊นŒ์ง€ ์ „์ฒด์  ํ๋ฆ„์„ ํฌ๊ด„์ ์œผ๋กœ ์•ˆ๋‚ดํ•˜๋Š” ๋ฐ”์ด๋ธ”์ด ์ฑ…์€ ์‰ฝ๊ฒŒ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ๋Š” ์ŠคํŒŒํฌ ์˜ˆ์ œ์™€ ๋ชจ๋“  ์œ ํ˜•์˜ ๊ธฐ๋ณธ ์‚ฌ์šฉ ์‚ฌ๋ก€๋ฅผ ๋‹ค๋ฃจ๋Š”โ€ฆwww.kyobobook.co.kr ๊ณต์‹๋ฌธ์„œ Apache Spark PySpark Documentation ๋ชฉ์ฐจ ๋“ค์–ด๊ฐ€๋Š” ๋ง 1. ์•„ํŒŒ์น˜ ์ŠคํŒŒํฌ 1) Key Feature 2) ์žฅ์  3) ๋“ฑ์žฅ ๋ฐฐ๊ฒฝ 4) ์—ญ์‚ฌ 5) ๊ธฐ๋ณธ ์•„ํ‚คํ…์ฒ˜ 6) ๊ธฐ๋ณธ ๊ธฐ๋Šฅ (PySpark) 2. ๊ตฌ์กฐ์  API: DataFrame, Spark SQL, Dataset 3. ์ €์ˆ˜์ค€ API: RD โ€ฆ

Apache Spark: ๋ฐ์ดํ„ฐ ๋ณ‘๋ ฌ-๋ถ„์‚ฐ ์ฒ˜๋ฆฌ (1)
Apache Spark: ๋ฐ์ดํ„ฐ ๋ณ‘๋ ฌ-๋ถ„์‚ฐ ์ฒ˜๋ฆฌ (1)
SoniaComp

SoniaComp

Data Engineer interested in constructing Data-Driven Architecture with Cloud Service