지식저장(큐레이팅+내 생각)

ref) https://velog.io/@yje876/Hadoop-Eco-System-Spark-%EC%84%A4%EC%B9%98 https://bab-dev-study.tistory.com/23

ref) https://labs.brandi.co.kr//2021/01/20/hwangsg.html https://ldh-6019.tistory.com/146 https://dev.gmarket.com/72 https://blog.gangnamunni.com/post/docker-compose-for-local-env/ https://engineer-mole.tistory.com/221 https://zinirun.github.io/2020/08/15/how-to-use-docker/ https://velog.io/@corone_hi/Docker-%EB%8F%84%EC%BB%A4-%EC%8B%9C%EC%9E%91%ED%95%98%EA%B8%B0 https://velog.io/@koo8624/Docker-..

ref) 아래 블로그를 요약했습니다. https://aws-hyoh.tistory.com/134 https://aws-hyoh.tistory.com/147 목차 1. ALB 정의 Application Layer를 다루는 Load Balancer 이에 대비되는 L4 Switch : L7 Virtual Server 사용하는 LB TCP기반의 HTTP, HTTPS, WebSocket을 활용하는 LB HTTP의 Header, Request Method등을 이용해, Request를 적절한 대상 그룹으로 Routing(부하분산) 할 수 있다. 규칙에 우선순위를 두고 차례로 적용할 수 있다 뒤에 나올 ALB rule 설정 시 HTTP 특징 활용 라우팅 실시 이전에 3-way handshake로 커넥션 생성필요 HTT..

ref) https://velog.io/@clueless_coder/Airflow-엄청-자세한-튜토리얼-왕초심자용

ref) https://wikidocs.net/book/2350

ref) HIVE https://datacookbook.kr/88 https://kadensungbincho.tistory.com/65 HIVE USE https://learn.microsoft.com/ko-kr/azure/hdinsight/hadoop/hdinsight-use-hive HIVE QL https://excelsior-cjh.tistory.com/42 https://rfriend.tistory.com/214 Hive Apache Hadoop용 데이터 웨어하우스 시스템 Hive를 사용하면 데이터의 요약, 쿼리 및 분석을 수행할 수 있습니다. Hive 쿼리는 SQL과 유사한 쿼리 언어인 HiveQL로 작성합니다. Hive를 사용하면 크게 구조가 없는 데이터에 구조를 투영할 수 있습니다. 구조를..

ref) https://wikidocs.net/26513 목차 1. 아파치 스파크(apache spark) 2011년 버클리 대학의 AMPLab에서 개발, 2014년 5월 정식 출시 아파치 재단의 오픈소스 인메모리 기반의 대용량 데이터 고속 처리 엔진 범용 분산 클러스터 컴퓨팅 프레임워크 2. 특징 Speed : 인메모리(In-Memory) 기반의 빠른 처리 맵리듀스 작업처리에 비해 디스크는 10배, 메모리 작업은 100배 빠른 속도 맵리듀스는 작업의 중간 결과를 디스크에 쓰기 때문에 IO로 인하여 작업 속도에 제약이 생깁니다. 스파크는 메모리에 중간 결과를 메모리에 저장하여 반복 작업의 처리 효율이 높습니다. Ease of Use : 다양한 언어 지원(Java, Scala, Python, R, SQL)..

IP 주소체계와 클래스 구별법 (IPv4) | 대또의 지식나눔 블로그 (korean-daeddo.blogspot.com) IP 주소체계와 클래스 구별법 (IPv4) IPv4의 주소체계와 클래스 구별법에 대한 글입니다. korean-daeddo.blogspot.com 서브넷 마스크와 서브넷팅 계산법 | 대또의 지식나눔 블로그 (korean-daeddo.blogspot.com) 서브넷 마스크와 서브넷팅 계산법 서브넷 마스크를 이용하여 서브넷팅을 하는 이유와 계산법을 알려줍니다. korean-daeddo.blogspot.com Amazon VPC란 무엇인가? - Amazon Virtual Private Cloud Amazon VPC란 무엇인가? - Amazon Virtual Private Cloud 이 페이지..

origin video: https://inf.run/pR7q origin posting : https://blog.voidmainvoid.net/179 자료 : https://www.slideshare.net/WonyoungChoi2/ss-236018398 ref : https://blog.voidmainvoid.net/343 목차 1. 아파치 카프카 기초 https://youtu.be/waw0XXNX-uQ - 카프카가 무엇인지? - 왜 사용하는 지? 1.1 아파치 카프카 개요 A. LinkedIn에서 최초로 만들고 opensource화 한 확장성이 뛰어난 분산 메시지 큐(FIFO : First In First Out) B. source Application Target Application 사이 co..