지식저장(큐레이팅+내 생각)

ref) 아래 블로그를 요약했습니다. https://aws-hyoh.tistory.com/134 https://aws-hyoh.tistory.com/147 목차 1. ALB 정의 Application Layer를 다루는 Load Balancer 이에 대비되는 L4 Switch : L7 Virtual Server 사용하는 LB TCP기반의 HTTP, HTTPS, WebSocket을 활용하는 LB HTTP의 Header, Request Method등을 이용해, Request를 적절한 대상 그룹으로 Routing(부하분산) 할 수 있다. 규칙에 우선순위를 두고 차례로 적용할 수 있다 뒤에 나올 ALB rule 설정 시 HTTP 특징 활용 라우팅 실시 이전에 3-way handshake로 커넥션 생성필요 HTT..

ref) https://velog.io/@clueless_coder/Airflow-엄청-자세한-튜토리얼-왕초심자용

ref) https://wikidocs.net/book/2350

https://seogilang.tistory.com/2234 블로그 따라하기 정확함.

ref) HIVE https://datacookbook.kr/88 https://kadensungbincho.tistory.com/65 HIVE USE https://learn.microsoft.com/ko-kr/azure/hdinsight/hadoop/hdinsight-use-hive HIVE QL https://excelsior-cjh.tistory.com/42 https://rfriend.tistory.com/214 Hive Apache Hadoop용 데이터 웨어하우스 시스템 Hive를 사용하면 데이터의 요약, 쿼리 및 분석을 수행할 수 있습니다. Hive 쿼리는 SQL과 유사한 쿼리 언어인 HiveQL로 작성합니다. Hive를 사용하면 크게 구조가 없는 데이터에 구조를 투영할 수 있습니다. 구조를..

ref) https://wikidocs.net/26513 목차 1. 아파치 스파크(apache spark) 2011년 버클리 대학의 AMPLab에서 개발, 2014년 5월 정식 출시 아파치 재단의 오픈소스 인메모리 기반의 대용량 데이터 고속 처리 엔진 범용 분산 클러스터 컴퓨팅 프레임워크 2. 특징 Speed : 인메모리(In-Memory) 기반의 빠른 처리 맵리듀스 작업처리에 비해 디스크는 10배, 메모리 작업은 100배 빠른 속도 맵리듀스는 작업의 중간 결과를 디스크에 쓰기 때문에 IO로 인하여 작업 속도에 제약이 생깁니다. 스파크는 메모리에 중간 결과를 메모리에 저장하여 반복 작업의 처리 효율이 높습니다. Ease of Use : 다양한 언어 지원(Java, Scala, Python, R, SQL)..

ref) 1. 점프 투 파이썬(강추) https://wikidocs.net/book/1 2.왕초보를 위한 Python: 쉽게 풀어 쓴 기초 문법과 실습 https://wikidocs.net/book/2 목차 0. python이란 파이썬(Python)은 1990년 암스테르담의 귀도 반 로섬(Guido Van Rossum)이 개발한 인터프리터 언어이다. 귀도는 파이썬이라는 이름을 자신이 좋아하는 코미디 쇼인 "몬티 파이썬의 날아다니는 서커스(Monty Python’s Flying Circus)"에서 따왔다고 한다. 인터프리터 언어란 한 줄씩 소스 코드를 해석해서 그때그때 실행해 결과를 바로 확인할 수 있는 언어 파이썬의 사전적 의미는 고대 신화에 나오는 파르나소스 산의 동굴에 살던 큰 뱀 1. python ..

IP 주소체계와 클래스 구별법 (IPv4) | 대또의 지식나눔 블로그 (korean-daeddo.blogspot.com) IP 주소체계와 클래스 구별법 (IPv4) IPv4의 주소체계와 클래스 구별법에 대한 글입니다. korean-daeddo.blogspot.com 서브넷 마스크와 서브넷팅 계산법 | 대또의 지식나눔 블로그 (korean-daeddo.blogspot.com) 서브넷 마스크와 서브넷팅 계산법 서브넷 마스크를 이용하여 서브넷팅을 하는 이유와 계산법을 알려줍니다. korean-daeddo.blogspot.com Amazon VPC란 무엇인가? - Amazon Virtual Private Cloud Amazon VPC란 무엇인가? - Amazon Virtual Private Cloud 이 페이지..

origin video: https://inf.run/pR7q origin posting : https://blog.voidmainvoid.net/179 자료 : https://www.slideshare.net/WonyoungChoi2/ss-236018398 ref : https://blog.voidmainvoid.net/343 목차 1. 아파치 카프카 기초 https://youtu.be/waw0XXNX-uQ - 카프카가 무엇인지? - 왜 사용하는 지? 1.1 아파치 카프카 개요 A. LinkedIn에서 최초로 만들고 opensource화 한 확장성이 뛰어난 분산 메시지 큐(FIFO : First In First Out) B. source Application Target Application 사이 co..

: https://inf.run/pkYP 목차 1. 인터넷 네트워크 : 인터넷 네트워크 망의 기본에 의해 모든것이 돌아간다. 1.1 인터넷 통신 : 어떻게 저 복잡한 망을 거쳐서 소통을 하는 것인가? 1.2 IP(인터넷 프로토콜) A. 정의 - 지정한 IP 주소(IP Address)에 데이터를 전달하는 "규칙" - 통신단위 "패킷(Packet)"으로 데이터 전달 B. IP패킷 정보(택배 운송장 적는 느낌이다) - 출발지 IP 주소 + 목적지 IP 주소+ 메세지 + 기타로 구성 ex) hello world! 메세지를 한국에서 미국으로 보내기 - 패킷을 작성해서 인터넷 망에 던지면, 서버 노드들이 규약에 따라 전달해 준다.(모든 노드는 IP프로토콜 규약을 따르고 있음) C. IP 프로토콜의 한계 => TCP..