티스토리

sondevvvv

검색하기

블로그 홈

sondevvvv

woooongs.tistory.com/m

소농배 님의 블로그입니다.

구독자: 2

방명록 방문하기

주요 글 목록

977. Squares of a Sorted Array class Solution { public int[] sortedSquares(int[] nums) { int[] result = new int[nums.length]; int resultIndex = 0; int smallestIndex = 0; int smallestNumber = 0; int leftIndex = 0; int rightIndex = 0; for (int i = 0; i = nums.length) { //right 먼저 소진 result[resultIndex] = nums[leftIndex]; leftIndex--.. 공감수 0 댓글수 0 2025. 3. 19.
460. LFU Cache class LFUCache { private final int capacity; // Map cache = new HashMap(); // Map frequencyMap = new HashMap(); // > Map> accessSequenceMap = new HashMap(); // : 현존하는 frequency 를 저장 Set frequencySet = new HashSet(); public void expireCache() { Integer smallestFrequency = null; for (Integer frequency : frequencySet) { if (smallestFrequency.. 공감수 0 댓글수 0 2025. 3. 19.
DynamoDB Stream 중복 처리 문제 DynamoDB Stream 은 Item 의 변경이 생겼을때 변경에 대한 Record 가 Stream 으로 전달되고, AWS Lambda , Kinesis Client 등으로 Record 를 전달 받아 Process 할 수 있는 기능이다. kinesis client version => com.amazonaws:amazon-kinesis-client:1.14.4 Kinesis Client 를 사용하여 Stream Record 를 전달받는 경우, 아래와 같이 CheckPointer 를 사용하여 전달받은 Record 처리를 완료했다는 것을 알리게 된다. @Override public void processRecords(List list, IRecordProcessorCheckpointer iRec.. 공감수 0 댓글수 0 2024. 11. 15.
Spring + Undertow 사용시 Exception 로깅 안됨 Spring MVC (Kotlin) + Undertow 를 사용한 운영 서버에서 아래와 같이 500 응답을 받았지만 서버에는 관련된 로그가 남아있지 않음.{ "timestamp" : 1727658994786, "status": 500, "error": "Internal Server Error", "message": "Internal Server Error", "path": "/search"} 예외가 발생한 부분은 Kotlin 에서 Non Null 로 정의된 필드에 DB 에서 불러온 데이터를 맵핑할때 null 값이 할당되어 MissingKotlinParameterException 이 발생한 것으로 추정됨. 해당 예외가 아닌 다른 예외들은 로컬에서 로그가 남고 있어서 어느 부분에서 차이.. 공감수 0 댓글수 0 2024. 9. 30.
CurrentThreadBusy 발생시 ZipFile.open() 에 Thread 가 Block 되어있는 이유 운영중인 서버에서 CurrentThreadBusy 메트릭이 튀기 시작하였다. 특징은 순간적으로 Spike 를 쳤다가 다시 정상 범위로 돌아가고 간헐적으로 여러 서버에서 튄다는 것이다.tomcat thread 들이 어느 stack trace 에서 busy 상태로 남아있는지 확인하기 위하여 0.5초 마다 currentThreadbusy 값을 확인하면서 임계치를 초과한경우 thread dump 를 생성하도록 스크립트를 작성하여 배포하였다. #!/bin/bashCRITICAL_VALUE=20while [true]do sleep 0.5 CURRENT_THREAD_BUSY=`curl -s http://127.0.0.1:9403 | grep'catalina_threadpool_currentthreadbusy' | a.. 공감수 1 댓글수 0 2024. 6. 27.
GC Log 로 확인하는 G1GC 동작 과정 작은 파란색 원 : Oracle 문서에서는 regular young-only collection 이라고 표현, Young 영역에 대한 GC 발생 (STW) 작은 분홍색 원 : Oracle 문서에서는 multiple mixed colletions 이라고 표현, Young 과 Old 영역 모두에 대한 GC 발생 (STW) 원의 크기는 STW 의 소요 시간과 비례한다. G1GC 는 regular young-only collection 만 주기적으로 진행 GC 로그 상 Eden 영역이 가득 찼을때 regular young-only collection 이 트리거되는것으로 보임 regular young-only collection 만 진행하다가 Old 영역의 사용량이 임계치에 도달하면 Initial Mark 단계를.. 공감수 0 댓글수 0 2023. 10. 20.
Java HashMap 과 동시성 #2 [Pub/Pub] (ConcurrentModificationException) 운영 중인 서버에서 ConcurrentModificationException 가 발생하여 원인 파악을 시작하였다. 예외가 발생한 코드 재현 Map reduce = IntStream.range(0, 100) .parallel() .mapToObj((num) -> { Map map = new HashMap(); map.put(num, num); return map; }) .reduce(new HashMap(), (a, b) -> { a.putAll(b); return a; }); 에러가 발생한 로직을 간단하게 요약하면 위와 같이 정리가 되는데 운영 코드에서는 mapToObj 부분에서 I/O 를 실행하고 있다. I/O 를 Parallel 하게 실행하기 위하여 Stream 의 Parallel 을 사용하고 있다... 공감수 1 댓글수 0 2023. 9. 20.
Java Stream 과 CompletableFuture 를 함께 사용할때 주의할점 ExecutorService executorService = Executors.newFixedThreadPool(3); Stream.of(3, 2, 1) .map((i) -> CompletableFuture.supplyAsync(() -> { try { System.out.println(Thread.currentThread().getName() + " : start"); Thread.sleep(i * 1000L); System.out.println(Thread.currentThread().getName() + " : end"); } catch (InterruptedException e) { throw new RuntimeException(e); } return i; }, executorService)) .. 공감수 0 댓글수 0 2023. 9. 13.
Zookeeper 노드 동작 안함 - Cannot open channel to 2 at election address 현상 Docker 이미지로 만들어져있는 Zookeeper 를 구성할때 아래와 같은 에러가 발생하고 zookeeper cli 로 /get 를 해보아도 timed out 이 발생 2023-07-27 09:18:07,435 [myid:3] - WARN [QuorumPeer[myid=3]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@584] - Cannot open channel to 2 at election address /10.0.0.1:3888 원인 Zookeeper 는 아래와 같이 3개의 포트를 사용한다. 2181 : Client 가 zookeeper 에 접근하기 위한 포트 2888 : Node 간의 통신에 사용. Follower 커넥션에 사용됨. (설정 파일에 따라 달라질 수 있.. 공감수 0 댓글수 0 2023. 8. 2.
AWS DyanmoDB - spring sdk 를 사용한 데이터 조회 공감수 0 댓글수 0 2023. 3. 6.
AWS DynamoDB - Local 환경 구축 AWS 에서 DynamoDB 로컬 환경을 위한 테스트 환경을 제공한다. Local 에서 DynamoDB 실행하기 https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/DynamoDBLocal.DownloadingAndRunning.html Deploying DynamoDB locally on your computer - Amazon DynamoDB The YAML scripts require that you specify an AWS access key and an AWS secret key, but they are not required to be valid AWS keys for you to access DynamoDB local. doc.. 공감수 0 댓글수 0 2023. 3. 6.
TLS (SSL Certificate) 와 Java TrustStore KeyStore TLS 는 SSL 과 같은 의미이여 TCP 통신에서 오고가는 데이터를 암호화하기 위한 프로토콜이다. TLS 과정 인증서 발급 TLS 인증을 하고자하는 서버가 CA (Certifiacate Authorities : 인증서 발급 기관) 로부터 인증서를 발급 받는다. Server 는 공개키/비공개키를 생성하고 인증서 신청시 공개키를 CA 에 전달 CA 는 인증서에 Server 의 공개키를 포함하여 인증서를 생성 CA 는 인증서 내용을 Hash 처리한 값을 CA 의 비밀키로 암호화하여 인증서에 포함 TLS 연결 Client 와 Server 가 HTTP Handshake 이후에 TLS 인증 절차를 거친다. Client 는 Server 에게 ssl 버전, 사용 가능한 암호화 프로토콜등을 전달한다. Server 는 .. 공감수 1 댓글수 0 2023. 2. 10.
DynamoDB - DynamoDB 데이터 타입과 네이밍 규칙 Naming Rules DynamoDB의 테이블, Attributes 와 다른 오브젝트들은 이름을 갖는다. 이름은 의미를 잘 전달할 수 있어야하며 간결해야한다. 예를들어, 상품, 책, 저자와 같이 이름만으로 의미를 알 수 있어야한다. 아래 설명들은 DynamoDB 의 네이밍 규칙을 설명한다: 모든 이름은 UTF-8 로 인코딩되며 대소문자를 구별한다. 테이블명과 인덱셔명은 3글자이상 255자이하여야하며 아래여야하며 아래 문자들로 구성될 수 있다 a-z A-Z 0-9 _ - . Attribute 이름은 한개 이상의 문자여야하며 64KB 이하여야한다. Attribute 이름은 가능한 짧게 관리하는것을 권장한다. Attribute 이름 또한 Read 요청에 응답값으로 함께 전달되기 때문이다. 아래 이름들은 At.. 공감수 0 댓글수 0 2023. 1. 13.
DynamoDB - DynamoDB API DynamoDB 를 사용하기에서는, Application 에서 몇가지 간단한 API 를 사용해야한다. 아래는 Category 로 구분된 API 의 요약들이다. Topics Control Plane Data Plane DynamoDB Streams Transactions Control Plane Control Plane 명령은 DynamoDB 테이블을 생성하고 관리한다. 또한, Control Plane 은 Index, Stream 과 같이 테이블에 의존적인 것들을 다룰 수 있게 해준다. CreateTable - 새로운 테이블을 생성한다. 필요하다면, 한개 이상의 Secondary Index 를 생성할 수 있고 DynamoDB Stream 을 활성화 할 수 있다. DescribeTable - Primay K.. 공감수 0 댓글수 0 2022. 12. 21.
DynamoDB - DynamoDB 의 주요 컴포넌트 DynamoDB 의 테이블(Table), 아이템(Item), 속성(Attribute)은 DynamoDB 를 다루기위한 주요 컴포넌트들이다. Attribute 들이 모여 하나의 Item 을 이루고 Item 들이 모여 하나의 Table 을 이룬다. Primary Key 를 사용하여 테이블의 아이템들을 구별하고 Secondary Index 를 사용하여 조회를 더 자유롭게 할 수 있다. DynamoDB Streams 를 활용하여 DynamoDB 의 변경 이벤트를 감지할 수 있다. Tables, Items, 그리고 Attributes 아래 설명은 DynamoDB 의 기본 컴포넌트에 대한 것이다. Tables - 다른 데이터베이스들과 비슷하게 DynamoDB 도한 데이터를 테이블에 저장한다. Table 은 데이터의.. 공감수 0 댓글수 0 2022. 12. 19.
DynamoDB - DynamoDB 란? Amazon DynamoDB 는 중단없이 확장가능한 빠르고 예측가능한 성능을 제공하는 NoSQL 데이터베이스이다. DynamoDB 는 분산 데이터베이스의 운영, 스케일링과 같은 관리 측면의 짐을 덜어줌으로서 사용자들이 설정, 복제, 소프트웨어 업그레이드, 클러스터 스케일링과 같은 작업들에 신경쓰지 않도록 서비스를 제공한다. 또한, DynamoDB 는 민감 데이터를 보호하기위한 운영 측면의 복잡한 작업인 암호화를 제공한다. DynamoDB 암호화 DynamoDB 에서는 필요한 테이블을 생성하여 어떠한 양의 데이터라도 저장할 수 있으며 어떤 수준의 트래픽이라도 검색 기능을 제공할 수 있다. 다운 타임과 성능 저하가 없는 스케일 업/다운을 통하여 테이블의 처리량을 조절할 수 있다. AWS console 을 이.. 공감수 0 댓글수 0 2022. 12. 19.
referencedColumnName 을 사용한 Join 과 N+1 문제 JPA 를 사용할때 N+1 로 인한 성능 저하는 경계해야할 대표적인 문제중에 하나입니다. N+1 이 발생하는 경우는 여러가지가 있지만 그 중에서 referncedColmnName 과 관련된 내용을 코드 분석과 함께 알아보고자 합니다. N+1 재현 환경 Repo : https://github.com/SonUngBea/hibernate-project/tree/N%2B1/referencedName ERD DATA Student School Code Student Entity - NOTE : @ManyToOne 으로 Join 을 걸때 school 의 PK 인 id 가 아닌 name 으로 Join 을 걸었다. @Entity public class Student implements Serializable { @Id.. 공감수 0 댓글수 0 2022. 9. 14.
[IntelliJ] JDK 소스코드 조회시 Decompile 된 .class 로 보이는 경우 Intellij 에서 JDK 의 source 파일을 찾지 못하여 생기는 문제이다. File > Project Structure > SDKs > Sourcepath 위 경로에 src.zip , javafx-src.zip 파일이 등록되어있는지 확인. 공감수 0 댓글수 0 2022. 8. 25.
Java wait(), notify(), notifyAll() 과 Thread 상태 Object.wait() : 현재 Object Monitor 를 획득하고 있는 Thread 의 Monitor 소유권을 해제하고 Thread 를 WAITING 상태로 만든다. wait() 메서드는 synchronzied 블록 안에서만 호출 가능하다. 중요한 것은 Lock 을 해제하고 Thread 가 WAITING 상태가 된다는 것! Object.notify() : 해당 Object Montior 의 WAITING 상태인 Thread 들 중 하나를 깨운다. 깨어난 Thread 는 Lock 을 얻기 위한 경쟁 상태인 BLOCKED 상태가 된다. Object.notifyAll() : 해당 Object Monitor 의 WAITING 상태인 Thread 들 전부를 깨운다. notify() 와 마찬가지로 깨어난 .. 공감수 0 댓글수 0 2022. 6. 29.
Spring JPA 와 Dynamic Proxy JPA 를 사용하여 Repository Bean 을 생성할때 class 가 아닌 interface 로 선언하여 사용하게 된다. 어떻게 interface 만으로 객체가 생성되어 빈으로 등록되는지, 함수의 구현 없이 이름을 정의하는 것 만으로 쿼리가 만들어져서 동작하는지 궁금하여 조사를 시작하게 되었다. 아래 테스트 코드에 사용된 라이브러리 버전은 아래와 같다. implementation group: 'org.springframework', name: 'spring-context', version: '5.3.19' //AOP implementation group: 'org.aspectj', name: 'aspectjweaver', version: '1.9.9.1' //JPA implementation gro.. 공감수 5 댓글수 0 2022. 4. 24.
Spring Bean 과 CGLIB proxy AbstractAutoProxyCreatorSpring 에서는 AOP 기능을 수행하기위해 객체를 빈으로 등록하기 전에 Proxy 로 감싸진 클래스를 생성하여 빈으로 관리한다. 이때 사용되는 Proxy Library 가 CGLIB 와 Dynamic Proxy 이다. 이 중 CGLIB 가 만들어지는 과정을 코드 레벨로 확인한다. 테스트 코드 작성에 사용된 spring, aspectj 버전은 아래와 같다. implementation group: 'org.springframework', name: 'spring-context', version: '5.3.19' implementation group: 'org.aspectj', name: 'aspectjweaver', version: '1.9.9.1' Spring.. 공감수 6 댓글수 0 2022. 4. 23.
StringBuilder 와 StringBuffer 비교 StringBuilder 와 StringBuffer 모두 AbstractStringBuilder 를 상속받아 메서드를 구현하고 있다. 두 클래스는 모두 String 을 만들기 위해 사용되지만 어떤 차이점으로 인해 구분되어있는지를 확인해본다. append() 함수로 알아보는 두 클래스의 차이 StringBuilder.java 의 append() 함수 @Override public StringBuilder append(String str) { super.append(str); return this; } StringBuffer.java 의 append() 함수 @Override public synchronized StringBuffer append(String str) { toStringCache = null.. 공감수 1 댓글수 0 2022. 3. 23.
Avro - Serializer/Deserializer 비교 BinaryMessageEncoder / BinaryMessageDecoder 예제 코드 public class BinaryMessageEncoderMain { public static final String TEST_FILE_NAME = "serizlied-object.avro"; public static void main(String[] args) throws IOException { AvroExampleDto before = AvroExampleDto.newBuilder().setTestNickName("Woongs").setTestTeamName("Platform").setTestName("Sondevv").build(); write(before); AvroExampleDto after = rea.. 공감수 0 댓글수 0 2022. 2. 18.
Apache Avro - 설명 Primitive Types null : 값이 없음 boolean : a binary 값 int : 32-bit signed integer long : 64-bit signed integer float : single precision (32-bit) IEEE 754 소숫점 숫자 double : double precision (64-bit) IEEE 소숫점 숫자 bytes : 8-bit unsigned 바이트 배열 string : unicode characther 배열 Primitive 타입은 속성을 갖지 않는다. Primitive 타입 이름은 또한 type name 으로 정의된다. 그래서 예를들어 "string" Schema 는 {"type":"string"} 과 동일하다. Complex Types A.. 공감수 0 댓글수 0 2022. 2. 17.
Avro 시작하기 - Java, Gradle Download Avro library Dependency org.apache.avro avro 1.11.0 Avro Plugin org.apache.avro avro-maven-plugin 1.11.0 generate-sources schema ${project.basedir}/src/main/avro/ ${project.basedir}/src/main/java/ org.apache.maven.plugins maven-compiler-plugin 1.8 1.8 Defining a schema Avro 의 Schema 는 JSON 으로 정의되어있다. Schema 는 Primitive type 과 Complext Type 으로 구성되어있다. {"namespace": "example.avro", "type".. 공감수 0 댓글수 0 2022. 2. 17.
Apache Avro 소개 Introduction Apache Avro 는 데이터 직렬화 시스템이다. Avro 는 아래 기능들을 제공한다. 풍부한 데이터 구조 간결하고 빠른 Binary Data 포멧 영구 데이터를 저장하기 위한 컨테이너 파일 Remote 프로시져 콜 (RPC) 다양한 언어와 간단하게 연동 가능. RPC 프로토콜을 사용하거나 구현하거나 데이터를 읽거나 쓰기 위해 코드 Generation 이 필수는 아니다. 코드 Generation 은 정적인 타입을 가지는 언어를 구현할때 가치가 있는 최적화 옵션이다. Schemas Avro 는 Schema 에 의존한다. Avro 데이터를 읽을때는 Avro 데이터가 쓰여질 당시에 사용되었던 Schema 가 필요하다. 이것은 각 데이터가 per-value 오버헤드 없이 쓰여질 수 있도.. 공감수 0 댓글수 0 2022. 2. 17.
Cassandra db - 데이터 모델링 - Logical 데이터 모델링 쿼리를 정의했다면, 카산드라 테이블을 설계한 준비가 된 것이다. 첫번째로 각 쿼리에 포함되어있는 논리 모델을 포함하는 테이블을 만들고 구상중인 모델의 엔티티와 관계를 그린다. 각 테이블의 이름을 지정하려면 주로 조회하는 엔티티 이름으로 시작하는 이름을 지을 수 있다. 다른 관계가 있는 에티티의 요소로 Query 를 한다면 이 두가지 테이블의 이름을 붙이고 by 로 구분을 지을 수 있다. 예를 들어 hotels_by_poi 다음에 테이블의 PK 를 결정하고 추가 Parititon Key 를 Query 요소를 기반으로 추가하고 Clustering 요소를 고유성과 필요한 정렬을 제공하기 위해 추기해야한다. PK 를 설계하는 것은 특히 중요하다. PK 가 각 Partition 에 어떻게 저장될지 그리고 Disk.. 공감수 0 댓글수 0 2022. 2. 7.
Cassandra db - 데이터 모델링 - Query 정의 이 호텔 도메인을 위해 Query 우선 접근 방법으로 데이터 모델링을 해보자. Application 을 위한 UI 디자인은 쿼리를 추출해내기 위한 좋은 결과물이다. 당신이 프로젝트 Stakeholder 와 UX 디자이너와 논의한다고 가정해보자. 그 대화를 통해 아래오 같은 Query 들을 추출해낼 수 있을 것이다. Q1. 호텔 근처의 관광지는? Q2. 주어진 호텔의 이름과 위치와 같은 정보는? Q3. 관광지 근처의 호텔은? Q4. 주어진 기간동안 이용 가능한 객실은? Q5. 객실의 별점과 어메니티는? 이와 같이 쿼리를 속기헤보는 것은 전체를 설명하는 것보다 도움이될 때가 종종 있다. 여기에 리스트된 Query 들은 Q1, Q2, 등등 으로 넘더링되어있다. 이제 Application 이 성공하여 고객이 호.. 공감수 0 댓글수 0 2022. 2. 7.
Cassandra db - 데이터 모델링 데이터 모델링을 하기 위해 호텔 도메인을 이용해보자. 호텔에 객실에 머무는 게스트가 있고 각 호텔은 여러개의 Room 을 가지고 있다. 게스트가 예약한 Room 에 대한 정보가 있고 각 Room 에서 제공되는 Amentity 가 있다. 관심이 있을만한 "공원", "박물관", "쇼핑" 과 같이 게스트들이 관심있어할만한 데이터 또한 Point Of Interest 에 저장된다. RDBMS Design 만약 당신이 새로운 데이터 기반 Application 을 구축한다면, 적절한 normalized 테이블과 FK 를 사용하여 데이터를 모델링할것이다. 아래 도표는 관계형 데이터베이스를 사용한 데이터 모델링을 나타낸다. 관계형 데이터베이스는 Many to Many Join 을 활용한다. Hotel Points , .. 공감수 0 댓글수 0 2022. 2. 7.
Cassandra db - 데이터모델링 - introduction 카산드라는 테이블에 데이터를 저장한다. 각 테이블은 Row 와 Column 으로 구성되어있다. CQL 은 테이블에 저장된 데이터를 찾기위한 Query 로 사용된다. 카산드라 데이터 모델은 Query 에 최적화 되어있다. 카산드라는 관계형 데이터베이스에서 사용하는 관계형 데이터 모델링을 지원하지 않는다. What is Data Modeling? 데이터 모델링은 엔티티와 엔티티간의 관계를 식별하는 과정이다. 관계형 데이터베이스에서는 다른테이블의 데이터와 연관짓기 위하여 FK 를 테이블에 지정하였다. Application 에서 데이터베이스로 만드는 쿼리는 테이블의 구조에 기인하고 테이블 조인에 의해서 데이터가 조회된다. 카산드라에서는 데이터 모델링은 Query-Driven 이다. 데이터 접근 패턴과 Appli.. 공감수 0 댓글수 0 2022. 2. 7.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.