깐지닉
loading...
0
카프카 핵심 가이드 - 7. 신뢰성 있는 데이터 전달
카프카는 다양한 신뢰성 활용 사례가 있으며, 신뢰성 보장을 위해 여러 방법을 제공한다. 브로커 설정과 프로듀서, 컨슈머의 올바른 사용으로 신뢰성이 유지되며, 에러 처리와 모니터링을 통해 시스템의 안정성을 검증할 수 있다.
카프카
클라이언트
0개의 댓글
0개의 질문
깐지닉
DIAMOND 49705점
910010700
37.8%
50/200
백엔드 개발자 정진우입니다. (https://github.com/comolove)
Backend
Java
Spring
깐지닉님은
이펙티브 자바
Spring
의 글을 많이 작성했어요.- 이펙티브 자바
- Spring
- 손에 잡히는 10분 SQL
- JPA
- FastAPI
- 인프라
- SQL
- 스프링 데이터 JPA
- ECS
- 자바
- Java
- 파이썬
- 프로시저
- SQLAlchemy
- DBMS
깐지닉
loading...
0
Real Mysql 8.0 - 3. 사용자 및 권한
MySQL 8.0부터는 권한을 Role로 관리하며 사용자 계정은 IP 주소와 호스트명까지 고려하여 생성된다. 시스템 계정과 일반 계정으로 나뉘며, 비밀번호 관리 및 권한 설정에 대한 다양한 옵션이 제공된다.
MYSQLRole0개의 댓글
0개의 질문
깐지닉
loading...
0
카프카 핵심 가이드 - 6. 카프카 내부 매커니즘
카프카의 내부 매커니즘은 주로 주키퍼와 브로커 간의 관계를 다루며, 클러스터 멤버십과 컨트롤러의 역할에 대해 설명하고 있다. 또한, KRaft 컨트롤러에 대한 새로운 설계와 복제 기능, 리더 선출 과정 등을 소개하고 있다.
KRaft카프카0개의 댓글
0개의 질문
깐지닉
loading...
0
카프카 핵심 가이드 - 5. 프로그램 내에서 카프카 관리하기
카프카에서는 애플리케이션 내부에서 직접 관리 명령을 통해 AdminClient를 사용하여 카프카를 관리할 수 있으며, 비동기적이고 최종적 일관성을 가지는 API를 제공한다. AdminClient의 메서드들은 Options 객체를 인수로 받아 다양한 설정을 통해 사용되며, 토픽 설정, 브로커 설정 등을 제어할 수 있다.
AdminClientKafkaAdminClient0개의 댓글
0개의 질문
깐지닉
loading...
0
여피 프로젝트 FastAPI, SQLAlchemy 쿼리 최적화 - 2. 세션 처리 최적화에 따른 side effect 처리
FastAPI와 SQLAlchemy 쿼리 최적화를 위해 세션 처리 방식을 변경하고, AsyncSession을 테스크별로 사용해야 함을 알 수 있었다. 이전에는 세션을 매번 새로 생성했지만, 이제는 task 별 세션을 관리하여 문제를 해결하고 API 소요 시간이 개선되었으며, 병렬 처리를 통한 I/O time 개선으로 큰 최적화가 이루어지진 않았다.
FastAPISQLAlchemy0개의 댓글
0개의 질문
깐지닉
loading...
0
카프카 핵심 가이드 - 4. 카프카 컨슈머: 카프카에서 데이터 읽기
카프카 컨슈머는 컨슈머 그룹의 일부로 동작하며, 파티션에 대응되지 못한 컨슈머는 놀게 되므로 적절한 파티션 수를 설정하는 것이 중요하다. 리밸런스는 컨슈머 그룹이 사용하는 파티션을 재할당하는 것으로, 조급한 리밸런스와 협력적 리밸런스 방식이 있으며, 3.1 버전 이후에는 협력적 리밸런스가 기본값으로 사용된다.
카프카Nextjs0개의 댓글
0개의 질문
깐지닉
loading...
0
카프카 핵심 가이드 - 3. 카프카 프로듀서: 카프카에 메시지 쓰기
카프카 프로듀서는 메시지를 생성하고 네트워크 상에서 전송하는 과정을 거친다. 메시지 전송 방식은 Fire and forget, Synchronous send, Asyncronous send로 나뉘며, 각각의 방식에 따라 메시지 전송 및 처리 방법이 달라진다.
SerializerProducer0개의 댓글
0개의 질문
깐지닉
loading...
0
여피 프로젝트 FastAPI, SQLAlchemy 쿼리 최적화 - 1. 중복 쿼리 없애기
FastAPI와 SQLAlchemy를 사용하여 중복 쿼리 최적화하는 과정과 결과에 대해 설명하고 있습니다. 중복 쿼리를 줄여 성능을 개선하기 위해 중복 쿼리 메모리 캐싱이나 코드 수정을 통한 최적화 방법을 제안하고, identity map을 활용하여 세션 메모리에서 엔티티를 반환하는 방법으로 성능 향상을 이끌어내는 내용이 담겨 있습니다.
FastAPISQLAlchemy0개의 댓글
0개의 질문
깐지닉
loading...
1
카프카 핵심 가이드 - 2. 카프카 설치하기
카프카를 설치하고 실행하는 방법부터 주요 설정까지 알아보았습니다. 주요 설정 중에는 브로커 ID, 리더 분산 설정, 메시지 보존 시간 등이 있습니다.
카프카zookeeper0개의 댓글
0개의 질문
깐지닉
loading...
1
카프카 핵심 가이드 - 1. 카프카 시작하기
기업에서 데이터는 중요한 부분이며, 카프카는 데이터를 효율적으로 다루기 위한 메시지 발행/구독 시스템으로 분산 커밋 로그와 스트리밍 플랫폼으로 사용됩니다. 카프카는 확장성과 성능 면에서 우수하며, 다중 클러스터 운용이 가능하고 안정적인 데이터 보관을 제공합니다.
아파치 카프카토픽1개의 댓글
0개의 질문
깐지닉
loading...
1
FastAPI PRODUCTION 배포 자동화
FastAPI, SQLAlchemy, Alembic을 사용한 프로젝트에서 DEV 배포 자동화를 완료하고 PROD 배포 자동화를 위해 스키마 정보를 업데이트하고자 하는 요구사항과 해당 작업을 위해 Lambda 함수를 활용하는 방법이 소개되었습니다. 또한, RDS 연결 정보 보안처리에 대한 IAM 인증 및 Docker 사용 방법 등이 제시되었으며, Lambda 함수와 S3 간의 설정 문제에 대한 해결책을 찾기 위해 더 많은 고민이 필요함이 언급되었습니다.
AlembicLambda0개의 댓글
0개의 질문
깐지닉
loading...
1
멀티 프로세싱으로 연산 프로그램 성능 올리기
부동산 지수를 계산하기 위해 거대한 matrix를 다루는 연산 프로그램에서 메모리와 연산 속도 문제가 발생했다. 병렬 처리로 해결하려 했지만 쓰레드는 GIL때문에 효율이 떨어지고, 프로세스는 메모리 문제가 발생하여 각각의 연산을 파일로 저장하는 방식으로 최종적으로 문제를 해결하였다.
파이썬머신러닝1개의 댓글
0개의 질문
깐지닉
loading...
0
SQLAlchemy 세션 프록시 필드 접근 에러 해결
SQLAlchemy를 사용한 프로젝트에서 트랜잭션과 지연로딩 에러가 발생했는데, created_at 필드에 접근하는 과정에서 발생한 문제를 해결하기 위해 트랜잭션 내에서 커밋을 통해 데이터를 가져오거나, 필드를 제거하거나 클라이언트 default 값으로 설정하는 방법 등 여러 가지 해결책이 제시되었다.하지만 완벽한 해결책은 아니라고 판단되며, SQLAlchemy 2.0의 mapped_column을 사용하면 eager_defaults 옵션을 통해 이런 문제를 더욱 쉽게 처리할 수 있다는 참고 자료도 있었다.
SQLAlchemyNextjs0개의 댓글
0개의 질문
깐지닉
loading...
1
FastAPI 프로젝트 구조 변경 - 커스텀 에러 사용
FastAPI 프로젝트에서 기존 방식의 커스텀 에러 처리를 개선하기 위해 Not Found 에러를 추가하고, 이를 관리하는 패키지와 핸들러를 만들어 등록하는 방법을 소개하였다. 요청 시 발생한 404 코드와 메시지를 반환하는 핸들러 등록은 앱의 구조 변경과 유지보수에 도움이 될 것으로 기대된다.
FastAPIHTTPException0개의 댓글
0개의 질문
깐지닉
loading...
0
python project 도커 이미지 최적화
python project의 도커 이미지 최적화를 통해 shapely 패키지와 시스템 라이브러리가 docker image 사이즈에 큰 영향을 미치지 않았으며, dive 툴을 활용하여 불필요한 파일들을 .dockerignore에 추가해 이미지 사이즈를 289MB에서 276MB로 줄였다.pytest 라이브러리들은 가볍기 때문에 dev-dependencies를 배포시 제외하여 이미지 사이즈를 줄일 수 있었다.
Dockerfilepytest0개의 댓글
0개의 질문
깐지닉
loading...
1
FastApi 프로젝트 구조 변경 - 프로젝트 적용
FastAPI 프로젝트 구조를 변경하여 SQLAlchemy session 사용 방식을 개선했으며, 기존 service 레이어를 service, repository 레이어로 분리하고 response schema와 dto를 나누는 등의 작업을 했다. 이에 추가적인 소요가 감소하고 request 단위 세션과 repository method 단위 조회용 세션을 도입하여 세션 사용 방식도 개선했다.
FastAPISQLAlchemy0개의 댓글
0개의 질문
깐지닉
loading...
0
FastApi 프로젝트 구조 변경 - best practice 분석 및 적용 방법 제안
FastApi 프로젝트 구조 변경을 위한 best practice에는 Spring의 장점과 Fastapi의 비동기 처리 가능성을 혼합하는 방식이 제안되었다. Dependencies를 효율적으로 관리하고 DI 방식을 사용하여 유지보수성과 유닛 테스트 용이성을 증진시키는 것이 중요한데, 도메인별로 폴더를 구분하고 서비스 레이어를 분리하여 개발하는 것이 권장된다.
FastApiSpring0개의 댓글
0개의 질문
깐지닉
loading...
0
Fargate 컨테이너에서 S3 파일 사용하기 - 2
Fargate 컨테이너에서 S3 파일을 사용하기 위해 Dockerfile을 변경하고, AWS CLI를 활용하여 S3에서 파일을 다운로드하는 과정과 실행 방법에 대해 설명되어 있습니다. 또한, AWS 인증 방법으로 aws configure 명령어, 환경변수 설정, SecretsManager를 활용하는 방법 등이 소개되었으며 보안 측면 및 간편성을 고려하여 3번 방법이 권장된다.
DockerfileAWS CLI0개의 댓글
0개의 질문
깐지닉
loading...
0
Fargate 컨테이너에서 S3 파일 사용하기 - 1
Fargate 컨테이너에서 S3 파일을 활용하는 방법에 대해 설명하고 있습니다. S3에 검색을 위한 파일을 넣어두고 배포할 때 꺼내서 사용하는 방법, 그리고 다양한 방법 중 일부를 소개하며 각각의 장단점과 비용 측면을 다루고 있습니다.
GitHub ActionsDockerfile0개의 댓글
0개의 질문
깐지닉
loading...
1
ECS 컨테이너 0개로 띄우기 (실패)
GCP의 Cloud Run 서비스는 ECS Fargate와 유사한 서버리스 애플리케이션 배포를 지원하며, 목표 컨테이너 수를 0개로 설정하여 요청 시 테스크를 띄우거나 warm start를 위한 비용이 적은 컨테이너를 유지하는 전략을 제공한다. AWS의 ECS Fargate에서는 이 기능을 제공하지 않지만, EKS(AWS Kubernetes)에서는 가능하다고 한다.
ECSFargate1개의 댓글
0개의 질문