반응형 전체 글319 [Kafka] #1 - 아파치 카프카(Apache Kafka)란 무엇인가? 데이터 파이프라인(Data Pipeline)을 구축할 때 가장 많이 고려되는 시스템 중 하나가 '카프카(Kafka)' 일 것이다. 아파치 카프카(Apache Kafka)는 링크드인(LinkedIn)에서 처음 개발된 분산 메시징 시스템이다. 2011년 오픈소스로 공개되었으며 이후 2012년 10월 아파치 인큐베이터를 종료했다. 현재 링크드인에서 카프카를 개발하던 제이 크렙스(Jay Kreps)를 비롯한 일부 엔지니어들이 'Confluent'라는 회사를 설립하여 카프카와 관련된 일을 하고 있다. 카프카라는 이름은 유명한 작가인 '프란츠 카프카(Franz Kafka)'에서 따왔다. (참조 : Quora) I thought that since Kafka was a system optimized for writi.. 2018. 12. 18. [Linux] 제로 카피(Zero-Copy) 아파치 카프카(Apache Kafka)에 대한 자료를 읽다가 제로카피(Zero-copy)를 언급한 부분을 보게 되었다. 카프카 서버의 성능 개선을 위해 사용한 기법이라고 나와있어서 관련 자료를 찾아보게 되었다. 제로카피(Zero-copy)에 대한 자료들에서 가장 많이 언급되는 자료는 IBM 개발자 페이지에 게재된 "Efficient data transfer through zero copy"라는 글이다. 제로카피라는 기법이 운영체제의 어떤 비효율을 개선했는지 잘 설명하고 있다. 2008년에서 시간이 흘러 지금은 흔히 사용되는 기법으로 다양한 운영체제에서 관련 시스템 콜을 제공하고 있다. 일반적인 파일 전송파일 서버나 정적 파일을 서비스하는 웹 애플리케이션은 디스크에서 파일 컨텐츠를 읽어 네트워크 소켓으.. 2018. 12. 17. [MySQL] 반올림과 버림 함수 - ROUND(), TRUNCATE() 쿼리를 작성 할 때 숫자 데이터를 다룰일이 많은데 실수를 다룰 때 가장 빈번하게 사용하는 기능이 반올림과 버림이다. MySQL 에서는 이 기능을 제공하기 위해 ROUND() 함수와 TRUNCATE() 함수를 제공한다. 1) ROUND() 함수반올림을 위한 Round 함수는 "ROUND( 숫자, 반올림 할 자리수)" 의 형태로 사용한다. 1234567891011121314SELECT ROUND(1234.56789) FROM DUAL-- 1234 SELECT ROUND(1234.56789 ,1) FROM DUAL-- 1234.6 SELECT ROUND(1234.56789 ,4) FROM DUAL-- 1234.5679 SELECT ROUND(1234.56789 ,-1) FROM DUAL-- 1230 SELEC.. 2018. 12. 13. [MySQL] 백분위(Percentile), 랭크(Rank) 구하는 쿼리 RDBMS 제품마다 SQL 쿼리 사용법이 약간 다르다. 오라클 사용에 익숙해져 있다가 MySQL을 사용하게 되면서 당황하게 되는 쿼리 중 하나가 랭크(Rank)를 구하는 쿼리다. 오라클의 경우 다음과 같은 테이블이 있을 때 1234567891011create table t1(a number);insert into t1 values(3);insert into t1 values(6);insert into t1 values(9);insert into t1 values(2);insert into t1 values(5);insert into t1 values(8);insert into t1 values(1);insert into t1 values(4);insert into t1 values(7);cs 테이블에 .. 2018. 12. 12. 이전 1 ··· 33 34 35 36 다음 반응형
