반응형 hadoop5 Hadoop 'Unable to load native-hadoop library for your platform' 에러 HDFS 코드리뷰를 하면서 'Short Circuit Read' 코드를 테스트하기 위해서 도커 컨테이너에 환경 설정을 하고 리모트 디버거로 붙어서 보다가 다음과 같은 로그가 찍혀있는걸 보게되었습니다. HDFS Short Circuit Read 코드 테스트를 위해서 도커에 컨테이너 세팅을 하고 원격 디버거로 붙어서 보다가 Short Circuit Read 설정으로 안들어가서 찾아보니 로그에 다음과 같은 내용이 찍혀 있었다. 19/12/02 20:46:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 19/1.. 2020. 3. 14. 도커(Docker)에 하둡(Hadoop) 클러스터 띄우기 하둡 HDFS 코드리뷰를 진행하면서 테스트용 클러스터를 구축할 필요가 있었습니다. 실제 개발 장비에 설치되어 있는 하둡 클러스터를 이용해 볼 수 있었지만 도커에 하둡을 띄워보면 어떨까 생각이 들어서 관련 자료를 찾아보며 정리를 해봤습니다. Hadoop Docker 이미지 만들기 하둡을 띄울 도커 이미지를 만들어보겠습니다. (Dockerfile이나 docker-compose를 이용한 방법은 추후에 별도의 포스트를 할애해서 다루기로 하겠습니다.) 우선 CentOS 이미지를 이용해 컨테이너를 구동시킵니다. docker run -it --name hadoop-base centos yum 패키지를 업데이트하고 필요한 다양한 라이브러리들을 설치합니다. 이 부분에서 시간이 조금 오래걸릴 수 있습니다. yum upda.. 2020. 3. 12. 하둡(Hadoop)에서 커버로스(Kerberos) 인증 사용하기 - 여러개 인증 동시 사용 하둡(Hadoop)에 보안을 강화하기 위해 '커버로스(Kerberos)' 프로토콜을 사용할 수 있습니다. Principal과 Keytab 혹은 패스워드를 이용해 계정을 인증 받은 후 커버로스 티켓을 이용해 하둡의 서비스를 사용할 수 있게해서 클러스터의 보안을 강화할 수 있습니다. HDFS 클라이언트가 네임노드와 데이터 노드와 통신을 하면서 데이터를 받아오는 과정에서도 커버로스 인증을 구현할 수 있습니다. 하둡은 UserGroupInformation이라는 클래스를 이용해 커버로스 프로토콜을 사용할 수 있도록 프로그래머에게 편의를 제공합니다. Maven Dependency 하둡 클라이언트를 작성할 때 커버로스 인증을 받으려면 UserGroupInformation 클래스를 이용하면 됩니다. Us.. 2020. 3. 8. [HDFS] TestDFSIO - 하둡 클러스터 성능 측정 도구(Hadoop Cluster Benchmark Tool) 하둡 클러스터를 구축하고 성능을 측정하고 싶은 경우가 있다. 내가 구축한 클러스터가 어느정도의 성능을 가지고 있는지, 기준치에 못 미치는 성능을 보인다면 얼마나 더 많은 노드를 추가해야하는지 가늠하기 위해서 클러스터의 객관적인 성능 측정 도구가 필요하다. 하둡에서는 여러 성능 측정 도구를 제공하고 있다. 그 중에 클러스터의 성능을 I/O(입출력)의 측면에서 분석할 수 있는 'TestDFSIO'라는 벤치마크 도구가 있다. TestDFSIO 하둡 릴리즈에서 hadoop-mapreduce-client-jobclient-{버전}-tests.jar 파일에 패키징되어 있는 TestDFSIO는 클러스터의 입출력 성능을 측정할 수 있는 도구다. 하둡 소스코드처럼 TestDFSIO 소스코드도 깃허브(github)에 오픈.. 2019. 4. 6. [하둡(Hadoop)] HDFS, Yarn, 맵리듀스(MapReduce)를 위한 유닛테스트 및 JUnit 예제 하둡 HDFS를 사용하는 프로젝트를 진행하다가 "어떻게 유닛 테스트를 작성할 것인가?"라는 질문을 스스로에게 하게 되었다. 유닛 테스트를 위한 별도의 클러스터를 구축해놓는 것도 웃기고, 실제 운영되는 클러스터에 테스트 부하를 쏘는 것도 웃기다. 유닛 테스트는 대부분 간단한 동작을 테스트 할 텐데 좀 더 가벼운 방법은 없을까? 다행히도 하둡은 JUnit 같은 유닛 테스트 작성을 위한 미니 클러스터(MiniCluster)를 제공한다. MiniDFS, MiniYARN, MiniMR 클러스터가 제공되며, 이 포스트에서는 MiniDFS 클러스터를 이용한 방법에 대해서 다뤄보겠다. Maven 설정Java 프로그램의 경우 유닛 테스트인 JUnit에서 하둡의 미니 클러스터들을 사용하기 위해서는 dependency를 추.. 2019. 1. 28. 이전 1 다음 반응형
