반응형 hdfs2 [HDFS] TestDFSIO - 하둡 클러스터 성능 측정 도구(Hadoop Cluster Benchmark Tool) 하둡 클러스터를 구축하고 성능을 측정하고 싶은 경우가 있다. 내가 구축한 클러스터가 어느정도의 성능을 가지고 있는지, 기준치에 못 미치는 성능을 보인다면 얼마나 더 많은 노드를 추가해야하는지 가늠하기 위해서 클러스터의 객관적인 성능 측정 도구가 필요하다. 하둡에서는 여러 성능 측정 도구를 제공하고 있다. 그 중에 클러스터의 성능을 I/O(입출력)의 측면에서 분석할 수 있는 'TestDFSIO'라는 벤치마크 도구가 있다. TestDFSIO 하둡 릴리즈에서 hadoop-mapreduce-client-jobclient-{버전}-tests.jar 파일에 패키징되어 있는 TestDFSIO는 클러스터의 입출력 성능을 측정할 수 있는 도구다. 하둡 소스코드처럼 TestDFSIO 소스코드도 깃허브(github)에 오픈.. 2019. 4. 6. [하둡(Hadoop)] HDFS, Yarn, 맵리듀스(MapReduce)를 위한 유닛테스트 및 JUnit 예제 하둡 HDFS를 사용하는 프로젝트를 진행하다가 "어떻게 유닛 테스트를 작성할 것인가?"라는 질문을 스스로에게 하게 되었다. 유닛 테스트를 위한 별도의 클러스터를 구축해놓는 것도 웃기고, 실제 운영되는 클러스터에 테스트 부하를 쏘는 것도 웃기다. 유닛 테스트는 대부분 간단한 동작을 테스트 할 텐데 좀 더 가벼운 방법은 없을까? 다행히도 하둡은 JUnit 같은 유닛 테스트 작성을 위한 미니 클러스터(MiniCluster)를 제공한다. MiniDFS, MiniYARN, MiniMR 클러스터가 제공되며, 이 포스트에서는 MiniDFS 클러스터를 이용한 방법에 대해서 다뤄보겠다. Maven 설정Java 프로그램의 경우 유닛 테스트인 JUnit에서 하둡의 미니 클러스터들을 사용하기 위해서는 dependency를 추.. 2019. 1. 28. 이전 1 다음 반응형