Cluster Setting
<다운로드>
OS: Rocks Clusters 5.1 (http://rocksclusters.org)
Job manager: Torque 2.4 (http://www.clusterresources.com/products/torque-resource-manager.php)
Install document: http://www.rocksclusters.org/rocks-documentation/4.3/install-frontend.html
<준비사항> OS, DVD-ROM, Torque roll이 담긴 CD (선택사항)
<설치>
1) Frontend 설치
1. 네트웍선은 eth1에 연결하여 외부로 연결되는 스위치에 연결
2. Eth0는 사설 IP 연결, Eth1는 public IP 연결 (변경가능)
3. 사설 IP는 내부 네트워망에서 쓰는 IP로 cluster에서 각 노드들을 묶어 주는 스위치단에서 할당된다. Public IP는 우리가 보통 쓰는 IP
2) OS 설치
1. DVD넣은 후 화면상에 build 입력하여 frontend로 들어간다. (Computing노드로 들어갈 때에는 그냥 엔터) (IP를 넣으라는 화면이 나오면 back버튼을 눌러야 되는 <= 이런 어이없는 경우 있음)
2. Local Rolls는 로칼머신에 필요한 패키지 설치이다. 여기에서 base, ganglia, hpc, kernel, os, sge는 반드시 필요한 것들이며 나머지들도 필요시 설치해준다.
3. SGE대신 Torque설치시에는 여기에서 Torque roll 담긴 CD를 이용하여 roll을 띄워 같이 설치한다.
4. Ethernet Configuration for eth0이 나오면 설정을 바꾸지 않고 바로 다음으로 넘어간다. (사설아이피 세팅, 사설아이피 대역 설정필요시 여기서 조정가능)
5. Ethernet Configuration for eth1이 나오면 적절한 IP등을 넣어준다. IP, Netmask, Gateway, DNS
6. manual partitioning 선택
7. /boot, /, swap, /export 잡아 줌. (/export 영역이 마스터와 노드가 공유하는 영역임)
8. SoftRaid 잡을 경우
1. RAID로 잡을 것들을 모두 software RAID로 잡는다.
2. 각 디스크들을 하나씩 지정하며 software RAID로 지정한다.
3. 모두 지정하고 나서 RAID라는 버튼을 누른다.
4. RAID 타입을 설정한다.
RAID 0는 전체의 디스크를 하나로 쓰게 하는 것이다.
RAID 1은 mirroring하는 형태이다. 같은 내용을 두개의 다른 disk에 똑같이 쓴다.
RAID 5는 RAID 0 과 RAID 1의 혼합형태로 하나의 disk가 spare가 되고 하나의 디스크가 문제가 발생시 복구 되는 형태이다. 경로는 /export 로 지정한다.
3) Computing node 설치
1. frontend의 터미널상에서 insert_ethers 명령 실행
2. computing 노드를 인식할 수 있는 모드로 들어간다. (옵션 중 제일 위의 compute 선택)
3. 각노드의 PXE부팅(F12) → 안되면 각 노드 전원 켜고 rocks CD 넣는다.
4. 이 과정을 모든 노드에 반복한다. 단 간격을 주고 해야 순서대로 인식이 된다.
5. 특정 호스트에 노드 붙이는 방법(c0-4에 붙이고자할때): insert-ethers --cabinet=0 --rank=4
6. 만약 노드를 물지 않는 것이 생긴다면… 물지 않은 노드 한뒤 다시 인식시켜준다.
insert_ethers --remove hostname 명령을 이용한다.
insert-ethers --remove="compute-0-1"
4) Ganglia 세팅
1. 방화벽 세팅
1. iptable내 80포트 오픈(root권한, /etc/sysconfig)
2. Disable setlinux
2. Configuration
1. /etc/gmetad.conf /etc/gmond.conf 파일을 수정해야한다.
2. Gmetad.conf 수정
파일을 열면 data_source “Cluster1” localhost:8649 부분이 있다.
여기에 다른 서버 정보를 추가하면 된다.
예) data_source “Cluster2” IP_ADDRESS
3. Gmond.conf 수정
trusted_hosts IP_ADDRESS
이 줄을 추가하면 이 로칼 서버의 모니터링 정보가IP_ADDRESS서버로 전송되어진다.
즉 IP_ADDRESS 주소서버의 ganglia를 보면 이 로칼 서버의 정보가 모니터링 되어진다.
/etc/init.d/gmetad restart
/etc/init.d/gmond restart
5) User 세팅
1. 기존 유저정보 있다면 다음 파일에 존재하는 정보를 옮겨온다. /etc/shadow, /etc/group, /etc/passwd
2. User추가에 있어…
1. adduser USERNAME
2. passwd USERNAME
3. su USERNAME
4. rocks sync users (root권한으로 su -)
6) 기타세팅
1. frontend 의 nfs 이용시 ( default ) 성능향상 옵션
> vi /etc/sysconfig/nfs
RPCNFSDCOUNT=64 <-------- 계산노드의 숫자보다 높게 설정
2. isilon 장비 (스토리지) 이용시 성능향상 옵션
> vi /etc/auto.master
/share /etc/auto.share --timeout=1200
/home /etc/auto.home --rsize=32768,wsize=32768,hard,intr
상기와 같이 수정후 저장.
아래의 명령으로 /etc/auto.master file 복사 및 autofs reload 실시함.
> rocks sync config
> rocks run host "service autofs reload"
