옥탑방람보

<일반적인 경우>

$> useradd userid

$> passwd userid

$> su - userid  

$> exit

$> rocks sync users

 

<nas를 계정의 홈디렉토리로 사용하는 경우>

$> mount -t nfs XXX.XXX.XXX.XXX:/nas/data/home /mnt

$> useradd -d /mnt/userid userid

$> passwd userid

$> su - userid

$> vi /etc/passwd (root계정으로)  

   userid:x:501:501::/home/userid:/bin/bash   #home 디렉토리 위치를 /mnt/userid 에서 /home/userid 로 수정

$> vi /etc/auto.home

   userid   XXX.XXX.XXX.XXX:/nas/data/home/userid  #추가

$> su - userid

$> exit

$> umount /mnt

$> rocks sync users

 

== rocks syns users 했는데, 모든 노드에 설정이 반영되지 않을 때

$> rocks run host "411get --all; service autofs restart"

$> rocks sync users

 

== 위와 같이 해도 안될때 컴퓨팅 노드에 411 데몬 마스터 노드 아이피가 정확하게 입력되었는지 확인

$ compute-0-0> cat /etc/411.conf

만약 틀리게 입력되어 있으면 모든 노드에 있는 이 파일을 수정하고

$> rocks run host "411get --all; service autofs restart"

$> rocks sync users

rocks sync users 명령어 실행시 다음과 같은 에러가 발생하는 경우

/opt/rocks/sbin/411put --comment="#" /etc/auto.home
Warning: Your private interface (eth0) is down
Alert message will not be sent.
411 Wrote: /etc/411.d/etc.auto..home
Size: 490/185 bytes (encrypted/plain)


이 경우는 통상적으로 사용되는 eth0 를 사용하지 않는 경우 발생한다.
rocks 명령어들은 기본적으로 eth0를 통해 사설 노드들에 접근하여 명령어를 실행하도록 지정되어 있기 때문이다.

# /opt/rocks/bin/python -c "import gmon.Network ; print gmon.Network.interfaces()"
{'lo': '127.0.0.1/8', 'bond0.611': '192.168.12.48/20', 'bond0.303': '10.91.3.98/24'}

위와 같은 결과가 나타난다는 것은 eth0 대신하여 bond0.611 로 변경해주어야 한다.

in the file:
    /opt/rocks/lib/python2.4/site-packages/rocks/net.py
change:
                if 'eth0' in intfs:
                        return 'eth0'
to:
                if 'bond0.611' in intfs:
                        return 'bond0.611'
then try 'rocks sync users'

(위와 같이 변경 후 처음 실행시 시간이 좀 걸릴 수 있음. 약 5분)


* rocks-discuss 에서 참고하였음.

Cluster Setting

<다운로드>

OS: Rocks Clusters 5.1 (http://rocksclusters.org)

Job manager: Torque 2.4 (http://www.clusterresources.com/products/torque-resource-manager.php)

Install document: http://www.rocksclusters.org/rocks-documentation/4.3/install-frontend.html

 

<준비사항> OS, DVD-ROM, Torque roll이 담긴 CD (선택사항)

 

<설치>

1) Frontend 설치

1. 네트웍선은 eth1에 연결하여 외부로 연결되는 스위치에 연결

2. Eth0는 사설 IP 연결, Eth1는 public IP 연결 (변경가능)

3. 사설 IP는 내부 네트워망에서 쓰는 IP로 cluster에서 각 노드들을 묶어 주는 스위치단에서 할당된다. Public IP는 우리가 보통 쓰는 IP

2) OS 설치

1. DVD넣은 후 화면상에 build 입력하여 frontend로 들어간다. (Computing노드로 들어갈 때에는 그냥 엔터) (IP를 넣으라는 화면이 나오면 back버튼을 눌러야 되는 <= 이런 어이없는 경우 있음)

2. Local Rolls는 로칼머신에 필요한 패키지 설치이다. 여기에서 base, ganglia, hpc, kernel, os, sge는 반드시 필요한 것들이며 나머지들도 필요시 설치해준다.

3. SGE대신 Torque설치시에는 여기에서 Torque roll 담긴 CD를 이용하여 roll을 띄워 같이 설치한다.

4. Ethernet Configuration for eth0이 나오면 설정을 바꾸지 않고 바로 다음으로 넘어간다. (사설아이피 세팅, 사설아이피 대역 설정필요시 여기서 조정가능)

5. Ethernet Configuration for eth1이 나오면 적절한 IP등을 넣어준다. IP, Netmask, Gateway, DNS

6. manual partitioning 선택

7. /boot, /, swap, /export 잡아 줌. (/export 영역이 마스터와 노드가 공유하는 영역임)

8. SoftRaid 잡을 경우

1. RAID로 잡을 것들을 모두 software RAID로 잡는다.

2. 각 디스크들을 하나씩 지정하며 software RAID로 지정한다.

3. 모두 지정하고 나서 RAID라는 버튼을 누른다.

4. RAID 타입을 설정한다.

RAID 0는 전체의 디스크를 하나로 쓰게 하는 것이다.

RAID 1은 mirroring하는 형태이다. 같은 내용을 두개의 다른 disk에 똑같이 쓴다.

RAID 5는 RAID 0 과 RAID 1의 혼합형태로 하나의 disk가 spare가 되고 하나의 디스크가 문제가 발생시 복구 되는 형태이다. 경로는 /export 로 지정한다.

3) Computing node 설치

1. frontend의 터미널상에서 insert_ethers 명령 실행

2. computing 노드를 인식할 수 있는 모드로 들어간다. (옵션 중 제일 위의 compute 선택)

3. 각노드의 PXE부팅(F12) → 안되면 각 노드 전원 켜고 rocks CD 넣는다.

4. 이 과정을 모든 노드에 반복한다. 단 간격을 주고 해야 순서대로 인식이 된다.

5. 특정 호스트에 노드 붙이는 방법(c0-4에 붙이고자할때): insert-ethers --cabinet=0 --rank=4

6. 만약 노드를 물지 않는 것이 생긴다면… 물지 않은 노드 한뒤 다시 인식시켜준다.

insert_ethers --remove hostname 명령을 이용한다.

insert-ethers --remove="compute-0-1"

4) Ganglia 세팅

1. 방화벽 세팅

1. iptable내 80포트 오픈(root권한, /etc/sysconfig)

2. Disable setlinux

2. Configuration

1. /etc/gmetad.conf   /etc/gmond.conf 파일을 수정해야한다.

2. Gmetad.conf 수정

파일을 열면 data_source  “Cluster1” localhost:8649 부분이 있다.

여기에 다른 서버 정보를 추가하면 된다.

예) data_source “Cluster2” IP_ADDRESS

3. Gmond.conf 수정

trusted_hosts  IP_ADDRESS

이 줄을 추가하면 이 로칼 서버의 모니터링 정보가IP_ADDRESS서버로 전송되어진다.

즉 IP_ADDRESS 주소서버의 ganglia를 보면 이 로칼 서버의 정보가 모니터링 되어진다.

/etc/init.d/gmetad restart

     /etc/init.d/gmond restart

5) User 세팅

1. 기존 유저정보 있다면 다음 파일에 존재하는 정보를 옮겨온다.  /etc/shadow, /etc/group, /etc/passwd

2. User추가에 있어…

1. adduser USERNAME

2. passwd USERNAME

3. su USERNAME

4. rocks sync users (root권한으로 su -)

6) 기타세팅

1. frontend 의 nfs 이용시 ( default ) 성능향상 옵션

> vi /etc/sysconfig/nfs

RPCNFSDCOUNT=64  <-------- 계산노드의 숫자보다 높게 설정

2. isilon 장비 (스토리지) 이용시 성능향상 옵션

> vi /etc/auto.master

/share /etc/auto.share --timeout=1200

/home /etc/auto.home --rsize=32768,wsize=32768,hard,intr

상기와 같이 수정후 저장.

아래의 명령으로 /etc/auto.master file 복사 및 autofs reload 실시함.

> rocks sync config

> rocks run host "service autofs reload"