Mudanças entre as edições de "Minicluster:Linux"

De WikiLICC
Ir para: navegação, pesquisa
m (→‎Problemas)
m (→‎Escravo: Configurações)
 
(147 revisões intermediárias pelo mesmo usuário não estão sendo mostradas)
Linha 9: Linha 9:
 
* [http://www.pcworld.idg.com.au/article/208829/debian_linux_cluster_beats_supercomputer_tsunami_warnings?pp=1] ''We tried several Linux flavours, including Red Hat, Mandrake, Fedora etc,...'''Debian''' as the most stable in servers, especially when things are being done pretty much in automatic mode. In our workstations the preference among programmers is Ubuntu, which is basically Debian-based...''
 
* [http://www.pcworld.idg.com.au/article/208829/debian_linux_cluster_beats_supercomputer_tsunami_warnings?pp=1] ''We tried several Linux flavours, including Red Hat, Mandrake, Fedora etc,...'''Debian''' as the most stable in servers, especially when things are being done pretty much in automatic mode. In our workstations the preference among programmers is Ubuntu, which is basically Debian-based...''
  
−
Mesmo assim, não há preferências claras e acabamos escolhendo o Fedora pois possui ampla documentação na internet e está em contínua atualização. No momento a versão atual é [http://www.fedoraproject.org Fedora 12] e a máquina possui '''arquitetura x86-64'''.
+
Mesmo assim, não há preferências claras e acabamos escolhendo o Fedora pois possui ampla documentação na internet e está em continua atualização. No momento a versão atual é [http://www.fedoraproject.org Fedora 25] e a máquina possui '''arquitetura x86-64'''.
  
−
==Windows XP==
+
* Para versão Fedora13, ver [[Minicluster:Linux:Fedora13]]
−
Optei não apagar a instalação do Windows XP.
 
−
* Ligar a máquina e terminar a instalação do Windows XP
 
−
* Baixar atualizações disponíveis
 
−
* Desfragmentar o drive C:
 
  
−
==Fedora==
+
==Fedora25==
−
A partir do DVD de instalação do Fedora 12 (downloaded in 20100415).
+
* Download do Fedora-25-Workstation 64 bits.
 +
* Selecionar o drive: (ATA ST32500318AS) com tamanho 238475 MB (Serial Number 9VY0K045)
  
−
* Dar o boot via DVD
+
===Partições===
−
* Testar a mídia (pode pular esse passo)
+
Criar as partições.
−
* Escolher linguagem English
+
* Selecionar Create custom layout. Crie as partições:
−
* Escolher teclado ABNT2
+
** '''/boot''': 1000 MiB, '''ext4''', /sda1
−
** Basic Storage
+
** '''/home''': 5 GiB, '''ext4''', /sda2
 +
** '''/''':    50 GiB, '''ext4''', /sda3
 +
** '''/swap''': 5 GiB, '''swap''', /sda5
 +
 
 +
Seta o nome da máquina mestre:
 +
hostnamectl set-hostname one
 +
 
 +
==Pacotes Fedora 25==
 +
* Atualizar os pacotes do Linux depois da instalacão:
 +
dnf update dnf
 +
dnf update
 +
 
 +
* Instalar um desktop mais leve:
 +
dnf group install lxde-desktop
 +
 
 +
* Remover
 +
dnf remove vim-minimal        # conflito com o vim-enhanced abaixo
 +
 
 +
* Instalar
 +
dnf install sudo              # removido com o comando acima?
 +
dnf install htop atop
 +
dnf install vim-enhanced  emacs
 +
dnf install terminator
 +
dnf install gcc-gfortran gcc-g++
 +
dnf install mariadb php
 +
dnf install wol                # Pacote WakeOnLan
 +
 
 +
* Instalar gcc 4.9
 +
** [[Minicluster:Gcc49]]
 +
 
 +
* Ativar ssh
 +
systemctl enable sshd.service  # habilita iniciar no boot
 +
systemctl start  sshd.service  # inicia o sshd
 +
 
 +
 
 +
* Outros:
 +
** [[Linux:Pacotes]], firefox, java-1.x.x, thunderbird, cmake...,
 +
 
 +
===MPI===
 +
Instalar openmpi. Ver [https://fedoraproject.org/wiki/Packaging:MPI]. (No F13 tinhamos mpich2 e mpich2-devel)
 +
dnf install openmpi
 +
 
 +
==Configurações: mestre e escravo==
 +
* Desabilitar alguns serviços (ver [http://www.hscripts.com/tutorials/linux-services/acpid.html Serviços]):
 +
systemctl disable bluetooth.service
 +
* Outros servicos desabilitados no fedora13:  ip6tables,irda,  speech-dispatcherd, btseed, bttrack, dc-client, dc-server (desabilitados nos escravos fedora13: cups)
 +
 
 +
* Configurações para todos os usuários. Na inicialização:
 +
[root@one]$ vi /etc/profile.d/usuarios.sh
 +
#  configuracoes pessoais
 +
if [ "$PS1" ]; then
 +
  PS1="[\u@\h:\l \W]\\$ ";
 +
  if [ `id -u` = "0" ]; then
 +
    PS1='\[\033[01;31m\]\u\[\033[01;37m\]@\[\033[01;32m\]\h\[\033[01;34m\] \w \[\033[01;33m\]\$\[\033[00;37m\] ';
 +
  else
 +
    PS1='\[\033[01;33m\]\u\[\033[01;37m\]@\[\033[01;32m\]\h\[\033[01;34m\] \w \[\033[01;33m\]\$\[\033[00;37m\] ';
 +
  fi
 +
fi
 +
 +
PATH=$PATH:$HOME/bin
 +
export PATH
 +
 +
alias vi=vim
 +
# LANG="en_US.UTF-8"
 +
 
 +
Dica: O que estiver no diretório /etc/skel (testar) é copiado para todos os usuários.
 +
 
 +
==Configurações: mestre==
 +
=== Placa de rede e Internet ===
 +
 
 +
Na máquina mestre foi adicionada uma placa de rede extra para comunicação com o exterior (na verdade essa está ligada ao switch e a placa onboard está ligada a web).
  
−
* Hostname: um.phantom (seguir com dois,tres,quatro,...)
+
Apenas na primeira vez foi necessário liberar a placa de rede onboard para acessar a rede UFRGS
 +
* Usando o Firefox, foi informado o nome da máquina '''one'''
 +
* A máquina mestre recebeu o IP 143.54.226.116
  
−
===Partições===
+
===Hostnames===
−
O Harddisk possui tamanho XXX MB
+
[root@one]$ vi /etc/hosts
−
* A partição Windows foi encolhida para 50000 MB
+
−
** '''NÃO''' apagar a partição de Recovery que possui tamanho xxxx MB
+
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4 one.matrix
−
* Criar partição '''/boot''', com tamanho 1000 MB ('''tem''' de ser do tipo '''ext3''')
+
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6 one.matrix
−
* Criar partição '''/swap''' com tamanho 5000 MB (tipo '''ext4''')
+
−
* Criar partição '''/''' com tamanho 40000 MB (tipo '''ext4''')
+
143.54.226.61  euler
 +
143.54.226.62  turing
 +
143.54.226.118  hunter  hunter.mat.ufrgs.br
 +
 +
192.168.0.108 cell108
 +
192.168.0.109 cell109
 +
192.168.0.110 cell110
 +
192.168.0.111 cell111
 +
 +
192.168.0.112 cell112
 +
192.168.0.113 cell113
 +
192.168.0.114 cell114
 +
192.168.0.115 cell115
 +
 +
192.168.0.116 cell116
 +
192.168.0.117 cell117
 +
192.168.0.118 cell118
 +
192.168.0.119 cell119
 +
 +
192.168.0.120 cell120
 +
192.168.0.121 cell121
 +
192.168.0.122 cell122
 +
192.168.0.123 cell123
 +
 
 +
=== Firewall ===
 +
Foi necessário desativar o firewall do linux (configurar de maneira correta seria uma opção melhor, mas para o momento deixamos sem [http://news.softpedia.com/news/Iptables-Basic-Guide-35969.shtml])
 +
[root@one]$ systemctl status  firewalld
 +
[root@one]$ systemctl disable firewalld
 +
Se for necessário reiniciar use:
 +
[root@one]$ systemctl enable firewalld
 +
Veja em [https://www.liquidweb.com/kb/how-to-start-and-enable-firewalld-on-fedora-23/] ou mais antigos [http://lists.mcs.anl.gov/pipermail/mpich-discuss/2006-August/001521.html] e [http://lists.mcs.anl.gov/pipermail/mpich-discuss/2006-August/001526.html] e followups.
 +
 
 +
=== SELinux ===
 +
Pode ser complicado configurar, foi desligado por sugestão do DRBL. Veja [[SELinux]].
 +
 
 +
Para desabilitar o SELinux, configure
 +
root@one $ vi /etc/selinux/config
 +
...
 +
SELINUX=disabled
 +
...
 +
e para mostrar o status,
 +
root@one $ /usr/sbin/sestatus
 +
SELinux status:                disabled
 +
 
 +
=== Usuários e grupos ===
 +
Mudar o grupo 500 para grupo docentes e adicionar o grupo 501 alunos,
 +
[root@one]$ groupmod -g 500 -n docentes dago
 +
[root@one]$ groupadd -g 501 alunos
 +
[root@one]$ grep 50[0-1] /etc/group
 +
docentes:x:500:
 +
alunos:x:501:
 +
 
 +
 
 +
=Two cores ALIVE=
 +
grep -i core /proc/cpuinfo
 +
 +
model name      : Intel(R) Core(TM)2 Duo CPU    E7500  @ 2.93GHz
 +
core id        : 0
 +
cpu cores      : 2
 +
model name      : Intel(R) Core(TM)2 Duo CPU    E7500  @ 2.93GHz
 +
core id        : 1
 +
cpu cores      : 2
 +
 
 +
Com o comanto ''htop'' podemos ver os processos rodando por cpu. Também top, atop.
  
−
===Pacotes===
+
=Kernel=
−
Selecionar alguns pacotes a mais para instalar:
 
−
* Applications/Editions/emacs
 
−
* Applications/Eng Scientific
 
−
* Applications/Graphical Internet/Thunderbird
 
−
* Applications/Java Development
 
−
* Servers/MySQL
 
−
* Servers/DNS Name
 
−
* Servers/Server Configurations tools
 
−
* Servers/Windows File System
 
  
−
==Depois de instalar==
+
Último kernel instalado:
−
===Para entrar na internet===
+
[root]$ uname -a
−
* Foi informado o nome da máquina '''phum''' (seguindo phdois,phtres,...)
+
Linux one 4.8.6-300.fc25.x86_64 #1 SMP Tue Nov 1 12:36:38 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux
−
** Recebeu o IP 143.54.226.166
 
  
−
==Update==
+
<!--
−
Atualizar os pacotes do Linux
+
== Escravo: Configurações ==
−
yum update
+
Não vamos instalar diretamente nos escravos. Usaremos DRBL.
−
yum install mpich\*
+
=== Update e Instalação ===
 +
Não possui acesso a internet. Existem várias possibilidades, porém estou tentando o seguinte:
  
 +
* Baixar os pacotes .rpm necessários na máquina mestre e copiá-los para a máquina escravo.
 +
tcl-8.5.7-5.fc13.x86_64.rpm
 +
environment-modules-3.2.7b-7.fc13.x86_64.rpm
 +
mpich2-1.2.1p1-2.fc13.x86_64.rpm
 +
mpich2-devel-1.2.1p1-2.fc13.x86_64.rpm
 +
* Importar as [http://www.linuxquestions.org/questions/fedora-35/public-key-not-installed-468615/ keys] necessárias para instalar os pacotes (não instalou direito usando apenas rpm):
 +
[root@cell100]$ rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-fedora-x86_64
 +
ou melhor ainda, editar /etc/yum.conf para não reclamar sobre signature files
 +
[root@cell100]$ vi /etc/yum.conf
 +
..
 +
gpgcheck=0
 +
..
  
−
=Problemas=
+
* Instalar usando yum
−
A versão do kernel 2.6.32.11-99.fc12.x86_64 não está terminando de dar o boot (tranca depois de habilitar a tela gráfica sem fornecer a caixa para login).
 
  
−
Está FUNCIONANDO o Kernel 2.6.31.5-127.fc12.x86_64.
+
[root@cell100]$ yum localinstall tcl-8.5.7-5.fc13.x86_64.rpm    --disablerepo=fedora --disablerepo=updates
 +
[root@cell100]$ yum localinstall environment-modules-3.2.7b-7.fc13.x86_64.rpm --disablerepo=fedora --disablerepo=updates
 +
[root@cell100]$ yum localinstall mpich2-1.2.1p1-2.fc13.x86_64.rpm    --disablerepo=fedora --disablerepo=updates
 +
[root@cell100]$ yum localinstall mpich2-devel-1.2.1p1-2.fc13.x86_64.rpm --disablerepo=fedora --disablerepo=updates
 +
-->
  
 
==Veja também==
 
==Veja também==
 
* Voltar a [[Minicluster]]
 
* Voltar a [[Minicluster]]
 
* [[Minicluster:Hardware]]
 
* [[Minicluster:Hardware]]
 +
 +
* http://www.linux.org/docs/ldp/howto/Beowulf-HOWTO/x49.html
 +
* http://www.phy.duke.edu/~rgb/brahma//beowulf_book/beowulf_book.html
 +
* http://www.westgrid.ca/support/software
 +
 +
[[Categoria:Minicluster]]

Edição atual tal como às 01h49min de 19 de julho de 2017

O pacote MPICH2 é fornecido para os Linux:

  • Debian 1.2.1
    • Ubuntu 1.2 (based on Debian)
  • Fedora/RHEL/CentOS 1.2.1
  • Gentoo
  • FreeBSD 1.2.1

Uma opinião do controle de Tsunamis

  • [1] We tried several Linux flavours, including Red Hat, Mandrake, Fedora etc,...Debian as the most stable in servers, especially when things are being done pretty much in automatic mode. In our workstations the preference among programmers is Ubuntu, which is basically Debian-based...

Mesmo assim, não há preferências claras e acabamos escolhendo o Fedora pois possui ampla documentação na internet e está em continua atualização. No momento a versão atual é Fedora 25 e a máquina possui arquitetura x86-64.

Fedora25

  • Download do Fedora-25-Workstation 64 bits.
  • Selecionar o drive: (ATA ST32500318AS) com tamanho 238475 MB (Serial Number 9VY0K045)

Partições

Criar as partições.

  • Selecionar Create custom layout. Crie as partições:
    • /boot: 1000 MiB, ext4, /sda1
    • /home: 5 GiB, ext4, /sda2
    • /: 50 GiB, ext4, /sda3
    • /swap: 5 GiB, swap, /sda5

Seta o nome da máquina mestre: 

hostnamectl set-hostname one

Pacotes Fedora 25

  • Atualizar os pacotes do Linux depois da instalacão:
dnf update dnf
dnf update
  • Instalar um desktop mais leve:
dnf group install lxde-desktop
  • Remover
dnf remove vim-minimal         # conflito com o vim-enhanced abaixo
  • Instalar
dnf install sudo               # removido com o comando acima?
dnf install htop atop
dnf install vim-enhanced  emacs
dnf install terminator
dnf install gcc-gfortran gcc-g++
dnf install mariadb php
dnf install wol                 # Pacote WakeOnLan
  • Ativar ssh
systemctl enable sshd.service  # habilita iniciar no boot
systemctl start  sshd.service  # inicia o sshd


  • Outros:

MPI

Instalar openmpi. Ver [2]. (No F13 tinhamos mpich2 e mpich2-devel) 

dnf install openmpi

Configurações: mestre e escravo

  • Desabilitar alguns serviços (ver Serviços):
systemctl disable bluetooth.service
  • Outros servicos desabilitados no fedora13: ip6tables,irda, speech-dispatcherd, btseed, bttrack, dc-client, dc-server (desabilitados nos escravos fedora13: cups)
  • Configurações para todos os usuários. Na inicialização:
[root@one]$ vi /etc/profile.d/usuarios.sh
#   configuracoes pessoais
if [ "$PS1" ]; then
  PS1="[\u@\h:\l \W]\\$ ";
  if [ `id -u` = "0" ]; then
    PS1='\[\033[01;31m\]\u\[\033[01;37m\]@\[\033[01;32m\]\h\[\033[01;34m\] \w \[\033[01;33m\]\$\[\033[00;37m\] ';
  else
    PS1='\[\033[01;33m\]\u\[\033[01;37m\]@\[\033[01;32m\]\h\[\033[01;34m\] \w \[\033[01;33m\]\$\[\033[00;37m\] ';
  fi
fi

PATH=$PATH:$HOME/bin
export PATH

alias vi=vim
# LANG="en_US.UTF-8"

Dica: O que estiver no diretório /etc/skel (testar) é copiado para todos os usuários.

Configurações: mestre

Placa de rede e Internet

Na máquina mestre foi adicionada uma placa de rede extra para comunicação com o exterior (na verdade essa está ligada ao switch e a placa onboard está ligada a web).

Apenas na primeira vez foi necessário liberar a placa de rede onboard para acessar a rede UFRGS

  • Usando o Firefox, foi informado o nome da máquina one
  • A máquina mestre recebeu o IP 143.54.226.116

Hostnames

[root@one]$ vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 one.matrix
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 one.matrix

143.54.226.61   euler
143.54.226.62   turing
143.54.226.118  hunter   hunter.mat.ufrgs.br

192.168.0.108 cell108
192.168.0.109 cell109
192.168.0.110 cell110
192.168.0.111 cell111

192.168.0.112 cell112
192.168.0.113 cell113
192.168.0.114 cell114
192.168.0.115 cell115

192.168.0.116 cell116
192.168.0.117 cell117
192.168.0.118 cell118
192.168.0.119 cell119

192.168.0.120 cell120
192.168.0.121 cell121
192.168.0.122 cell122
192.168.0.123 cell123

Firewall

Foi necessário desativar o firewall do linux (configurar de maneira correta seria uma opção melhor, mas para o momento deixamos sem [3]) 

[root@one]$ systemctl status  firewalld
[root@one]$ systemctl disable firewalld

Se for necessário reiniciar use: 

[root@one]$ systemctl enable firewalld

Veja em [4] ou mais antigos [5] e [6] e followups.

SELinux

Pode ser complicado configurar, foi desligado por sugestão do DRBL. Veja SELinux.

Para desabilitar o SELinux, configure 

root@one $ vi /etc/selinux/config
...
SELINUX=disabled
...

e para mostrar o status, 

root@one $ /usr/sbin/sestatus
SELinux status:                 disabled

Usuários e grupos

Mudar o grupo 500 para grupo docentes e adicionar o grupo 501 alunos, 

[root@one]$ groupmod -g 500 -n docentes dago
[root@one]$ groupadd -g 501 alunos
[root@one]$ grep 50[0-1] /etc/group
docentes:x:500:
alunos:x:501:


Two cores ALIVE

grep -i core /proc/cpuinfo

model name      : Intel(R) Core(TM)2 Duo CPU     E7500  @ 2.93GHz
core id         : 0
cpu cores       : 2
model name      : Intel(R) Core(TM)2 Duo CPU     E7500  @ 2.93GHz
core id         : 1
cpu cores       : 2

Com o comanto htop podemos ver os processos rodando por cpu. Também top, atop.

Kernel

Último kernel instalado: 

[root]$ uname -a
Linux one 4.8.6-300.fc25.x86_64 #1 SMP Tue Nov 1 12:36:38 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux


Veja também

Disponível em "http://hunter.mat.ufrgs.br/mediawiki/index.php?title=Minicluster:Linux&oldid=5652"