Mudanças entre as edições de "Minicluster:Rede"

De WikiLICC
Ir para: navegação, pesquisa
(Criou página com '* 16 máquinas escravo * 2 máquinas mestre * 1 switch O projeto consiste na substituição do cluster existente por um cluster constituído por 18 máquinas, um “switch”...')
 
m (Nova placa)
 
(21 revisões intermediárias pelo mesmo usuário não estão sendo mostradas)
Linha 1: Linha 1:
* 16 máquinas escravo
 
* 2 máquinas mestre
 
* 1 switch
 
 
O projeto consiste na substituição do cluster existente por um cluster constituído por 18 máquinas, um “switch” e um “no break”. 
 
 
* Máquina do projeto: [[Escravo Dell]]
 
* Máquinas da HP: [[Escravo HP]]
 
 
==Máquina escravo==
 
[[Imagem:HP5800.jpg]] [[Imagem:HP5800f.jpg]]
 
 
Descrição de uma máquina-escravo (de um total de 16 máquinas):
 
 
MICRO COMPUTADOR HP DC 5800 MT- AJ409AV#261 [http://www.seprolstore.com.br/index.php?center=descricao&id=020!0067]
 
*HP COMPAQ DC5800 Microtorre: [http://bizsupport1.austin.hp.com/bc/docs/support/SupportManual/c01363847/c01363847.pdf Manual DC5800]
 
*Processador Intel Core 2 Duo E7500
 
*2GB de memória RAM, PC2-6400, DDR2 800
 
*250GB de HD 3.5Ghz
 
*DVD-RW SATA SuperMulti LightScribe (tamanho '''238475 MB''')
 
** ATA ST32500318AS
 
*** Serial# 9VY0N31X
 
*** Serial# 9VY0K045
 
 
*Conexão Rede Gigabit Intel® 82566DM Integrada
 
*Dez (10) portas USB 2.0 (duas frontais, seis traseiras, dois internos two internal USB header) uma porta VGA, saída DVI (disponível via cartão ADD2 opcional), uma serial com a segunda opcional, duas portas PS/2 (mouse e teclado), tomada frontais para altofalantes e microfone, porta RJ-45, porta paralela opcional
 
*Placa Gráfica: Orion ADD2-N Dual Padx16 (PCI Express x 16)
 
*Microsoft Office Ready 2007
 
*Windows Vista Business com downgrade para XP Pro personalizado instalado (Português)
 
*Garantia de 3 anos onsite
 
<!-- * Valor estimado : R$ 1.350,00 x 16 = R$ 21.600,00 -->
 
 
==Máquina mestre==
 
 
Descrição de uma máquina mestre (de um total de 2 máquinas).
 
 
 
* [[Minicluster:Hardware:dmidecode]]
 
<!-- Valor estimado : R$ 2.477,00 x 2 = R$ 4.954,00 -->
 
 
===Processadores===
 
* [http://ark.intel.com/Product.aspx?id=36503 Intel Core 2 Duo 7500] ou [http://processorfinder.intel.com/Details.aspx?sSpec=SLB9Z], 3M Cache, 2.93 GHz, 1066 MHz FSB
 
 
===Descrição do “Switch”===
 
 
O switch deve comportar todos os nós e ter espaço para possíveis expansões na quantidade de nós do cluster. Um switch que comportaria nossas necessidades seria Switch Gigabit-Ethernet Gerenciável com 24 portas, que possui como características principais:
 
* Modelo: 3COM® 4200G 3CR17661-91
 
* Empresa: Philips Business Communication
 
* 24 saídas 10/100/1000 Mbit/s. Isso possibilita uma futura expansão do cluster até 24 nós.
 
* 2 saídas 10Gbit/s, uma poderá ser usada para acesso a um servidor para futura expansão de estrutura mestre-escravo e outra poderá ser usada para acesso a outro switch no futuro.
 
* Todas as saídas têm auto-negociação. As placas de rede do servidor e dos nós devem ser configuradas também para auto-negociação, caso contrário a conexão será half-duplex em vez de full-duplex.
 
<!-- * Valor estimado : R$ 3.600,00 -->
 
 
Outro item que deve ser observado na compra de um switch é a taxa de encaminhamento, ou seja, um switch de baixa qualidade pode ter a mesma largura de banda em cada porta do switch que escolhemos e mesmo assim não conseguir a velocidade máxima anunciada quando várias portas são utilizadas.
 
 
Um switch que permite o uso simultâneo de todas as portas na velocidade máxima é chamado de non-blocking. O switch escolhido ainda conta com recursos que podem ser gerenciados através de uma interface web apontada para o servidor web do switch. Os recursos incluem a possibilidade de replicar todo o tráfego para uma determinada porta, estatísticas de uso, etc.
 
 
* [http://support.3com.com/infodeli/tools/switches/4200/3Com_Switch-4200G_Getting-Started-Guide.pdf  Guia Inicial 4200G]
 
 
===No break (item não aprovado)===
 
 
O propósito do no break é evitar a perda de dados ou corrupção do sistema de arquivos em uma eventual queda de energia elétrica. Apenas as máquinas mestre serão conectadas ao no break.
 
 
Quando está funcionando em sua capacidade plena, o modelo sugerido é capaz de suportar a falta de alimentação por um intervalo de tempo de aproximadamente 30 minutos. Além disso, como possui interface para comunicação com as máquinas, ele é capaz de avisá-las quando sua carga está por terminar, o que permite o desligamento correto das máquinas antes da interrupção total da alimentação.
 
 
* Modelo: APC® BR-1500 120V - BR1500.
 
* Fabricante: APC.
 
<!-- * Valor estimado: R$ 900,00.-->
 
 
== Montagem Física ==
 
 
Desktop Dimensions (Direto do manual)
 
* Altura      50.65 cm
 
* Largura      17.73 cm
 
* Profundidade 42.87 cm
 
* Peso        10.66 kg
 
 
== Rede Elétrica e Arrefecimento ==
 
[http://www.tudosobreimoveis.com.br/conteudo.asp?t=1&id=497 Rede Elétrica]
 
 
 
== Topologia da rede ==
 
== Topologia da rede ==
[[Imagem:HP16.jpg]]
 
  
 
                         X.X.X.X  192.168.0.100
 
                         X.X.X.X  192.168.0.100
Linha 95: Linha 14:
 
=== vi /etc/hosts ===
 
=== vi /etc/hosts ===
  
  127.0.0.1       one.matrix      one    localhost.localdomain   localhost
+
  127.0.0.1   localhost localhost.localdomain
  ::1     one.matrix      one    localhost6.localdomain6 localhost6
+
  ::1         localhost6 localhost6.localdomain6
  ## retirada linha acima pois dois nodes achavam que eram one.matrix
+
   
  ## ::1 one.matrix      one    localhost6.localdomain6 localhost6
+
143.54.226.61  euler
 +
143.54.226.62  turing
 +
143.54.226.118 hunter  hunter.mat.ufrgs.br
 +
   
 +
  192.168.0.100 cellautoenp7s4
 
   
 
   
143.54.226.61  euler.mat.ufrgs.br  euler
 
143.54.226.118  hunter.mat.ufrgs.br hunter
 
 
 
192.168.0.50  switch
 
192.168.0.100 automato-eth0
 
 
 
 
  192.168.0.108 cell108
 
  192.168.0.108 cell108
 
  192.168.0.109 cell109
 
  192.168.0.109 cell109
Linha 115: Linha 32:
 
  192.168.0.114 cell114
 
  192.168.0.114 cell114
 
  192.168.0.115 cell115
 
  192.168.0.115 cell115
 
+
 
  192.168.0.116 cell116
 
  192.168.0.116 cell116
 
  192.168.0.117 cell117
 
  192.168.0.117 cell117
Linha 128: Linha 45:
 
===ifconfig===
 
===ifconfig===
 
* '''one'''
 
* '''one'''
      HWaddr               Hostname     inet addr:    Bcast:        Mask:        Link encap: inet6 addr:                Scope:
+
NIC      HWaddr             Hostname inet addr:    Bcast:        Mask:        Link encap: inet6 addr:                Scope:
  enp0s25 18:A9:05:E8:AE:0B one.matrix    143.54.226.116 143.54.227.255 255.255.254.0 Ethernet    fe80::f8b4:c258:f7e1:3939/64 Link
+
  enp0s25 18:A9:05:E8:AE:0B one       143.54.226.116 143.54.227.255 255.255.254.0 Ethernet    fe80::f8b4:c258:f7e1:3939/64 Link
  enp7s4 00:0A:5E:5C:2C:04               192.168.0.100  192.168.0.255  255.255.255.0 Ethernet
+
  enp7s4   00:0A:5E:5C:2C:04           192.168.0.100  192.168.0.255  255.255.255.0 Ethernet
 +
 +
lo                                    127.0.0.1                    255.0.0.0    Local Loopback ::1/128                  Host
 +
virbr0 ??????
  
lo                                  127.0.0.1                    255.0.0.0    Local Loopback ::1/128                  Host
+
====Desativar a interfave virbr0====
 +
*Foi necessário desativar a bridge virbr0 usando o Network Manager (o DRBL tentava configurar nós para a bridge também).
  
 +
A interface virbr0, ou "Virtual Bridge 0" é usada pelo NAT (Network Address Translation). Fornecida pela biblioteca libvirt e ambientes virtuais é algumas vezes usada para se conectar com redes externas.
  
  
* '''one_fedora13''' (velho)
 
      HWaddr            Hostname      inet addr:    Bcast:        Mask:        Link encap: inet6 addr:                Scope:
 
eth0 00:06:4F:61:C4:5A cellauto-eth0 192.168.0.100  192.168.0.255  255.255.255.0 Ethernet    fe80::206:4fff:fe61:c45a/64 (PLACA ESTRAGOU)
 
eth1 18:A9:05:E8:1E:16 one.matrix    143.54.226.166 143.54.227.255 255.255.254.0 Ethernet    fe80::1aa9:5ff:fee8:1e16/64 Link
 
eth2 00:0A:5E:5C:2C:04              192.168.0.100  192.168.0.255  255.255.255.0 Ethernet  (NOVA PLACA)
 
  
lo                                  127.0.0.1                    255.0.0.0    Local Loopback ::1/128                  Host
+
* '''cell108'''   
* '''cell101'''   
 
 
  eth0 18:A9:05:E8:0E:B8 cell101      192.168.0.101  192.168.0.255  255.255.255.0 Ethernet    fe80::1aa9:5ff:fee8:eb8/64  Link
 
  eth0 18:A9:05:E8:0E:B8 cell101      192.168.0.101  192.168.0.255  255.255.255.0 Ethernet    fe80::1aa9:5ff:fee8:eb8/64  Link
 
  lo                                  127.0.0.1                    255.0.0.0    Local Loopback ::1/128                  Host
 
  lo                                  127.0.0.1                    255.0.0.0    Local Loopback ::1/128                  Host
  
 
Trocar ip do mestre
 
Trocar ip do mestre
  vi /etc/sysconfig/network-scripts/
+
[root@one] $ cd /etc/sysconfig/network-scripts/
 +
[root@one] $ ls ifcfg*
 +
ifcfg-enp0s25
 +
ifcfg-enpPlaca
 +
ifcfg-lo
 +
 
 +
[root@one] $ vi ifcfg-enpPlaca
 +
...
 +
IPADDR=192.168.0.100
 +
PREFIX=24
 +
GATEWAY=192.168.0.255
 +
...
 +
 
 
* http://www.cyberciti.biz/faq/rhel-centos-fedoracore-linux-network-card-configuration/
 
* http://www.cyberciti.biz/faq/rhel-centos-fedoracore-linux-network-card-configuration/
  
 
== Patrimônio e MAC ==
 
== Patrimônio e MAC ==
 +
Os números MAC serão usados no DRBL.
 
  459708  18:A9:05:E8:ae:08  cell108  192.168.0.108
 
  459708  18:A9:05:E8:ae:08  cell108  192.168.0.108
 
  ....09  18:A9:05:E8:0e:b2  cell109  192.168.0.109
 
  ....09  18:A9:05:E8:0e:b2  cell109  192.168.0.109
Linha 175: Linha 104:
  
 
  461466  00:24:73:d7:a5:41  switch        192.168.0.50
 
  461466  00:24:73:d7:a5:41  switch        192.168.0.50
 +
 +
== Configurar servidor dhcp ==
 +
* descrever ....
 +
Parte do arquivo /etc/dhcp.conf deve ser configurada e parte será configurada pelo DRBL.
 +
<pre>
 +
# Generated by DRBL.
 +
# Do NOT modify this file unless you know what you are doing!
 +
 +
default-lease-time 300;
 +
max-lease-time 300;
 +
option subnet-mask 255.255.255.0;
 +
option domain-name-servers  143.54.2.165,143.54.2.166;
 +
option domain-name "drbl.org";
 +
ddns-update-style                      none;
 +
server-name drbl;
 +
 +
allow booting;
 +
allow bootp;
 +
   
 +
option arch code 93 = unsigned integer 16;
 +
option space pxelinux;
 +
option pxelinux.magic      code 208 = string;
 +
option pxelinux.configfile code 209 = text;
 +
option pxelinux.pathprefix code 210 = text;
 +
option pxelinux.reboottime code 211 = unsigned integer 32;
 +
 +
site-option-space "pxelinux";
 +
if exists dhcp-parameter-request-list {
 +
    # Always send the PXELINUX options (specified in hexadecimal)
 +
    option dhcp-parameter-request-list = concat(option dhcp-parameter-request-list,d0,d1,d2,d3);
 +
}
 +
 +
# (2) grub (drbl-gen-grub-efi-nb)
 +
if option arch = 00:06 {
 +
    filename "bootia32.efi";
 +
} else if option arch = 00:07 {
 +
    filename "bootx64.efi";
 +
} else if option arch = 00:09 {
 +
    # For iPXE uEFI client. Ref: http://ipxe.org/cfg/platform
 +
    # Thanks to Danny Russ for providing this.
 +
    filename "bootx64.efi";
 +
} else {
 +
    filename "pxelinux.0";
 +
}
 +
##
 +
## A parte abaixo é feita pelo DRBL
 +
##
 +
##########################################
 +
# The DRBL client class: PXE, Etherboot or DRBL client
 +
class "DRBL-Client" {
 +
  match if
 +
  (substring(option vendor-class-identifier, 0, 9) = "PXEClient") or
 +
  (substring(option vendor-class-identifier, 0, 9) = "Etherboot") or
 +
  (substring(option vendor-class-identifier, 0, 10) = "DRBLClient") ;
 +
}
 +
 +
subnet 192.168.0.0 netmask 255.255.255.0 {
 +
    option subnet-mask 255.255.255.0;
 +
    option routers 192.168.0.100;
 +
    next-server 192.168.0.100;
 +
 +
    host cellswitch {
 +
        hardware ethernet  00:24:73:d7:a5:41;
 +
        fixed-address 192.168.0.50;
 +
        # BY DAGO
 +
    }
 +
    host cell108 {
 +
        hardware ethernet  18:A9:05:E8:1E:16;
 +
        fixed-address 192.168.0.108;
 +
# option host-name "cell108";
 +
    }
 +
    host cell109 {
 +
      ...
 +
    }
 +
    host cell123 {
 +
      ...
 +
    }
 +
}
 +
</pre>
  
 
== Nova placa==
 
== Nova placa==
 
* A placa de rede MAC 00:06:4F:61:C4:5A aparenta problemas (físicos, porém pode ser apenas configuração)
 
* A placa de rede MAC 00:06:4F:61:C4:5A aparenta problemas (físicos, porém pode ser apenas configuração)
 
* Nova placa externa foi instalada MAC 00:0A:5E:5C:2C:04
 
* Nova placa externa foi instalada MAC 00:0A:5E:5C:2C:04
Entretanto ela está sendo nomeada como eth2 (talvez causando problema, pois não consigo ativá-la).
+
 
  
 
Comando úteis:
 
Comando úteis:

Edição atual tal como às 02h16min de 19 de julho de 2017

Topologia da rede

                       X.X.X.X  192.168.0.100
 /\/\/\/\/\/\/\/\/\       /------\     
< rede.mat.ufrgs.br >----<  one   >   
 \/\/\/\/\/\/\/\/\/       \------/   /----[ cell108 ]  192.168.0.108
                             |      /
                         +--------+/------[ cell109 ]  192.168.0.109
                         [ SWITCH ]
                         [        ]-------[ cell110 ]  192.168.0.110
                         +--------+\
                                    \-----[ cell111 ]  192.168.0.111

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain
::1         localhost6 localhost6.localdomain6

143.54.226.61  euler
143.54.226.62  turing
143.54.226.118 hunter   hunter.mat.ufrgs.br

192.168.0.100 cellautoenp7s4

192.168.0.108 cell108
192.168.0.109 cell109
192.168.0.110 cell110
192.168.0.111 cell111
 
192.168.0.112 cell112
192.168.0.113 cell113
192.168.0.114 cell114
192.168.0.115 cell115

192.168.0.116 cell116
192.168.0.117 cell117
192.168.0.118 cell118
192.168.0.119 cell119

192.168.0.120 cell120
192.168.0.121 cell121
192.168.0.122 cell122
192.168.0.123 cell123

ifconfig

  • one
NIC      HWaddr             Hostname  inet addr:     Bcast:         Mask:         Link encap: inet6 addr:                 Scope:
enp0s25  18:A9:05:E8:AE:0B  one       143.54.226.116 143.54.227.255 255.255.254.0 Ethernet    fe80::f8b4:c258:f7e1:3939/64 Link
enp7s4   00:0A:5E:5C:2C:04            192.168.0.100  192.168.0.255  255.255.255.0 Ethernet

lo                                    127.0.0.1                     255.0.0.0     Local Loopback ::1/128                  Host
virbr0 ??????

Desativar a interfave virbr0

  • Foi necessário desativar a bridge virbr0 usando o Network Manager (o DRBL tentava configurar nós para a bridge também).

A interface virbr0, ou "Virtual Bridge 0" é usada pelo NAT (Network Address Translation). Fornecida pela biblioteca libvirt e ambientes virtuais é algumas vezes usada para se conectar com redes externas.


  • cell108
eth0 18:A9:05:E8:0E:B8 cell101       192.168.0.101  192.168.0.255  255.255.255.0 Ethernet    fe80::1aa9:5ff:fee8:eb8/64  Link
lo                                   127.0.0.1                     255.0.0.0     Local Loopback ::1/128                  Host

Trocar ip do mestre

[root@one] $ cd /etc/sysconfig/network-scripts/
[root@one] $ ls ifcfg*
ifcfg-enp0s25
ifcfg-enpPlaca
ifcfg-lo
[root@one] $ vi ifcfg-enpPlaca
...
IPADDR=192.168.0.100
PREFIX=24
GATEWAY=192.168.0.255
...
 

Patrimônio e MAC

Os números MAC serão usados no DRBL.

459708  18:A9:05:E8:ae:08  cell108  192.168.0.108
....09  18:A9:05:E8:0e:b2  cell109  192.168.0.109
....10  18:A9:05:E8:0e:ec  cell110            .. 
....11  18:A9:05:E8:9e:49  cell111            ..
....12  18:A9:05:E8:ae:64  cell112
....13  18:A9:05:E8:9e:f7  cell113
....14  18:A9:05:E8:ae:0c  cell114
....15  18:A9:05:E8:ae:7b  cell115
....16  18:A9:05:E8:ae:18  cell116
....17  18:A9:05:E8:1e:1c  cell117
....18  18:A9:05:E8:0e:b8  cell118  (teste inicial)
....19  18:A9:05:E8:9e:f0  cell119  (sata -> one)
....20  18:A9:05:E8:9e:f4  cell120
....21  18:A9:05:E8:9e:8e  cell121
....22  18:A9:05:E8:9e:ea  cell122
....23  18:A9:05:E8:9e:a9  cell123
459724  18:A9:05:E8:ae:0b  tri
459725  18:A9:05:E8:1e:16  one.matrix     143.54.226.166 
  --    00:06:4F:61:C4:5A  theone         192.168.0.100 (PLACA REDE)
  --    00:0a:5e:5c:2c:04                               (NOVA PLACA REDE)
461466  00:24:73:d7:a5:41  switch         192.168.0.50

Configurar servidor dhcp

  • descrever ....

Parte do arquivo /etc/dhcp.conf deve ser configurada e parte será configurada pelo DRBL.

# Generated by DRBL. 
# Do NOT modify this file unless you know what you are doing!

default-lease-time			300;
max-lease-time				300;
option subnet-mask			255.255.255.0;
option domain-name-servers  		143.54.2.165,143.54.2.166;
option domain-name			"drbl.org";	
ddns-update-style                       none;
server-name 				drbl;

allow booting;
allow bootp;
    
option arch code 93 = unsigned integer 16;
option space pxelinux;
option pxelinux.magic      code 208 = string;
option pxelinux.configfile code 209 = text;
option pxelinux.pathprefix code 210 = text;
option pxelinux.reboottime code 211 = unsigned integer 32;

site-option-space "pxelinux";
if exists dhcp-parameter-request-list {
    # Always send the PXELINUX options (specified in hexadecimal)
    option dhcp-parameter-request-list = concat(option dhcp-parameter-request-list,d0,d1,d2,d3);
}

# (2) grub (drbl-gen-grub-efi-nb)
if option arch = 00:06 {
    filename "bootia32.efi";
} else if option arch = 00:07 {
    filename "bootx64.efi";
} else if option arch = 00:09 {
    # For iPXE uEFI client. Ref: http://ipxe.org/cfg/platform
    # Thanks to Danny Russ for providing this.
    filename "bootx64.efi";
} else {
    filename "pxelinux.0";
}
##
## A parte abaixo é feita pelo DRBL
##
##########################################
# The DRBL client class: PXE, Etherboot or DRBL client
class "DRBL-Client" {
  match if 
  (substring(option vendor-class-identifier, 0, 9) = "PXEClient") or
  (substring(option vendor-class-identifier, 0, 9) = "Etherboot") or
  (substring(option vendor-class-identifier, 0, 10) = "DRBLClient") ;
}

subnet 192.168.0.0 netmask 255.255.255.0 {
    option subnet-mask	255.255.255.0;
    option routers 192.168.0.100;
    next-server 192.168.0.100;

    host cellswitch {
        hardware ethernet  00:24:73:d7:a5:41;
        fixed-address 192.168.0.50;
        # BY DAGO
    }
    host cell108 {
        hardware ethernet  18:A9:05:E8:1E:16;
        fixed-address 192.168.0.108;
	# option host-name "cell108";
    }
    host cell109 {
      ...
    }
    host cell123 {
      ...
    }
}

Nova placa

  • A placa de rede MAC 00:06:4F:61:C4:5A aparenta problemas (físicos, porém pode ser apenas configuração)
  • Nova placa externa foi instalada MAC 00:0A:5E:5C:2C:04


Comando úteis:

  • atualiza nomes e dados de placas (não fez diferença)
[user] update-pciids