NộI Dung
là một wiki, có nghĩa là nhiều bài viết được viết bởi một số tác giả. Để tạo ra bài viết này, 18 người, một số người vô danh, đã tham gia vào phiên bản của nó và cải tiến theo thời gian.Bạn có cần một cỗ máy phải thực hiện hàng trăm tỷ phép tính dấu phẩy động mỗi giây không? Bạn có cần một câu chuyện để giải thích làm thế nào siêu máy tính của bạn trong hầm nổ tung máy cắt không? Xây dựng một cụm (hoặc cụm) máy tính hiệu năng cao là một thách thức mà bất kỳ chuyên gia nào cũng có thể vượt qua trong một ngày cuối tuần với ngân sách phù hợp. Từ quan điểm kỹ thuật, một siêu máy tính đa xử lý hiện đại là một mạng lưới các máy tính hoạt động song song để giải quyết vấn đề. Bằng cách làm theo các bước đơn giản để gắn thiết bị và cài đặt phần mềm cần thiết, bạn cũng có thể có một siêu máy tính.
giai đoạn
-
Xác định các thiết bị và tài nguyên cần thiết. Bạn sẽ cần một nút đầu, ít nhất mười hai nút giống hệt nhau, bộ chuyển mạch Ethernet, bộ cấp nguồn và giá đỡ. Xác định nhu cầu của bạn về điện, làm mát và không gian. Bạn cũng cần quyết định địa chỉ IP nào bạn muốn sử dụng cho mạng riêng của mình, tên của các nút, phần mềm bạn muốn cài đặt và công nghệ bạn muốn cho khả năng tính toán (chúng tôi sẽ quay lại vấn đề này sau).- Ngay cả khi phần cứng sẽ khiến bạn phải trả giá đắt, tất cả các phần mềm được trình bày trong bài viết này đều miễn phí và hầu hết đều không có quyền.
- Nếu bạn muốn có được một ý tưởng về tốc độ siêu máy tính có thể đạt được, bạn có thể sử dụng công cụ này: http://hpl-calculator.sourceforge.net/.
-
Cài đặt các nút. Bạn sẽ phải tập hợp các nút hoặc nhận các máy chủ được cài đặt sẵn.- Chọn khung máy chủ có nhiều không gian, hệ thống làm mát phù hợp và tối ưu hóa năng lượng.
- Bạn cũng có thể sử dụng một tá máy chủ cũ, tổng số này sẽ vượt quá sức mạnh của từng đơn vị và bạn sẽ tiết kiệm được rất nhiều tiền. Tất cả các bộ xử lý, bộ điều hợp mạng và bo mạch chủ phải giống hệt nhau để toàn bộ hệ thống hoạt động trơn tru. Tất nhiên, bạn không nên quên RAM và lưu trữ cho mỗi nút, cũng như ít nhất một ổ đĩa cho đầu.
-
Cài đặt các máy chủ trên kệ. Bắt đầu ở phía dưới nếu đỉnh của kệ không có trọng số. Bạn cũng sẽ cần một người bạn để giúp bạn, các máy chủ có thể rất nặng và sẽ rất khó để hướng dẫn họ trên đường ray của kệ. -
Cài đặt công tắc Ethernet trên đỉnh của khung. Hãy dành một chút thời gian để cấu hình nó. Cho phép kích thước khung khổng lồ 9000 byte, đặt địa chỉ IP thành địa chỉ tĩnh bạn đã chọn trong bước đầu tiên và vô hiệu hóa các giao thức không cần thiết như rình mò SMTP. -
Cài đặt đơn vị hiện tại. Tùy thuộc vào mức độ hiện tại của các nút sẽ cần, bạn có thể sẽ cần một đơn vị 220 volt. -
Cấu hình phần cứng. Khi bạn đã cài đặt mọi thứ, bạn có thể bắt đầu cấu hình phần cứng. Linux là hệ điều hành mặc định cho các cụm HPC, không chỉ vì đây là môi trường tốt nhất cho các tính toán khoa học, mà còn vì nó hoàn toàn miễn phí để cài đặt trên hàng trăm hoặc hàng nghìn nút. Hãy tưởng tượng mức giá bạn sẽ trả nếu bạn phải cài đặt Windows trên mỗi nút này.- Bắt đầu bằng cách cài đặt firmware BIOS và bo mạch chủ mới nhất phải giống nhau cho tất cả các bo mạch chủ.
- Cài đặt phân phối Linux ưa thích của bạn trên mỗi nút và phân phối có giao diện đồ họa trên nút đầu. CentOS, OpenSuse, Khoa học Linux, RedHat hoặc SLES thường được sử dụng.
- Đối với bài viết này, chúng tôi khuyên bạn nên sử dụng Rocks Cluster. Ngoài việc cài đặt tất cả các công cụ cần thiết để các cụm hoạt động chính xác, Rocks sử dụng một phương pháp tuyệt vời để nhanh chóng "phân phối" nhiều bản thân cho các nút bằng cách sử dụng khởi động PXE và quy trình Khởi động nhanh Red Tea Tree Oil.
-
Cài đặt phần mềm. Cài đặt giao diện để truyền, quản lý tài nguyên và các thư viện cần thiết khác. Nếu bạn không cài đặt Rocks ở bước trước, bạn sẽ phải tự cấu hình tất cả các phần mềm cần thiết để kích hoạt các cơ chế tính toán song song.- Trước tiên, bạn sẽ cần một hệ thống quản lý bash, chẳng hạn như Torque Resource Manager, cho phép bạn phân chia và phân phối các tác vụ khác nhau trên nhiều máy.
- Mô-men xoắn Mô-men xoắn với Bộ lập lịch cụm Maui để hoàn tất cấu hình.
- Tiếp theo, bạn sẽ cần cài đặt giao diện người gửi cần thiết cho các quy trình trên các máy khác nhau để chia sẻ cùng một dữ liệu. Cài đặt OpenMP, nó rất dễ sử dụng.
- Đừng quên các thư viện và trình biên dịch đa luồng để tạo các chương trình tính toán song song. Một lần nữa, Rocks là giải pháp tốt nhất.
-
Kết nối các nút trong một mạng. Nút đầu gửi các tác vụ sẽ được thực hiện đến các nút tính toán khác sẽ trả về kết quả trong khi gửi tin nhắn cho nhau. Càng đi nhanh, càng tốt.- Sử dụng mạng Ethernet riêng để liên kết tất cả các nút này thành một cụm.
- Nút đầu cũng có thể hoạt động như một máy chủ NFS, PXE, DHCP, TFTP và NTP trên mạng bạn đang tạo.
- Bạn phải tách mạng này khỏi các mạng công cộng để đảm bảo rằng các gói mà máy chủ trao đổi không can thiệp vào các gói được trao đổi trên phần còn lại của mạng.
-
Kiểm tra cụm. Điều cuối cùng bạn cần làm trước khi giải phóng toàn bộ sức mạnh của siêu máy tính của mình là kiểm tra hiệu năng của nó. Kiểm tra hiệu năng Lynpack hiệu suất cao (HPL) là một lựa chọn phổ biến để đo tốc độ tính toán của cụm máy tính. Bạn sẽ phải biên dịch nó từ nguồn của nó với tất cả các tối ưu hóa mà trình biên dịch của bạn cung cấp theo kiến trúc bạn đã chọn.- Rõ ràng, bạn phải biên dịch nó từ nguồn cung cấp cho bạn nhiều tùy chọn nhất để tối ưu hóa nền tảng của bạn. Ví dụ: nếu bạn đang sử dụng bộ xử lý AMD, hãy biên dịch nó với Open64 bằng cách chọn mức tối ưu hóa -0fast.
- So sánh kết quả trên TOP500.org để xem liệu siêu máy tính của bạn có thể cạnh tranh với 500 siêu máy tính mạnh nhất thế giới hay không!
- Để đạt tốc độ rất nhanh trên mạng, hãy tìm hiểu về giao diện InfiniBand. Tuy nhiên, hãy sẵn sàng để phá vỡ con heo đất.
- IPMI có thể giúp việc quản trị quy mô lớn trở nên dễ dàng hơn bằng cách mang đến cho bạn KVM-over-IP, một chu kỳ năng lượng riêng biệt và hơn thế nữa.
- Sử dụng Ganglia để theo dõi tải tính toán trên các nút.
- Hãy chắc chắn rằng cơ sở hạ tầng của bạn có thể hỗ trợ tải.