MOT服务器优化:基于Arm的华为TaiShan2P/4P服务器

以下是基于Arm/鲲鹏架构的华为TaiShan 2280 v2服务器(2路128核)和TaiShan 2480 v2服务器(4路256核)上运行MOT时的建议配置。

除非另有说明,以下设置适用于客户端和服务器的机器。

BIOS

修改BIOS相关设置:

  1. 选择 BIOS > Advanced > MISC Config。设置 Support SmmuDisabled

  2. 选择 BIOS > Advanced > MISC Config。设置 CPU Prefetching ConfigurationDisabled

    MOT服务器优化:基于Arm的华为TaiShan2P/4P服务器 - 图1

  3. 选择 BIOS > Advanced > Memory Config。设置 Die InterleavingDisabled

    MOT服务器优化:基于Arm的华为TaiShan2P/4P服务器 - 图2

  4. 选择 BIOS > Advanced > Performance Config。设置 Power PolicyPerformance

    MOT服务器优化:基于Arm的华为TaiShan2P/4P服务器 - 图3

操作系统:内核和启动

  • 以下操作系统内核和启动参数通常由sysadmin配置。

    配置内核参数,如下所示。

    1. net.ipv4.ip_local_port_range = 9000 65535
    2. kernel.sysrq = 1
    3. kernel.panic_on_oops = 1
    4. kernel.panic = 5
    5. kernel.hung_task_timeout_secs = 3600
    6. kernel.hung_task_panic = 1
    7. vm.oom_dump_tasks = 1
    8. kernel.softlockup_panic = 1
    9. fs.file-max = 640000
    10. kernel.msgmnb = 7000000
    11. kernel.sched_min_granularity_ns = 10000000
    12. kernel.sched_wakeup_granularity_ns = 15000000
    13. kernel.numa_balancing=0
    14. vm.max_map_count = 1048576
    15. net.ipv4.tcp_max_tw_buckets = 10000
    16. net.ipv4.tcp_tw_reuse = 1
    17. net.ipv4.tcp_tw_recycle = 1
    18. net.ipv4.tcp_keepalive_time = 30
    19. net.ipv4.tcp_keepalive_probes = 9
    20. net.ipv4.tcp_keepalive_intvl = 30
    21. net.ipv4.tcp_retries2 = 80
    22. kernel.sem = 32000 1024000000 500 32000
    23. kernel.shmall = 52805669
    24. kernel.shmmax = 18446744073692774399
    25. sys.fs.file-max = 6536438
    26. net.core.wmem_max = 21299200
    27. net.core.rmem_max = 21299200
    28. net.core.wmem_default = 21299200
    29. net.core.rmem_default = 21299200
    30. net.ipv4.tcp_rmem = 8192 250000 16777216
    31. net.ipv4.tcp_wmem = 8192 250000 16777216
    32. net.core.somaxconn = 65535
    33. vm.min_free_kbytes = 5270325
    34. net.core.netdev_max_backlog = 65535
    35. net.ipv4.tcp_max_syn_backlog = 65535
    36. net.ipv4.tcp_syncookies = 1
    37. vm.overcommit_memory = 0
    38. net.ipv4.tcp_retries1 = 5
    39. net.ipv4.tcp_syn_retries = 5
    40. ##NEW
    41. kernel.sched_autogroup_enabled=0
    42. kernel.sched_min_granularity_ns=2000000
    43. kernel.sched_latency_ns=10000000
    44. kernel.sched_wakeup_granularity_ns=5000000
    45. kernel.sched_migration_cost_ns=500000
    46. vm.dirty_background_bytes=33554432
    47. kernel.shmmax=21474836480
    48. net.ipv4.tcp_timestamps = 0
    49. net.ipv6.conf.all.disable_ipv6=1
    50. net.ipv6.conf.default.disable_ipv6=1
    51. net.ipv4.tcp_keepalive_time=600
    52. net.ipv4.tcp_keepalive_probes=3
    53. kernel.core_uses_pid=1
  • 调优服务

    以下为必填项。

    服务器必须运行throughput-performance配置文件:

    1. [...]$ tuned-adm profile throughput-performance

    throughput-performance配置文件是广泛适用的调优,它为各种常见服务器工作负载提供卓越的性能。

    其他不太适合openGauss和MOT服务器的配置可能会影响MOT的整体性能,包括:平衡配置、桌面配置、延迟性能配置、网络延迟配置、网络吞吐量配置和节能配置。

  • 启动调优

    在内核启动参数中添加iommu.passthrough=1。

    在pass-through模式下运行时,适配器需要DMA转换到内存,从而提高性能。