跳至內容

如何對 Amazon EC2 Linux 執行個體上的高記憶體使用率問題進行疑難排解?

4 分的閱讀內容
0

我想對 Amazon Elastic Compute Cloud (Amazon EC2) Linux 執行個體中記憶體使用率過高的問題進行疑難排解。

簡短描述

如果 EC2 Linux 執行個體記憶體使用率高,系統效能可能會降級或凍結。這些效能問題通常是由於記憶體洩漏、資源密集型程序或記憶體分配不足而發生的。若要解決這些問題,請先使用 Linux 系統工具來找出問題的根本原因。然後,遵循下列疑難排解步驟來解決根本原因。

解決方法

找出問題的根本原因

若要找出問題的原因,請檢查執行個體的記憶體使用模式。

若要檢查目前的記憶體使用情況,請執行以下命令:

free -h

輸出結果範例:

      total       used        free        shared      buff/cache   available
Mem:  15Gi        7.2Gi       2.1Gi       1.2Gi       5.7Gi        6.3Gi
Swap: 8Gi         6.5Gi       1.5Gi

若要尋找執行個體上佔用大量記憶體的程序,請執行 top 命令:

top

輸出結果範例:

    top - 14:23:45 up 15 days, 3:42, 1 user, load average: 2.15, 1.98, 1.75
Tasks: 256 total,   2 running, 254 sleeping,   0 stopped,   0 zombie
%Cpu(s): 24.8 us, 12.3 sy,  0.0 ni, 62.1 id,  0.8 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :  32768.0 total,   2453.2 free,  24156.4 used,   6158.4 buff/cache
MiB Swap:   4096.0 total,   3012.5 free,   1083.5 used.   2537.2 avail Mem

   PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
  1234 mysql     20   0   18.2g  15.1g   5.1g S  45.0  47.2   220:31 mysqld
  5678 tomcat    20   0   12.8g  11.2g   124m S  85.2  70.1   445:22 java

若要尋找執行個體中消耗最多記憶體的程序,請執行以下命令:

ps aux --sort=-%mem | head -n 5

輸出結果範例:

USER   PID   %CPU %MEM  VSZ    RSS   TTY  STAT  START TIME    COMMAND
mysql  1234  45.0 47.2  18.2g  15.1g ?    Ssl   Jan10 220:31
mysqldjava
       5678  85.2 70.1  12.8g  11.2g ?    Ssl   Jan12 445:22
javaapache
       9012  25.3 23.8  4.2g   3.8g  ?    Ss    Jan12 178:44
httpd

若要檢查交換活動,請執行以下命令:

vmstat 1 5

輸出結果範例:

    procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  0 6650880  2150012 189408 5678024 45  67   234   567 300 450 65 15 10 10  0

注意: 高交換活動會顯著降低系統的速度。

疑難排解交換使用率過高的問題

請完成以下步驟:

  1. 若要減少交換量,請執行以下命令:

    sudo sysctl vm.swappiness=10
  2. 若要尋找使用最多交換量的程序,請執行下列命令:

    smem -s swap -r
  3. 若要檢查特定程序的交換使用率,請執行下列命令:

    grep VmSwap /proc/PID/status

    注意: 將 PID 替換為程序 ID (PID)。

  4. 若要在低流量期間重新啟動具有高交換使用率的特定程序,請執行下列命令:

    systemctl restart service-name

    注意: 將 service-name 替代為服務名稱。

  5. 若要清除交換,請執行以下命令:

    sudo swapoff -a && sudo swapon -a

    重要: 如果執行個體的實體記憶體不足以支援上一個命令,則可能會出現記憶體不足 (OOM) 錯誤。

對記憶體不足的執行個體進行疑難排解

如果您的執行個體記憶體不足,則核心會執行 OOM 事件來停止程序並釋放記憶體。核心也會記錄該事件。

若要尋找 OOM 事件,請執行下列命令:

sudo dmesg -T | grep -iE 'invoked oom-killer|Out of memory|Killed process'

如果是 Amazon Linux、Red Hat Enterprise Linux (RHEL)、CentOS、Oracle、Rocky 和 AlmaLinux,您也可以搜尋 /var/log/messages。如果是 Debian 和 Ubuntu,您可以搜尋 /var/log/syslog。

在命令輸出中,請檢查任務資料表以找出已停止的程序及其記憶體使用量。若要尋找相關的程序,請在 oom_score_adj 欄中檢查含有 0 或正值的程序。略過 oom_score_adj 值含有 -1000 的程序,因為這些是核心資料庫程序,通常會排除在 OOM 事件之外。

範例任務資料表:

[  pid  ]   uid   tgid  total_vm       rss  nr_ptes  swapents  oom_score_adj  name
[   478 ]     0    478     19068      7309       44         0              0  systemd-journal
[  1368 ]     0   1368     28246       280       56         0          -1000  sshd
[ 11757 ]     0  11757    181836      5181      219         0              0  rsyslogd
[  7788 ]   997   7788    734972     23015      236         0              0  monitor-agent
[ 78225 ]  1001  78225    721411    607882     1390         0              0  log-forwarder
[ 94796 ]   600  94796   7193202   1021060     2553         0          -1000  db_mman
[ 94824 ]   600  94824   7195925   5954897    12638         0          -1000  db_dbwriter0
[ 95742 ]   600  95742   7196839   4403865    13321         0          -1000  db_parallel0
[115842 ]   600 115842   7194261    697191    12938         0              0  db_server_115842
[115851 ]   600 115851   7194000    840982    13072         0              0  db_server_115851

注意: 請勿依 total_vm 排序任務資料表。此值是以頁為單位的虛擬記憶體總數,且包含未存在於 RAM 中的記憶體。

**rss ** 欄顯示以頁為單位的常駐集大小。將 ** rss ** 欄的值乘以以位元組為單位的頁面大小,即可獲得程序使用的 RAM 容量。核心會使用此值來識別要停止哪個程序。

若要取得頁面大小,請執行下列命令:

getconf PAGESIZE

在範例任務資料表中,在 oom_score_adj 設定為 0 的程序中,rss 的最大值是 db_server_115851。若頁面大小為 4,096 位元組,db_server_115851 程序會使用 3.2 GiB。

建立資料表之後,核心會找出其停止的程序及其大小 (以 KB 為單位)。若要確認已停止處理的程序使用了多少記憶體,請將 anon-rss 值與您從任務資料表計算的總 RAM 進行比較。

下列 OOM 訊息範例指出核心停止處理使用了 3,363,928 KB 記憶體的程序 11581 (db_server_115851):

Out of memory: Killed process 115851 (db_server_115851) total-vm:28776000kB, anon-rss:3363928kB, file-rss:0kB, shmem-rss:0kB, pgtables:52288kB oom_score_adj:0
- total-vm: total virtual memory, in kB. anon-rss: resident anonymous memory, in kB (the real RAM the process cost). file-rss: file-backed, in kB. shmem-rss: shared memory, in kB. pgtables: page-table memory, in kB.

核心會以最高 oom_score 停止處理程序。若要檢視程序的 OOM 分數,請執行下列命令:

cat /proc/pid/oom_score

注意: 將 ** pid ** 替換為 PID。

若要更新程序的 OOM 分數,請執行下列命令以開啟程序檔案:

cat /proc/pid/oom_score_adj

注意: 將 ** pid ** 替換為 PID。

在檔案中,將 oom_score_adj 設定為 -1000,即可將程序從 OOM 事件中排除,或設定為正值,在發生 OOM 事件時提高其優先順序。如果是 systemd 服務,請在單位中設定 OOMScoreAdjust=,而不是在**/proc**。

對 Java 應用程式的記憶體洩漏問題進行疑難排解

請完成以下步驟:

  1. 若要調整堆積大小,請執行以下命令:
    java -Xms2g -Xmx4g -jar application.jar
    注意: 將 2g 和 4g 替換為您應用程式的最小和最大堆積大小。
  2. 若要開啟垃圾回收 (GC) 記錄,請執行以下命令:
    java -Xlog:gc*=debug:file=gc.log -jar application.jar
    注意: 將 gc.log 替換為您的日誌檔案名稱和路徑。
  3. 若要使用 G1 垃圾回收器管理執行個體記憶體,請執行以下命令:
    java -XX:+UseG1GC -jar application.jar
    注意: 將 -XX:+UseG1GC 替換為您首選的垃圾回收演算法。

對資料庫伺服器的問題進行疑難排解

請完成以下步驟:

  1. 若要監視特定的資料庫伺服器程序,請執行下列命令:

    ps -eo pid,ppid,cmd,%mem,%cpu,rss,vsz | grep mysql
  2. 若要檢查 InnoDB 緩衝集區使用情況,請執行下列命令:

    mysql -e "SHOW ENGINE INNODB STATUS\G" | grep "Buffer pool"
  3. 若要分析每個連線的記憶體使用情況,請執行以下命令:

    mysql -e "SHOW VARIABLES LIKE '%buffer%';"

如需如何最佳化資料庫伺服器效能的資訊,請參閱 Best practices for working with MySQL。

相關資訊

Collect metrics, logs, and traces using the Amazon CloudWatch agent

如何對 Amazon ECS 中的 OutOfMemory 錯誤進行疑難排解?

AWS 官方已更新 2 個月前