ruby-on-rails-3 - Rails 3 + Heroku: dyno のメモリ使用量を調べる

Question

heroku Web dyno が使用しているメモリ量を調べる方法はありますか? 定期的に実行され、すべての dyno のメモリ使用量をチェックする rake タスクを書きたいとしましょう。どうすればこれを行うことができますか? ありがとう！

Answer 1

受け入れられた回答から提案を受け取り、集計としきい値ベースの差分を使用して /proc ファイルシステム パーサーを実装しました。Heroku で Ruby 2.0 のメモリの問題をデバッグするのに非常に役立つことがわかりました。便宜上、ここにも含まれているコードを入手してください。

# Memory snapshot analyzer which parses the /proc file system on *nix
#
# Example (run in Heroku console):
#
#    ms = MemorySnapshot.new
#    1.upto(10000).map { |i| Array.new(i) }; nil
#    ms.snapshot!; nil
#    ms.diff 10
#    => {"lib/ld-2.11.1.so"=>156, "heap"=>2068, "all"=>2224}
#
class MemorySnapshot

  attr_reader :previous
  attr_reader :current

  def initialize
    snapshot!
    @previous = @current
  end

  # Generates a Hash of memory elements mapped to sizes of the elements in Kb
  def snapshot!
    @previous = @current
    @current = reduce(names_with_sizes)
  end

  # Calculates the difference between the previous and the current snapshot
  # Threshold is a minimum delta in kilobytes required to include an entry
  def diff(threshold = 0)
    self.class.diff_between previous, current, threshold
  end

  # Calculates the difference between two memory snapshots
  # Threshold is a minimum delta in kilobytes required to include an entry
  def self.diff_between(before, after, threshold)
    names = (before.keys + after.keys).uniq
    names.reduce({}) do |memo, name|
      delta = after.fetch(name) { 0 } - before.fetch(name) { 0 }
      memo[name] = delta if delta.abs >= threshold
      memo
    end
  end

  private

  def reduce(matches)
    total = 0
    current_name = nil
    matches.reduce(Hash.new { 0 }) do |memo, match|
      current_name = match[:name] || current_name
      size = match[:size].to_i
      total += size
      memo[current_name] += size
      memo
    end.tap { |snapshot| snapshot['all'] = total }
  end

  def names_with_sizes
    smap_entries.map do |line|
      /((^(\/|\[)(?<name>[^ \]]+)\]?\s+)|(^))(?<size>\d+)\s/.match(line)
    end
  end

  def smap_entries
    smaps.
        gsub(/^(([^Sa-f0-9])|(S[^i]))[^\n]+\n/m, '').
        gsub(/\nSize:/m, '').
        gsub(/[0-9a-f]+-[0-9a-f]+.{6}[0-9a-f]+ [0-9a-f]+:[0-9a-f]+ [0-9a-f]+\s+/i, '').
        split("\n")
  end

  def smaps
    File.read("/proc/#{Process.pid}/smaps")
  end
end

Answer 2

Heroku は Linux を使用する Amazon インスタンスで実行されるため、procファイルシステムを使用してランタイム システム データを取得できます。この/proc/<pid>/smapsファイルには、実行中のプロセスとそれがロードするすべてのライブラリに関するメモリ情報が含まれています。常駐プロセスのサイズについては、次のようにします。

f = File.open("/proc/#{Process.pid}/smaps")
f.gets # Throw away first line
l = f.gets # Contains a string like "Size:               2148 kB\n"
l =~ /(\d+) kB/  # match the size in kB 
f.close
$1.to_i  # returns matched size as integer

更新: proc ファイル システムには、さらに優れたソース/proc/<pid>/status. VmRSS:常駐メモリの合計部分とVmHWM:、使用されている最高の常駐メモリ (最高水準点)のエントリがあります。これらおよびその他のフィールドの詳細については、proc ファイル システムの Linux カーネル ドキュメント を参照してください。