ruby - 優れた巨大なjsonオブジェクト?

Question

10000行を超えるテーブルを持つPHPアプリケーションがあり、RORアプリケーションを介してそれをExcelシートにエクスポートしようとしていますが、PHPアプリケーションによってサーバーでリクエストがタイムアウトになっています.この問題を解決するエレガントな方法。私は2つの解決策を考え出します。最初はバッチ処理を行っています（私はそれを初めて使用するので読む必要があります）。もう1つは、phpアプリケーションが大きなjsonオブジェクトを送信し、Rubyアプリがそのjsonオブジェクトを読み取り、データをExcelシートに書き込んで送り返すことです。エクセルシート.だから私は、この問題に対処するためのより良い方法があるかどうかを尋ねたかったのですか? また、jsonをExcelに変換するにはどうすればよいですか?グーグルで調べたところ、Excelからjsonが見つかりましたが、その逆はありませんでした。助言がありますか？

Answer 1

時間があったので、Ruby1.9 で JSON から Excel への CSV コンバーターを作成しました。

あるファイルから読み取り、別のファイルに書き込みます。

json2excel.rb

def json2excel(fromFile, toFile)
  pos = 0
  while true
    c = fromFile.read(1);pos += 1
    if c == ' ' or c == "\n" or c == "\r"
      # whitespace
    elsif c == '['
      # first bracket begins!
      attributes = []
      while true
        c = fromFile.read(1);pos += 1
        if c == '{'
          # now an object starts
          object = Hash.new
          while true
            puts "!!!"
            c = fromFile.read(1);pos += 1
            if c == '"'
              # new attribute starts
              name = ""
              while true
                c = fromFile.read(1);pos += 1
                if c == '"'
                  break
                else
                  name += c
                end
              end
              attributes << name unless attributes.include? name
              # scan for :
              while true
                c = fromFile.read(1);pos += 1
                if c == ':'
                  break
                elsif  c == ' ' or c == '\n' or c == '\r' # whitespace is ok
                else raise "4malformed json for excel conversion! char: #{c.inspect} position: #{pos}"
                end
              end
              # scan for staring value
              while true
                c = fromFile.read(1);pos += 1
                if c == '"'
                  # string follows
                  value = ""
                  value << c
                  while true
                    c = fromFile.read(1);pos += 1
                    value << c
                    if c == '"'
                      break
                    end
                  end
                  c = fromFile.read(1);pos += 1
                  break
                elsif  c == ' ' or c == '\n' or c == '\r' # whitespace is ok
                elsif "1234567890".include? c
                  # number follows
                  value = ""
                  value << c
                  while true
                    c = fromFile.read(1);pos += 1
                    if "1234567890".include? c
                      value << c
                    else break
                    end
                  end
                  break
                elsif c == "t"
                  # true follows
                  c = fromFile.read(3);pos += 3
                  if c != "rue"
                    raise "excpected true but found t#{c.inspect} position: #{pos}"
                  end
                  value = "true"
                  c = fromFile.read(1);pos += 1
                  break
                elsif c == "f"
                  # false follows
                  c = fromFile.read(4);pos += 4
                  if c != "alse"
                    raise "excpected false but found f#{c.inspect} position: #{pos}"
                  end
                  value = "false"
                  c = fromFile.read(1);pos += 1
                  break
                else raise "5malformed json for excel conversion! char: #{c.inspect} position: #{pos}"
                end
              end
              # value starts
              object[name] = value
              puts object
            end
            puts "c: #{c.inspect}"
            if c == "," 
              # comma is ok! just take many of them, does not hurt.
            elsif  c == ' ' or c == '\n' or c == '\r'
              # whitespace is ok
            elsif c == "}"
              # object ends!
              break
            else raise "3malformed json for excel conversion! char: #{c.inspect} position: #{pos}"
            end
          end
          attributes.each{|attr|
            value = object[attr]
            raise "expected object #{object} to have attribute #{attr} position: #{pos}" if value.nil?
            toFile.write(value)
            toFile.write(',')
          }
          toFile.write("\"\"\r\n") # this is the csv new line. a new object begins here
        elsif  c == ' ' or c == '\n' or c == '\r'
          # whitespace is ok
        elsif c == ']'
          attributes.each{ |attr|
            toFile.write(attr.inspect)
            toFile.write(",")
          }
          toFile.write("\"\"\r\n") # this is the csv new line. a new object begins here
          # the end of the file
          c = fromFile.read()
          if c != ''
            raise "end of listing was reached. skipping #{c.size} character after position #{pos}: #{c.inspect}"
          end
          break
        elsif c == ','
          # comma is ok! just take many of them, does not hurt.
        else
          raise "2malformed json for excel conversion! char: #{c.inspect} position: #{pos}"
        end
      end
      break
    else
      raise "1malformed json for excel conversion! char: #{c.inspect} position: #{pos}"
    end
  end
end

json2excel(File.open('json.txt'), File.open('excel.csv', 'wb'))

json.txt

[{"id": 1,"pro_id": 3,"pro_name": "asdf","cli_id": 113,"cli_name": "tyuryt"} , {"id": 1,"pro_id": 3,"pro_name": "asdf","cli_id": 113,"cli_name": "tyuryt"}]

excel.csv

1,3,"asdf",113,"tyuryt",""
1,3,"asdf",113,"tyuryt",""
"id","pro_id","pro_name","cli_id","cli_name",""

列名はファイルの最後にあります。

最初のオブジェクトの後に新しい属性が導入された場合、すべての列の要素数が同じになるわけではありません。

注: すべてをメモリにロードするのではなく、できるだけ早くファイルに書き込みます。

しないこと:

• 負の数
• .を含む数字
• ストリングスが"入っています。