1

私はpigを初めて使用し、次のようなイベントを含むファイルに対して基本的な分析を実行しようとしています。

1345477765  2012-08-20  08:49:24    servername  12.34.56.78 192.168.1.4 joebloggs   ManageSystem    Here's your message

私は以下のようにファイルをロードしようとします：

logs = LOAD '/path/to/file' using PigStorage AS (loggedtime:long, serverdate:chararray, servertime:chararray, servername:chararray, externalip:chararray, internalip:chararray, username:chararray, systemtype:chararray,  message:chararray);

ログを説明すると、すべて問題ないように見えます。

     Illustrate logs
    ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
    | logs     | loggedtime:long      | serverdate:chararray    | servertime:chararray    | servername:chararray    | externalip:chararray        | internalip:chararray      | username:chararray    | systemtype:chararray            | message:chararray                                                                                                                         | 
    ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
    |          | 1345477765 | 2012-08-20   | 08:49:24       | servername | 12.34.56.78 | 192.168.1.4 | joebloggs   | ManageSystem | Here's your message  | 
    ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

また、それらを説明するとき、すべては私が期待するとおりです：

logs: {loggedtime: long,serverdate: chararray,servertime: chararray,servername: chararray,externalip: chararray,internalip: chararray,username: chararray,systemtype: chararray,message: chararray}

ただし、ログをダンプすると、loggedtimeは含まれません。

dump logs;
(,2012-08-20,08:49:24,servername,12.34.56.78,192.168.1.4,joebloggs,ManageSystem,Here's your message)

おそらくこれの結果として、私のフィルターはイベントを返しません：

specificlog = FILTER logs BY loggedtime == 1345477765;

うまくいけば、私はここで簡単な何かを逃しています。

4

1 に答える 1

2

私は最終的にこれを自分で理解しました。長い間解析するには、番号の最後に「L」を付ける必要がありました。

たとえば、ソースデータを以下に変更することで、これを機能させることができました。

1345477765L  2012-08-20  08:49:24    servername  12.34.56.78 192.168.1.4 joebloggs   ManageSystem    Here's your message

うまくいけば、これは同じ問題を抱えている人を助けるでしょう。

于 2012-08-20T18:48:00.773 に答える