3

druid io 0.9.0 を使用しています。集計後フィールドをメトリック仕様として追加しようとしています。私の意図は、メトリクス (メジャー) が表示される方法と同様に、集計後のフィールドの値を表示することです (ピボットを使用した Druid io で)。

私のDruid ioスキーマファイルは

    {
      "dataSources" : {
        "NPS1112" : {
          "spec" : {
            "dataSchema" : {
              "dataSource" : "NPS1112",
              "parser" : {
                "type" : "string",
                "parseSpec" : {
                  "timestampSpec" : {
                    "column" : "timestamp",
                    "format" : "auto"
                  },
                  "dimensionsSpec" : {
                    "dimensions" : ["dimension1","dimension2","dimension3"],
                     "dimensionExclusions" : [
                      "timestamp",
                      "OverallRating",
                      "DeliveryTimeRating",
                      "ItemQualityRating",
                      "isPromoter",
                      "isDetractor"
                    ]
                  },
                  "format" : "json"
                }
              },
              "granularitySpec" : {
                "type" : "uniform",
                "segmentGranularity" : "hour",
                "queryGranularity" : "none"
              },
             "aggregations" : [
             { "type" : "count", "name" : "rows"},
             { "type" : "doubleSum", "name" : "CountOfPromoters", "fieldName" : "isPromoter" },
             { "type" : "doubleSum", "name" : "CountOfDetractor", "fieldName" : "isDetractor" }
            ],
            "postAggregations" : [
            { "type"   : "arithmetic",
              "name"   : "PromoterPercentage",
              "fn"     : "/",
              "fields" : [
                   { "type" : "fieldAccess", "name" : "CountOfPromoters", "fieldName" : "CountOfPromoters" },
                   { "type" : "fieldAccess", "name" : "rows", "fieldName" : "rows" }
                  ]
             },
             { "type"   : "arithmetic",
              "name"   : "DetractorPercentage",
              "fn"     : "/",
              "fields" : [
                   { "type" : "fieldAccess", "name" : "CountOfDetractor", "fieldName" : "CountOfDetractor" },
                   { "type" : "fieldAccess", "name" : "rows", "fieldName" : "rows" }
                  ]
             },
             { "type"   : "arithmetic",
              "name"   : "NPS",
              "fn"     : "-",
              "fields" : [
                   { "type" : "fieldAccess", "name" : "PromoterPercentage", "fieldName" : "PromoterPercentage" },
                   { "type" : "fieldAccess", "name" : "DetractorPercentage", "fieldName" : "DetractorPercentage" }
                  ]
             }
             ],
              "metricsSpec" : [
                {
                  "type" : "count",
                  "name" : "CountOfResponses"
                },
                {
                  "type" : "fieldAccess",
                  "name" : "CountOfPromoters"
                }
              ]
            },
            "ioConfig" : {
              "type" : "realtime"
            },
            "tuningConfig" : {
              "type" : "realtime",
              "maxRowsInMemory" : "10000",
              "intermediatePersistPeriod" : "PT10M",
              "windowPeriod" : "PT10M"
            }
          },
          "properties" : {
            "task.partitions" : "1",
            "task.replicants" : "1"
          }
        }
      },
      "properties" : {
        "zookeeper.connect" : "localhost",
        "druid.discovery.curator.path" : "/druid/discovery",
        "druid.selectors.indexing.serviceName" : "druid/overlord",
        "http.port" : "8200",
        "http.threads" : "4"
      }
    }

Java クライアントを使用してフィールドを送信するための私のコード。

          final Map<String,Object> obj = new HashMap<String, Object>();

          obj.put("timestamp", new DateTime().toString());

          obj.put("OverallRating", (ran.nextInt(high-low) + low));
          obj.put("DeliveryTimeRating", (ran.nextInt(high-low) + low));
          obj.put("ItemQualityRating", (ran.nextInt(high-low) + low));
          obj.put("isPromoter", ((ran.nextInt(high-low) + low)%2) == 0 ? 1 : 0);
          obj.put("isDetractor", ((ran.nextInt(high-low) + low)%2) == 0 ? 1 : 0);

          obj.put("dimension1", "dimension1-"+ (ran.nextInt(high-low) + low));
          obj.put("dimension2", "dimension2-"+ (ran.nextInt(high-low) + low));
          obj.put("dimension3", "dimension3-"+ (ran.nextInt(high-low) + low));

誰でも私の間違いを指摘できますか。

4

1 に答える 1

0

取り込み仕様でそれができるかどうかはわかりませんが (実際にできるかどうか知りたいです!)、投稿集計をピボット構成に追加できます。私が理解していることから、投稿集計は実際にはドルイドクエリの一部です。

まず、ピボットを使用して構成ファイルを生成します。

pivot --druid your.druid.broker.host:8082 --print-config --with-comments > config.yaml

次に、config.yaml を変更します。構文はかなり異なりますが、アグリゲーターを非常に簡単に組み合わせることができます。config.yaml ファイルで提供される例を次に示します。

  # This is the place where you might want to add derived measures (a.k.a Post Aggregators).
  #
  # Here are some examples of possible derived measures:
  #
  # - name: ecpm
  #   title: eCPM
  #   expression: $main.sum($revenue) / $main.sum($impressions) * 1000
  #
  # - name: usa_revenue
  #   title: USA Revenue
  #   expression: $main.filter($country == 'United States').sum($revenue)

最後に、--configフラグを指定してピボットを実行します

pivot --config config.yaml

それが少し役立つことを願っています！:)

于 2016-06-13T10:16:46.077 に答える