0

Flink 1.5.0 を使用してバッチ指向の Flink ジョブを作成しようとしており、Table および SQL API を使用してデータを処理したいと考えています。私の問題は、BatchTableEnviroment を作成しようとしていることです。コンパイル エラーが発生します。

BatchJob.java:[46,73] org.apache.flink.streaming.api.environment.StreamExecutionEnvironment にアクセスできません

で引き起こされた

final BatchTableEnvironment bTableEnv = TableEnvironment.getTableEnvironment(bEnv);

私の知る限り、ストリーミング環境には依存していません。私のコードは以下のスニペットです。

import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.TableEnvironment;
import org.apache.flink.table.api.java.BatchTableEnvironment;
import org.apache.flink.table.sources.CsvTableSource;
import org.apache.flink.table.sources.TableSource;

import java.util.Date;


public class BatchJob {

    public static void main(String[] args) throws Exception {
        final ExecutionEnvironment bEnv = ExecutionEnvironment.getExecutionEnvironment();
        // create a TableEnvironment for batch queries
        final BatchTableEnvironment bTableEnv = TableEnvironment.getTableEnvironment(bEnv);
    ... do stuff
    // execute program
        bEnv.execute("MY Batch Jon");
    }

私のpomの依存関係は次のとおりです

<dependencies>
        <!-- Apache Flink dependencies -->
        <!-- These dependencies are provided, because they should not be packaged into the JAR file. -->
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-table_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-scala_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>




        <!-- Add connector dependencies here. They must be in the default scope (compile). -->


        <!-- Example:

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.10_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        -->

        <!-- Add logging framework, to produce console output when running in the IDE. -->
        <!-- These dependencies are excluded from the application JAR by default. -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-log4j12</artifactId>
            <version>1.7.7</version>
            <scope>runtime</scope>
        </dependency>
        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
            <scope>runtime</scope>
        </dependency>

    </dependencies>

ストリーミング API の依存関係と、なぜバッチ ジョブにそれが必要なのかを理解するのを手伝ってくれませんか? よろしくお願いいたします。オリバー

4

1 に答える 1

0

Flink のテーブル API および SQL サポートは、バッチおよびストリーム処理用の統合 API です。多くの内部クラスは、バッチおよびストリームの実行と Scala / Java テーブル API および SQL の間で共有されているため、Flink のバッチおよびストリーミングの依存関係にリンクしています。

これらの共通クラスにより、バッチ クエリでもflink-streaming依存関係が必要になります。

于 2018-06-19T13:23:13.197 に答える