4

Cascading/Hadoop は初めてで、単純な例をローカル モード (メモリ内) で実行しようとしています。この例では、ファイルをコピーするだけです:

    import java.util.Properties;

    import cascading.flow.Flow;
    import cascading.flow.FlowConnector;
    import cascading.flow.FlowDef;
    import cascading.flow.local.LocalFlowConnector;
    import cascading.pipe.Pipe;
    import cascading.property.AppProps;
    import cascading.scheme.hadoop.TextLine;
    import cascading.tap.Tap;
    import cascading.tap.hadoop.Hfs;

    public class CascadingTest {

            public static void main(String[] args) {
                Properties properties = new Properties();


                AppProps.setApplicationJarClass( properties, CascadingTest.class );
                FlowConnector flowConnector = new LocalFlowConnector();

                // create the source tap
                Tap inTap = new Hfs( new TextLine(), "D:\\git_workspace\\Impatient\\part1\\data\\rain.txt" );

            // create the sink tap
            Tap outTap = new Hfs( new TextLine(), "D:\\git_workspace\\Impatient\\part1\\data\\out.txt" );

            // specify a pipe to connect the taps
            Pipe copyPipe = new Pipe( "copy" );

            // connect the taps, pipes, etc., into a flow
            FlowDef flowDef = FlowDef.flowDef()
                .addSource( copyPipe, inTap )
                .addTailSink( copyPipe, outTap );

                // run the flow
            Flow flow = flowConnector.connect( flowDef );
            flow.complete();
        }
    }

ここに私が得ているエラーがあります:

09-25-12 11:30:38,114 INFO  - AppProps                     - using app.id: 9C82C76AC667FDAA2F6969A0DF3949C6
Exception in thread "main" cascading.flow.planner.PlannerException: could not build flow from assembly: [java.util.Properties cannot be cast to org.apache.hadoop.mapred.JobConf]
    at cascading.flow.planner.FlowPlanner.handleExceptionDuringPlanning(FlowPlanner.java:515)
    at cascading.flow.local.planner.LocalPlanner.buildFlow(LocalPlanner.java:84)
    at cascading.flow.FlowConnector.connect(FlowConnector.java:454)
    at com.x.y.CascadingTest.main(CascadingTest.java:37)
Caused by: java.lang.ClassCastException: java.util.Properties cannot be cast to org.apache.hadoop.mapred.JobConf
    at cascading.tap.hadoop.Hfs.sourceConfInit(Hfs.java:78)
    at cascading.flow.local.LocalFlowStep.initTaps(LocalFlowStep.java:77)
    at cascading.flow.local.LocalFlowStep.getInitializedConfig(LocalFlowStep.java:56)
    at cascading.flow.local.LocalFlowStep.createFlowStepJob(LocalFlowStep.java:135)
    at cascading.flow.local.LocalFlowStep.createFlowStepJob(LocalFlowStep.java:38)
    at cascading.flow.planner.BaseFlowStep.getFlowStepJob(BaseFlowStep.java:588)
    at cascading.flow.BaseFlow.initializeNewJobsMap(BaseFlow.java:1162)
    at cascading.flow.BaseFlow.initialize(BaseFlow.java:184)
    at cascading.flow.local.planner.LocalPlanner.buildFlow(LocalPlanner.java:78)
    ... 2 more
4

3 に答える 3

4

もう少し詳しく説明すると、異なる互換性のない環境を想定しているため、Cascading でローカル クラスと Hadoop クラスを混在させることはできません。あなたのケースで起こっていることは、hadoop タップを使用してローカル フローを作成しようとしているということです。後者は、ローカル タップの構成に使用されるオブジェクトJobConfではなく、hadoop を期待しています。Properties

cascading.tap.local.FileTapの代わりに使用すると、コードが機能しますcascading.tap.hadoop.Hfs。

于 2012-09-26T02:11:25.717 に答える
1

カスケードへようこそ -

カスケード ユーザー リストで回答したところですが、簡単に言えば、問題はローカル モードと Hadoop モードのクラスが混在していることです。このコードには LocalFlowConnector がありますが、Hfs タップを使用しています。

「せっかちな」チュートリアルで使用したクラスに戻すと、正しく実行されます: https://gist.github.com/3784194

于 2012-09-25T20:24:17.667 に答える
0

はい、HFS (Hadoop File System) の代わりに LFS (Local File System) タップを使用する必要があります。

また、Eclipse からローカル モード自体で Junit テスト ケース (cascading-unittest jar を使用) を使用してコードをテストすることもできます。

http://www.cascading.org/2012/08/07/cascading-for-the-impatient-part-6/

于 2014-05-20T05:10:03.523 に答える