0

私は Java で bigquery アップローダーを構築し始めたばかりです。目標は、完全な Twitter ストリームをダウンロードし、それを 1 時間ごとのバケットにアップロードしてから、トピックの検出と追跡プロジェクトのために Dremel で処理することです。これはすべて、Eclipse Juno の MacOSX 上の Java と、ローカルの Nexus プロキシを備えた Maven です。

スタートゲートで立ち往生しています。CSV ファイルを認証してアップロードする単純な Java サンプルを見つけてコンパイルします。私が見つけた最も近いものは bigquery-appengine-sample ですが、bigquery プロジェクトに appengine が必要な理由はわかりません。それについては後で調べます。

問題は、プロジェクトが Maven でビルドされないことです。Eclipse ではエラー フラグは表示されませんが、多くの場合、Eclipse のエラー フラグは信頼できません。pom は、この要素に赤い日食フラグを示しています。

com.google.apis google-api-services-bigquery ${bigquery.version}

Maven のインストールが失敗する

[エラー] プロジェクト bigquery-appengine-sample でゴールを実行できませんでした: プロジェクト com.google.api.client:bigquery-appengi ne-sample:war:1.0.0-SNAPSHOT の依存関係を解決できませんでした: 次のアーティファクトを実行できませんでした解決済み: com.google.apis-samples:shared-sample-appengine:jar:1.3.2、com.google.api s:google-api-services-bigquery:jar:v2-rev18-1.7.2-beta: 失敗to find com.google.apis-samples:shared-sample-appengine:jar:1.3.2 in ...SOF will not allow URLs... はローカル リポジトリにキャッシュされました。解決は更新間隔まで再試行されません。のネクサスが経過したか、更新が強制されました -> [ヘルプ 1]

Nexus プロキシは、http://mavenrepo.google-api-java-client.googlecode.com/hg/およびhttp://google-gson.googlecode.com/svn/mavenrepo/ (両方とも SNAPSHOT として設定) に対して定義されています。これらのどちらも機能していないようです。ブラウズ ストレージとインデックスの両方が空になります (アーキタイプ カタログのみ)。ただし、Browse Remote は AFAICT で動作するようです。完成したと思われる Maven リポジトリ ツリーを示します。

私の質問: Maven を使用して Java で bigquery サンプルを作成する方法を教えてください。

4

3 に答える 3

1

App Engine Java 以外のサンプルがいくつかあります: http://code.google.com/p/google-bigquery-tools/source/browse/samples/java/

私は Sonatype の Maven プラグインを使用しています。少なくとも、pom.xml は次のようになります。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.google</groupId>
  <artifactId>google</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>google</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
     <dependency>
      <groupId>com.google.api-client</groupId>
      <artifactId>google-api-client</artifactId>
      <version>1.10.3-beta</version>
    </dependency>

    <dependency>
      <groupId>com.google.apis</groupId>
      <artifactId>google-api-services-bigquery</artifactId>
      <version>v2-rev19-1.7.2-beta</version>
    </dependency>

    <dependency>
      <groupId>com.google.oauth-client</groupId>
      <artifactId>google-oauth-client</artifactId>
      <version>1.8.0-beta</version>
    </dependency>
  </dependencies>

  <repositories>
      <repository>
      <id>google-api-services</id>
      <url>http://mavenrepo.google-api-java-client.googlecode.com/hg</url>
      <snapshots>
        <enabled>true</enabled>
      </snapshots>
    </repository>    
  </repositories>

</project>
于 2012-08-12T18:39:46.617 に答える
0

これらのライブラリのURLhttp: //google-api-client-libraries.appspot.com/mavenrepoをテストした後、これを機能させることができました。ブラウジングが許可されていないため、nexusはこのリポジトリのインデックスを作成しようとして失敗します。これが発生すると、Nexusはこのリポジトリへのアクセスをブロックするため、依存関係が欠落しているためにローカルビルドが失敗します。

これを軽減するために、このリポジトリのNexusの2つの設定を変更しました。

  • リモートインデックスのダウンロード=false
  • AutoBlock Enabled = false

このセットを使用して、依存関係を正しく構築およびダウンロードすることができました。

注：Android用のGCM-Server Repoも使用していますが、これと同じ問題があり、同じソリューションが適用され、新しい依存関係をキャッシュすることができました。

于 2013-01-09T01:53:10.537 に答える
0

Googleの外部から観察できることに基づいて、提起された質問に対する答えは次のとおりです。

  • アップロードをカバーする Java の例は (まだ?) ありません。投稿された回答のアドレスにあるサンプルは、アカウントに既に存在するサンプル データのクエリのみをカバーしています。

  • 私が必要としているものに最も近いサンプルは、コマンド ラインと Python のサンプルのようです。ただし、各サンプルは特定の Maven 依存関係バージョンでのみ動作するように配線されており
    、新しい API バージョンがリリースされてもサンプルは更新されず、古い API バージョンは
    Maven 経由で利用できないことが多いため、それらの使用は複雑です。

  • Maven の問題は、非常に特異なバージョン番号付けシステム (上記の v2beta1-rev17-1.7.1-beta-beta の例など) の使用に起因している
    ようです。Maven は規則を厳密に順守することに依存しており、そのような
    バージョン番号は絶対に準拠していません。急速に変化する
    ベータ コードの場合、Maven book に記載されているように、バージョン番号は major#.minor#.micro-SNAPSHOT にする必要があります。コメントで説明されているように、例外はありません。

緊急のリクエスト:すべての BigQuery 機能、特にステップ 1 をカバーする実用的な Java サンプルを提供してください。データをアップロードしています。サンプルと API コードをバンドルして、同期を維持してください。そして、さかのぼることも含めて、全体を通して Maven 規則を採用します。

于 2012-08-17T20:49:15.277 に答える