問題タブ [disco]

Visual Studio 2010を使用すると、いくつかのWebサイト（Webアプリケーションプロジェクトではない）とコマンドラインおよびwinformsプロジェクトを使用したソリューションが得られます。すべてのターゲット.Net2.0。プロジェクトの多くには、WebサイトのASMXWebサービスへのWeb参照があります。

Webサービスは頻繁に変更されるため、すべてをコンパイルするときは、すべてのプロジェクトを手動で調べて、Webサービスの参照を更新する必要があります。これで、 disco.exeとwsdl.exeを使用してこれを自動化することに成功しました。しかし、wsdl.exeによって生成されたコードの違いと、VSでのWeb参照の手動更新について心配しています。

wsdl.exeは、次のようなコードを生成します。

VSは次のようなコードを生成しますが：

他のすべては基本的に同じです。これについて心配する必要がありますか？これは確かに、オーバーライドURLがapp.configファイルとweb.configファイルに保存される方法を変更する必要があることを意味します。wsdl.exeはappSettingsを使用し、VSはconfigSections/applicationSettingsを使用します。

PS：ASMXは古く、WCFは新しいことを知っています。私はこれで立ち往生しています。

更新：違いについて説明しているこの記事を見つけました：

複数のWebアプリケーションプロジェクト間で動的URLを共有する方法

http://weblogs.asp.net/bradleyb/archive/2006/05/04/445133.aspx

完了した Disco ジョブを mongodb に直接書き込みたいと考えています。Disco がデータを送信する出力 URL を指定する簡単な方法はありますか?

こんにちは、私は Disco を初めて使用し、既存のコードをそれに統合しています。Disco は、マップ/リデュース関数をグローバル関数ではなくクラス内の関数として呼び出すことができますか? 次のコードは、より明確に説明している可能性があります。

実行結果は

しかし、map_fun、reduce_fun をグローバル関数に変更すると、期待どおりに機能します。ただし、クラス関数として機能させる方法を見つける必要があります。それを行う方法はありますか?

ありがとう、

チャンドラー

ファイルから単語を数えるためのDISCOの例に沿って次のようにしています。

単語をmap/reduceジョブとして数える

これを機能させるのに問題はありませんが、JSON文字列を含むテキストファイルから特定のフィールドを読み取ってみたいと思います。

ファイルには次のような行があります。

「テキスト」キーの値フィールドにのみ興味があります。Pythonで私ができること：

これは、次のようなすべてのテキストフィールド値を返します。

これは正常に機能しますが、この同じメソッドを、次のようなディスコに付属するサンプルのcount_words.pyの例に適用しようとすると、次のようになります。

次のエラーが発生します。

これは簡単なはずですが、明らかに何かが欠けています。

誰か助けてもらえますか？

私はディスコを使用して、さまざまな目的で数十のマップリデュースジョブを実行しています。私のデータは膨大になり、標準のtxtファイルではなくDDFSを使用して変更を試みようと思いました。

DISCO map/reduceの例に従って単語をmap/reduceジョブとして数えることは、それほど困難ではなく、他の人の助けを借りて、JSON固有のデータをDISCOに読み込むことで、最近の問題の1つを乗り越えました。

ddfsのデータの入出力を読み取って、データをより適切にチャンク化して分散しようとしていますが、少し問題があります。

サンプルファイルは次のとおりです：file.txt

私はそれをDDFSにロードします：

私はファイルが実際にddfsにロードされていることをテストします：

この時点ですべてが素晴らしいです、私は前のスタック投稿から生じたスクリプトをロードします：

注：このスクリプトはファイルを実行しますが、input=["file.txt"]で実行すると"tag://data:test1"次のエラーが発生します。

エラー状態：ValueError: No JSON object could be decoded。繰り返しますが、これは入力としてテキストファイルを使用して正常に機能しますが、現在はDDFSです。

何かアイデアはありますか？

目的:ファイル 1 の変異位置をファイル 2 の領域または機能にマッピングする。このためには、ファイル 1 の染色体の位置をファイル 2 の領域と比較する前に、染色体 (chr1) とストランド (+/-) が同じであることを確認する必要があります。

質問: mapreduce または Disco を使用して、ある場所を地域にマッピングする方法.. 別名 mapreduce メソッドで位置 -> 染色体領域を定式化しますか?

説明: 2 つの中サイズのファイル (10 GB) と、処理したい 2 つのファイル タイプがあります。これらのファイルは基本的な python で既に解析されていますが、将来的には多くの大きな同様のファイルを解析する必要がある可能性が高いため、mapreduce (より具体的には hadoop/Pig) または Disco で試して学習したいと考えていました。

EC2 クラスターでノードを実行することはできますが、理想的には 1 つのクラスター Hadoop (はい、それが目的に反することはわかっています)、または Disco や Sparc などで実行できます。

Pig を使用するというアイデアは気に入っています。プロセスを .csv ファイルからファイルを処理するだけに減らすことができるからです。

これが私が考えていたことの視覚的表現です：

ファイル情報:

1. 最初のファイルは TCGA 癌 SNP 変異です。いくつかの重要な機能は次のとおりです。

   • 染色体の位置
   • 染色体番号
   • ストランド
   • サンプルID
   • 残りはそれほど重要ではありません

2. 3' UTR シーケンス。

   • 染色体開始位置: int
   • 染色体末端位置: int
   • 染色体番号：chrX
   • ストランド +/-
   • 遺伝子ID
   • 残りはそれほど重要ではありません

サンプル ファイルはこちら: 2 つのサンプル ファイル

最後に、これが重要な場合は、Python が私の選択言語です。

mapreduce を使用した疎行列の乗算が可能になるように、高度なチュートリアルの innerjoin-example を変更したいと考えています (Ullman による説明)。したがって、結果マトリックス内の等しい位置の値を合計する 2 番目の map-reduce ステップが必要です。

残念ながら、クラス CsvInnerJoin の最初の reduce 関数の出力を SumJob の map 関数に入れることができません。

CsvInnerJoiner.py は次のファイルです。

SumJob.py は次のとおりです。

問題は、最初の削減ステップの 2 番目の出力が 2 番目のマップ関数によって入力として取得されるように (**) 行を変更する方法がわからないことです。

手伝ってくれてどうもありがとう！ダミアン

ここのチュートリアルに従っています: http://discoproject.org/doc/disco/start/install.html

スクリプトを実行するまでは成功しています。エラーが発生します：

上記の手順に従ってdiscoをインストールしましたが、これではpythonライブラリがインストールされていないようです。

conda、pip、および easy_install を使用してインストールしようとしましたが、うまくいきませんでした..

誰にもアイデアはありますか？

私はディスコが初めてで、ただ遊んでみたかっただけです。そこで、ドキュメントに記載されている最も単純なインスタンスをセットアップしようとしました。Erlang と Python がインストールされています。Git チェックアウトを行い、実行makeして Disco を介して起動しましたbin/disco nodaemon。以下に、スレーブ起動時のエラー メッセージを示します。私はこれが初めてなので、何が間違っているのか、どのようにデバッグするのか、接着剤がありません。どんなヒントでも大歓迎です。

各マッパーは、非常に大きな辞書にアクセスする必要があります。各マッパーが独自のコピーを開くオーバーヘッドを回避し、代わりにすべてのマッパーが 1 つのグローバル共有オブジェクトを指すようにする方法はありますか?

DISCO または mapreduce パラダイムに固有の提案は役に立ちます。