hadoop - ホストへの複数接続の同時処理

Question

ホストへの多数の接続を同時に処理するにはどうすればよいですか?

Answer 1

nutch-default.xml から:

<property>
  <name>fetcher.threads.fetch</name>
  <value>10</value>
  <description>The number of FetcherThreads the fetcher should use.
    This is also determines the maximum number of requests that are 
    made at once (each FetcherThread handles one connection).</description>
</property>

<property>
  <name>fetcher.threads.per.host</name>
  <value>1</value>
  <description>This number is the maximum number of threads that
    should be allowed to access a host at one time.</description>
</property>

前述のように、接続数は最大でもスレッド数と同じです。最初のプロパティは接続の全体数を制御し、2 番目のプロパティはホストごとの接続数を制御します。これは設定する必要があるものです。