5

私は現在、シングル スレッド モードでファイル (非常に巨大) を読み取り、検索インデックスを作成するプログラムを持っていますが、シングル スレッド環境ではインデックス作成に時間がかかりすぎます。

現在、マルチスレッドモードで動作させようとしていますが、それを達成するための最良の方法はわかりません.

私のメイン プログラムはバッファリングされたリーダーを作成し、そのインスタンスをスレッドに渡します。スレッドはバッファリングされたリーダー インスタンスを使用してファイルを読み取ります。

各スレッドが同じ行を何度も読んでいるのではなく、これが期待どおりに機能するとは思いません。

他のスレッドが読み取らない行のみをスレッドに読み取らせる方法はありますか? ファイルを分割する必要がありますか? ファイルを分割せずにこれを実装する方法はありますか?

サンプルメインプログラム:

import java.io.BufferedReader;
import java.io.FileNotFoundException;
import java.io.FileReader;
import java.util.ArrayList;

public class TestMTFile {
    public static void main(String args[]) {
        BufferedReader reader = null;
        ArrayList<Thread> threads = new ArrayList<Thread>();
        try {
            reader = new BufferedReader(new FileReader(
                    "test.tsv"));
        } catch (FileNotFoundException e1) {
            e1.printStackTrace();
        }
        for (int i = 0; i <= 10; i++) {
            Runnable task = new ReadFileMT(reader);
            Thread worker = new Thread(task);
            // We can set the name of the thread
            worker.setName(String.valueOf(i));
            // Start the thread, never call method run() direct
            worker.start();
            // Remember the thread for later usage
            threads.add(worker);
        }

        int running = 0;
        int runner1 = 0;
        int runner2 = 0;
        do {
            running = 0;
            for (Thread thread : threads) {
                if (thread.isAlive()) {
                    runner1 = running++;
                }
            }
            if (runner2 != runner1) {
                runner2 = runner1;
                System.out.println("We have " + runner2 + " running threads. ");

            }
        } while (running > 0);

        if (running == 0) {
            System.out.println("Ended");
        }
    }
}

スレッド：

import java.io.BufferedReader;
import java.io.IOException;

public class ReadFileMT implements Runnable {
    BufferedReader bReader = null;

    ReadFileMT(BufferedReader reader) {
        this.bReader = reader;
    }

    public synchronized void run() {
        String line;
        try {
            while ((line = bReader.readLine()) != null) {

                try {
                    System.out.println(line);
                } catch (Exception e) {

                }
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }
}
4

4 に答える 4

9

ボトルネックは、ファイルの読み取りではなく、インデックス作成である可能性が最も高いです。インデックス作成システムが複数のスレッドをサポートしていると仮定すると、1 つのスレッドがファイルを読み取り、各行を BlockingQueue (プロデューサー) にプッシュし、複数のスレッドが BlockingQueue から行をプルしてインデックス (消費者）。

于 2013-06-27T17:48:10.727 に答える
7

このスレッドを参照してください。ファイルがすべて同じディスク上にある場合は、単一のスレッドで読み取るよりも優れた方法はありませんが、ファイルをメイン メモリに読み取った後は、複数のスレッドでファイルを処理できる場合があります。

于 2013-06-27T17:45:05.980 に答える
3

Java 8 を使用できる場合は、Streams API を使用してこれを迅速かつ簡単に実行できる可能性があります。ファイルを MappedByteBuffer に読み込みます。これにより、最大 2GB のファイルをすばやく開くことができます。次に、バッファから行を読み込みます (JVM にファイルを保持するのに十分な追加メモリがあることを確認する必要があります)。

package com.objective.stream;

import java.io.BufferedReader;
import java.io.ByteArrayInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;
import java.nio.file.Path;
import java.nio.file.Paths;
import java.util.stream.Stream;

public class StreamsFileProcessor {
    private MappedByteBuffer buffer;

    public static void main(String[] args){
        if (args[0] != null){
            Path myFile = Paths.get(args[0]);
            StreamsFileProcessor proc = new StreamsFileProcessor();
            try {
                proc.process(myFile);
            } catch (IOException e) {
                e.printStackTrace();
            }   
        }
    }

    public void process(Path file) throws IOException {
        readFileIntoBuffer(file);
        getBufferStream().parallel()
            .forEach(this::doIndex);
    }

    private Stream<String> getBufferStream() throws IOException {
        try (BufferedReader reader = new BufferedReader(new InputStreamReader(new ByteArrayInputStream(buffer.array())))){
            return reader.lines();
        }
    }

    private void readFileIntoBuffer(Path file) throws IOException{
        try(FileInputStream fis = new FileInputStream(file.toFile())){
            FileChannel channel = fis.getChannel();
            buffer = channel.map(FileChannel.MapMode.PRIVATE, 0, channel.size());
        }
    }

    private void doIndex(String s){
        // Do whatever I need to do to index the line here
    }
}
于 2014-11-26T05:28:27.783 に答える