5

phpで2つのcsvファイルを多次元配列にインポートし、array_diff関数を使用して違いを見つけて比較しようとしています。

私が使用している方法論は

1）予想されるcsvのすべてのレコードを取得し、arr1にダンプします

2）実際のcsvのすべてのレコードを取得し、arr2にダンプします

3）array_multisortを使用してarray1を並べ替えます

4）array_multisortを使用してarray2を並べ替えます

5）各レコードのarray_diff関数を使用して比較します（例：arr1[0][1]とarr2[0][1]）

私の目的は、最小限の時間でphpスクリプトを使用してファイルを比較することです。上記のアプローチが最短であることがわかりました（最初にcsvコンテンツをMySQLにダンプし、dbクエリを使用して比較しようとしましたが、何らかの理由でクエリの動作が非常に遅いため、タイムアウト後にApacheサーバーがクラッシュします）

csvで最大300MBのサイズのファイルがありますが、通常は20列で10MBのサイズの70kレコードになります。

私が行ったことのコードを貼り付けています（上記の手順で）

     $header='';

    $file_handle = fopen($fileExp, "r");
    $k=0;

    while ($data=fgetcsv($file_handle,0,$_POST['dl1'])) {

        if(count($data)==1 && $data[0]=='')
            continue;
        else
        {
            $urarr1[$k]='';
            for($i=0;$i<count($data);$i++)
            {



                if(in_array($i,$exclude_cols,true))
                    $rarr1[$k][$i]='NTBT';
                else
                    $rarr1[$k][$i]=trim($data[$i]);

            }   


            $k++;
        }




    }

    fclose($file_handle);



    echo '<br>Exp Record count: '.count($rarr1);
    $header.='<br>Exp Record count: '.count($rarr1);

    $hrow=$rarr1[0];   //fetch header row and then unset it
    unset($rarr1[0]);

    array_multisort($rarr1);   //need to sort on all 20 columns asc

    $rarr1=array_values($rarr1); //re-number the array



       //writing the sorted o/p to file...debugging purposes
    $fp = fopen($_POST['op'].'/file1.csv', 'w');

    foreach ($rarr1 as $fields) {
        fputcsv($fp, $fields);
    }

    fclose($fp);


     //Repeat for actual .csv

    $file_handle = fopen($fileAct, "r");
    $k=0;

    while ($data=fgetcsv($file_handle,0,$_POST['dl2'])) {

        if(count($data)==1 && $data[0]=='')
            continue;
        else
        {
            for($i=0;$i<count($data);$i++)
            {


                if(in_array($i,$exclude_cols,true))
                    $rarr2[$k][$i]='NTBT';
                else
                    $rarr2[$k][$i]=trim($data[$i]);
            }   

            $k++;

        }

    }

    fclose($file_handle);

    unset($file_handle);


    echo '<br>Act Record count: '.count($rarr2);
    $header.='<br>Act Record count: '.count($rarr2);

    unset($rarr2[0]);

    array_multisort($rarr2);

    $rarr2=array_values($rarr2);

    $fp = fopen($_POST['op'].'/file2.csv', 'w');

    foreach ($rarr2 as $fields) {
        fputcsv($fp, $fields);
    }

    fclose($fp);


       ///Comparison logic

    $header.= '<br>';

    $header.= '<table>';
    $header.= '<th>RECORD_ID</th>';
    for($i=0;$i<count($hrow);$i++)
    {
        $header.= '<th>'.$hrow[$i].'_EXP</th>';
        $header.= '<th>'.$hrow[$i].'_ACT</th>';
    }

    $r=array();
    for($i=0;$i<count($rarr1);$i++)
    {

        if(array_diff($rarr1[$i],$rarr2[$i]) || array_diff($rarr2[$i],$rarr1[$i]))
        {

            $r[$i]=array_unique(array_merge(array_keys(array_diff($rarr1[$i],$rarr2[$i])),array_keys(array_diff($rarr2[$i],$rarr1[$i]))));


            foreach($r[$i] as $key=>$v)
            {
                if(in_array($v,$calc_cols))
                {
                    if(abs($rarr1[$i][$v]-$rarr2[$i][$v])<0.2)
                    {
                        unset($r[$i][$key]);
                    }   
                }
                elseif(is_numeric($rarr1[$i][$v]) && is_numeric($rarr2[$i][$v]) && !in_array($v,$calc_cols) && ($rarr1[$i][$v]-$rarr2[$i][$v])==0)
                {
                    unset($r[$i][$key]);
                }   
            }



            if(empty($r[$i]))
                unset($r[$i]);

            if(isset($r[$i]))
            {
                $header.= '<tr>';

                $header.= '<td>'.$i.'</td>';

                for($j=0;$j<count($rarr1[$i]);$j++)
                {

                    if(in_array($j,$r[$i]))
                    {
                        $header.= '<td style="color:orange">'.$rarr1[$i][$j].'</td>';
                        $header.= '<td style="color:orange">'.$rarr2[$i][$j].'</td>';
                    }
                    else
                    {
                        $header.= '<td >'.$rarr1[$i][$j].'</td>';
                        $header.= '<td >'.$rarr2[$i][$j].'</td>';
                    }
                }
                $header.= '</tr>';
            }
        }   

    }   
    $header.= '</table>';



//print_r($r);
    echo '<br>';
    // if(!isset($r))
        // $r[0]=0;

    echo 'Differences :'.count($r)  ;

    $header.= '<br>';
    $header.= 'Differences :'.count($r) ;




    $time_end = microtime(true);
    $execution_time = ($time_end - $time_start)/60; //dividing with 60 will give the execution time in minutes other wise seconds
    echo '<br><b>Total Execution Time:</b> '.$execution_time.' Mins'; //execution time of the script

最初はほとんどのファイルでこれが機能していることがわかりましたが、後で、理由が不明な一部のファイルで、内容が同じように見えても、array_multisortがarr1とarr2を異なる方法でソートしていることがわかりました...これが原因で発生しているかどうかはわかりませんデータ型の不一致ですが、型キャストも試しましたが、それでも並べ替えられますが、同じ配列が異なる方法で並べ替えられます

誰かが上記のコードの何が間違っているのか提案できますか？さらに、上記の私の要件を考慮すると、phpを介してこれを達成するためのより便利な方法はありますか？多分.csvファイルか何かを比較するphpプラグイン？

編集：要求に応じてサンプルデータ。単なるスナップショットであり、実際にはさらに多くの列と行があります。上記のように、.csvファイルのサイズは10MBをはるかに超えています。ファイル1とファイル2

        236|INPQR|31-AUG-12|200     |INR|       664|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |38972944.8                              |0                                       |0                                       |38972944.8
        236|INPQR|31-AUG-12|200     |INR|       6653|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        236|INPQR|31-AUG-12|200     |USD|       6655|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        236|INPQR|31-AUG-12|200     |USD|       664|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |63919609.97                             |0                                       |0                                       |63919609.97
        225|INPZQ|31-AUG-12|200     |USD|       6653|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        225|INPZQ|31-AUG-12|200     |USD|       6655|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        225|INPZQ|31-AUG-12|200     |USD|       6652|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |38972944.8                              |0                                       |0                                       |38972944.8
        225|INPZQ|31-AUG-12|200     |INR|       6652|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |63919609.97                             |0                                       |0                                       |63919609.97
        225|INPZQ|31-AUG-12|200     |INR|       6654|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        225|INPZQ|31-AUG-12|200     |INR|       6654|AAAAAA,PPPPP  



        236|INPQR|31-AUG-12|200     |USD|       664|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |63919609.97                             |0                                       |0                                       |63919609.97
        225|INPZQ|31-AUG-12|200     |USD|       6653|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        225|INPZQ|31-AUG-12|200     |USD|       6655|AAAAAA,PPPPP 
        236|INPQR|31-AUG-12|200     |INR|       664|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |38972944.8                              |0                                       |0                                       |38972944.8
        236|INPQT|31-AUG-12|200     |INR|       6653|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        236|INPQR|31-AUG-12|200     |USD|       6655|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        225|INPZQ|31-AUG-12|200     |USD|       6652|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |38972944.8                              |0                                       |0                                       |38972944.8
        225|INPZQ|31-AUG-12|200     |INR|       6652|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |63919609.97                             |0                                       |0                                       |63919609.97
        225|INPZQ|31-AUG-12|200     |USD|       6654|AAAAAA,PPPPP                                                                                                                                                                                           |0                                       |0                                       |0                                       |0                                       |0
        225|INPZQ|31-AUG-12|200     |INR|       6654|AAAAAA,PPPPP

更新：2つのcsvファイルには異なる日付形式が含まれる可能性があり、それぞれが異なる形式の数値を表す可能性があります。たとえば、1.csvは2013年1月12日、0.01は1行目です....2.csvは01/ 2013年12月と.01したがって、ハッシュが機能するとは思わない

4

4 に答える 4

0

2 つの CSV ファイルを比較するには、さまざまな方法があります。両方のファイルで異なる行をチェックするアプローチを使用しました。行から特定の列を削除したいことを考慮しました。

行が他のファイルにあるかどうかを確認し、同じ位置にあるかどうかを確認するため、並べ替えは使用しませんでした。理由は簡単です。1 つの行が一致せず、ファイルの先頭で並べ替えられている場合、この行の後のすべての行が異なります。

例：

file1:  file2:
1|a     1|a
2|b     2|b
3|c     3|c
4|d     4|d
5|e     1|e

After sorting

file1:  file2:
1|a     1|a
2|b     1|e
3|c     2|b
4|d     3|c
5|e     4|d

Now the rows 2, 3, 4, and 5 are all marked as different, because they do not match if you check per line. But in fact only 1 row is different.

以下のコードには、私が何かをした理由に関するコメントが表示されます。また、いくつかの大きな CSV ファイル (〜 45 MB および 100.000 行) でコードをテストし、チェックごとに 10 秒未満でさまざまな行の数を取得しました。

<?php
set_time_limit(0);

//create a function to create the CSV arrays.
//If you create the code twice like you did, you are bound to make a mistake or change something in one place and not the other.
//Obviously that could lead to sorting two equal files differently.
function CsvToArray($file) 
{
  $exclude_cols = array(2); //you didnt provide it, so for testig i remove the date col because its always the same

  //load file contents into variable and trim it
  $data = trim(implode('', file($file)));

  //strip \r new line to make sure only \n is used
  $data = str_replace("\r", "", $data);
  //strip all spaces from |
  $data = preg_replace('/\s\s+\|/', '|', $data);
  $data = preg_replace('/\|\s\s+/', '|', $data);
  //strip all spaces from each line
  $data = preg_replace('/\s\s+\n/', "\n", $data);
  $data = preg_replace('/\n\s\s+/', "\n", $data);

  //each line to seperate row
  $data = explode("\n", $data);

  //each col to seperate record
  //This is only needed for comparisment if you want to remove certain cols
  //if thats not needed, you can skip this part    
  foreach($data as $k=>$v)
    $data[$k] = explode('|', $v);

  //get the header. Its always the first row
  //array_shift will return the first element and remove it from the dataset
  $header = array_shift($data);

  //turn the array around, by making the row the key and count howmany times it shows
  $ar = array();
  foreach ($data as $row) {
    //remove unwanted cols
    //if you dont want to remove certain cols, skip this and the implode part and use $ar[$row]++
    foreach($exclude_cols as $c)
      $row[$c] = '';
    //implode the remaining
    $key = implode('', $row);

    //you can use str_to_lower($key) for case insensive matching
    $ar[$key]++;    
  }

  return $ar;
}

function CompareTwoCsv($file1, $file2)
{
  $start = microtime(true);

  $ar1 = CsvToArray($file1);
  $ar2 = CsvToArray($file2);

  //check for differences.
  $diff = 0;
  foreach($ar1 as $k=>$v) {
    //the second array doesnt contain the key (is row) so there is a difference
    if (!array_key_exists($k, $ar2)) {
      $diff+=$v; //all rows that are in the first array are different
      continue;
    }
    $c2 = $ar2[$k];

    if ($v == $c2) //row is in both file an equal number of times
      continue;

    $diff += max($v, $c2) - min($v, $c2); //add the number of different rows
  }

  $ar1_count = count($ar1);
  $ar2_count = count($ar2);

  //if ar2 has more records. Every row that is more, is different.
  if ($ar2_count>$ar1_count)
    $diff += $ar2_count - $ar1_count;

  $end = microtime(true);
  $difftime = $end - $start;

  //debug output
  echo "We found ".$diff." differences in the files. it took ".$difftime." seconds<hr>";
}

//test and test2 are two files with ~100.000 rows based on the data you supplied.
//They have many equal rows in the files, so the array returned from CsvToArray is small
CompareTwoCsv("test.txt", "test.txt");
//We found 0 differences in the files. it took 5.6848769187927 seconds

CompareTwoCsv("test.txt", "test2.txt");
//We found 17855 differences in the files. it took 6.6002569198608 seconds

CompareTwoCsv("test2.txt", "test.txt");
//We found 17855 differences in the files. it took 7.5223989486694 seconds


//randomly generated files with 100.000 rows. Very little duplicate data;

CompareTwoCsv("largescv1.txt", "largescv2.txt");
//We found 98250 differences in the files. it took 5.4302139282227 seconds

?>

結果：

于 2013-01-25T09:51:39.697 に答える
0

2つのファイルが異なることは確かですか? md5_file を使用し、2 つのファイルの MD5 ハッシュを比較して、そもそもそれらが何らかの形で異なるかどうかを確認します。

それらが異なる場合、私は次のようなことをします：

$csv_1_path = 'file_1.csv';
$csv_2_path = 'file_2.csv';
$fh_csv_1 = fopen($csv_1_path, 'r');
$fh_csv_2 = fopen($csv_2_path, 'r');
$md5_1 = array();
$md5_2 = array();
while( !feof($fh_csv_1) ) {
  $md5_1[] = md5(fgets($fh_csv_1));
}

while( !feof($fh_csv_1) ) {
  $md5_2[] = md5(fgets($fh_csv_2));
}

$common_records = array_intersect($md5_1, $md5_2);

$records_diff_count = 0;
foreach($md5_1 as $row_index => $md5_rec_1) {
  if ( !in_array($md5_rec_1, $common_records) ) {
    print "Record in file $csv_1_path, row $row_index has no match.\n";
    $records_diff_count++;
  }
}

foreach($md5_2 as $row_index => $md5_rec_2) {
  if ( !in_array($md5_rec_2, $common_records) ) {
    print "Record in file $csv_2_path, row $row_index has no match.\n";
    $records_diff_count++;
  }
}

各ファイルの行インデックスを見つけたら、ファイル間の違いをより詳細に分析できます。

于 2013-01-21T09:04:17.000 に答える
0

You can correctly sort the data by using the lines below.

<?php
function readCSV($fileName, $delimiter, $exclude_cols = array()) {
    $data = array();
    $fh = fopen($fileName, 'r');
    while ($line = fgetcsv($fh, 0, $delimiter)) {
        if (count($line) == 1 && $line[0] == '') {
            continue;
        }

        for ($i = 0; $i < count($line); $i++) {
            $line[$i] = in_array($i, $exclude_cols, true) ? 'NTBT' : trim($line[$i]);
        }
        $data[] = $line;
    }
    fclose($fh);
    return $data;
}

function sort2dArray($data) {
    $tmp = array();
    $lineCount = count($data);
    foreach ($data as $lineNum => $lineData) {
        foreach ($lineData as $column => $value) {
            $tmp[$column][$lineNum] = $value;
        }
    }

    $multiSortArgs = array();
    foreach ($tmp as $column => &$columnData) {
        array_push($multiSortArgs, &$columnData, SORT_ASC);
    }
    $multiSortArgs[] = &$data;
    call_user_func_array('array_multisort', $multiSortArgs);
    return $data;
}

// ========= Reading and sorting
// The expected data
$data_Exp = readCSV($fileExp, $_POST['dl1']);
$rarr1 = sort2dArray($data_Exp);

// The actual data
$data_Act = readCSV($fileAct, $_POST['dl2']);
$rarr2 = sort2dArray($data_Act);

However, it will not solve your problem, unless you expect files to either contain a full set of identical lines, that could be shuffled around.

If your use-case includes the possibility of lines missing or being completely different, sorting is only half of your solution.

于 2013-01-21T16:10:33.063 に答える
0

クイック観察

  • 違いを得るためにソートする必要はありません
  • どうすれば効果的にロードできる300MBのかわかりませんが、代わりにorPHP applicationを使用するようにアドバイスしたので、メモリの問題がないことは明らかです。SQLMap-Reduce
  • あなたは少しおかしく、区切り文字である CSVと結論付けるのは難しい|です。space
    • すごいので20 columns...差分にハッシュを使用する方が20列全体よりも優れています..その後、コンテンツを取得する位置を取得できます

コードの単純なバージョン 

$csvA = "a.log";
$csvB = "b.log";

echo PHP_EOL;

$hashA = readCSVFile($csvA);
$hashB = readCSVFile($csvB);

// Lines in A not in B
$hash = array_diff($hashA, $hashB);
if (($fp = fopen($csvA, "r")) !== FALSE) {
    foreach ( $hash as $p => $v ) {
        fseek($fp, $p);
        echo implode("|",array_map("trim", fgetcsv($fp, 2024, "|"))), PHP_EOL;
    }
    fclose($fp);
}

出力 

236|INPQR|31-AUG-12|200|INR|6653|AAAAAA,PPPPP|0|0|0|0|0
225|INPZQ|31-AUG-12|200|USD|6655|AAAAAA,PPPPP|0|0|0|0|0
225|INPZQ|31-AUG-12|200|INR|6654|AAAAAA,PPPPP|0|0|0|0|0

使用する機能

function readCSVFile($file, $size = 2024, $delimiter = "|") {
    $hash = array();
    if (($fp = fopen($file, "r")) !== FALSE) {
        $t = ftell($fp);
        while ( ($data = fgetcsv($fp, $size, $delimiter)) !== FALSE ) {
            $hash[$t] = sha1(implode(array_map("trim", $data)));
            $t = ftell($fp);
        }
        fclose($fp);
    }
    return $hash;
}
于 2013-01-21T14:51:48.957 に答える