問題タブ [laravel-jobs]

awstats ファイルをデータベースにインポートする作業を行っています。多数のファイルがあり、ファイルの最大サイズは約 10MB、大きなサイズのファイルでは約 200k 行です。ファイルはいくつかのセクションに分かれています。サンプルの 1 つを以下に示します。

これは小さなデータを含む小さなセクションです。数千行を含む非常に大きなセクションがあります。このプロジェクトでは Laravel と MYSQL を使用しており、セクションを JSON 形式でテーブルに保存しています。ファイルデータをデータベースに保存するコントローラーコードを次に示します。

このコントローラーの機能は、サイトを保存し、当月ファイルのデータをデータベースにインポートするジョブを実行します。

このコードは、小さなファイルの場合は問題なく実行されますが、大きなデータの場合はうまく実行されません。通常、MYSQL サーバーがなくなったというエラー、max_allocated_pa​​ckage タイプのエラーを受け取ります。

改善するために次のことを行いました。

• データを分割して保存する (データを 3 つの部分に分割して必要なデータを保存し、残りのデータで行を更新するなど)
• メモリサイズ、実行時間などを増やします。

しかし、私はそれらを保存する適切な方法を見つけています。これらに基づいて、1 つの要求で多くのファイルをインポートするスケジューラやその他のジョブを作成する必要があります。誰かがこの問題に関連する良いアイデアや提案を持っていれば、それは素晴らしいことです.

ありがとう

Laravel では、queue:work と config/queue.php で渡されるパラメータの違いは何ですか?

どちらも同様のパラメーターを持ち、キュー内のジョブのタイムアウトなどのパラメーターを指定するために使用されます

では、違いはどこにあるのでしょうか? パラメータの優先順位が異なるということですか?