問題タブ [job-scheduling]

LSFキュー内のジョブの位置を確認する方法はありますか?

私が実行した場合：

bjobs -u all -q my_queue

内のすべてのユーザーからジョブのリストを取得しましたmy_queueが、このリストはキュー内のジョブの位置によってソートされていますか?

多数のユーザー間で共有されるHadoopクラスターを管理しています。私たちは頻繁に非常に遅いマッパーでジョブを実行します。たとえば、NLP解析したい32 GBのセンテンスファイル（1行に1センテンス）があるとします（これには、センテンスあたり100ミリ秒かかります）。ブロックサイズが128MBの場合、これは250マッパーです。これは私たちのかなり小さなクラスターを埋めます（9ノード×ノードあたり12マッパーは108マッパーです）が、各マッパーは完了するのに非常に長い時間（時間）かかります。

問題は、クラスターが空でそのようなジョブが開始された場合、クラスター上のすべてのマッパーを使用することです。次に、他の誰かが短いジョブを実行したい場合、それは何時間もブロックされます。新しいバージョンのHadoopはFairSchedulerでプリエンプションをサポートしていることを知っていますが（Capacity Schedulerを使用しています）、新しいバージョンも安定していません（次のリリースを待ち望んでいます）。

以前はマッパーの数を指定するオプションがありましたが、現在JobConfは非推奨になっています（奇妙なことに、0.20.205では非推奨ではありません）。これにより、マッパーが増えると、各マップタスクがより小さなデータセットで機能し、より早く終了するため、問題が軽減されます。

0.20.203でこの問題を回避する方法はありますか？InputFormat（この場合はTextInputFormat）をサブクラス化する必要がありますか？もしそうなら、私は正確に何を指定する必要がありますか？

Oracle のジョブから 2 つのプロシージャを呼び出す方法を知りたいです。以下で行った方法のように言及しましたが、次のようなエラーを受け取りました...

これはばかげた質問のように聞こえるかもしれません。私のアプリケーションには、ジョブをスケジュールするスケジューラと、ユーザーが対話してジョブのステータスを監視する WEB UI があります。スレッドのステータスをチェックするために 5 分ごとにスレッドを実行するジョブ処理メカニズムがあります。現在、すべてが 1 つの JVM の下で実行されています。ジョブがスケジュールされ、バックエンドで起動されたときに Web UI が行き詰まらないように、スケジューリング部分と Web UI 部分を異なる jvm にデプロイしたいと考えています。

私の質問は、アプリケーションの一部 (WEB UI) をある JVM にデプロイし、アプリケーションの別の部分 (ジョブのスケジューリングと実行) を別の JVM にデプロイするにはどうすればよいですか?

もう 1 つの質問は、スケジューリング メカニズムのアーキテクチャに関するものです。私が提案するアーキテクチャは、スケジューラ レイヤーと Web UI インタラクション レイヤーがあるというものです。そこからジョブを JMS キューまたは ActiveMQ に配置し、ActiveMQ からジョブを選択して処理するさまざまな Java プロセス (さまざまな jvm が実行されている) を用意し、ジョブの状態がさまざまなプロセス間で適切に通信されていることを確認する必要があります。 jvms. この考えは理にかなっていますか？もしそうなら、石英はここで適切なツールでしょうか? 私の要件を念頭に置いている代替ソリューションは何ですか?

ありがとう！

アプリケーションのジョブ（自動）を管理するためにScheduledTimerTaskを使用しています。次のコードを使用しています。

上記のコードを使用するrunMethodと、1分ごとに正常に機能しますが、サーバーの時間に基づいて実行を変更したいと思います。たとえば、サーバーの時間が午後6時の場合、関数を呼び出す必要があります。それを実現するにはどうすればよいですか。

助けていただければ幸いです。

n 個のジョブと m 個のマシンがあります。各ジョブ i にはリリース時刻 r[i] があります。マシン j でのジョブ i の処理には p[i][j] 時間がかかります。1 つのジョブ k に対して |{p[i][j] | 私 == k}| <= c、ここで c << m。ジョブ i の遅延を f[i] - r[i] と定義します。ここで、f[i] はジョブ i が終了する時間です。システムはプリエンプティブではありません。つまり、あるマシンで 1 つのジョブが開始されると、終了する前に中断することはできません。目標は、すべてのジョブの遅延の合計を最小限に抑えるスケジューリング アルゴリズムを提供することです。何か案が？

毎週メールを送信するためのcronジョブまたはスケジュールされたタスクが必要なWebサイトを作成していますが、問題は、ホストがそれをサポートしているかどうかわからないことです...

このウェブサイトは機関向けであり、他のホストには配置できません...

ホストは Apache を使用しています。

サポートされていない場合、ホストを変更せずに毎週の電子メールを自動的に送信するにはどうすればよいですか?

編集

言い忘れましたが、私は cron ジョブの初心者です。

「A」を3回印刷するプログラムがあり、各印刷の間に1秒の遅延があります。このプログラムを1回呼び出すと、2.00秒かかります。

プロセスを0.5秒間実行してから、次のプロセスに切り替えるジョブスケジューラを作成したとします（前のプロセスが再び到達するまで一時停止します）。上記のプログラムを2回開始し、この2つのプロセスでこのジョブスケジューラを実行した場合、合計で4秒かかりませんか？

私はこれをテストしましたが、現時点では、2.5秒で計時されています。誰かがこれを説明できますか？

PHPを使用して構築された簡単なWebサイトがあります。Linuxサーバーでホストされています。

毎晩PHPスクリプトを実行する必要があります。どうすればよいですか？

「Javaのオープンソースジョブスケジューラ」はPHPスクリプトを実行できますか？

「MySQLイベント」とは何ですか？その目的は何ですか？「ジョブスケジューラ」とはどう違うのですか？

SOに関する多くの投稿とMySQLのドキュメントには、MySQLイベントの実装方法が説明されていますが、私はそれらの目的に興味があります。