問題タブ [jupyterhub]

私の現在のセットアップ:

• HDFS と YARN を使用した Spark EC2 クラスター
• ジュプターハブ(0.7.0)
• python27 を使用した PySpark カーネル

この質問に使用している非常に単純なコード:

Spark スタンドアロンで期待どおりに動作する PySpark カーネルには、カーネル json ファイルに次の環境変数があります。

ただし、yarn-client モードで実行しようとすると、JupyerHub ログからのログ出力は次のようになりますが、永遠に動かなくなります。

ここで説明したように、 HADOOP_CONF_DIR 環境を追加しました。変数を Hadoop 構成が存在するディレクトリを指すように変更し、PYSPARK_SUBMIT_ARGS --masterプロパティを「yarn-client」に変更しました。また、この間に他のジョブが実行されておらず、ワーカーが正しく登録されていることも確認できます。

他の人が行ったように、PySpark カーネルを使用して JupyterHub ノートブックを構成して YARN で実行することが可能であるという印象を受けています。

この場所がこの質問を投稿するのに適切な場所かどうかはわかりませんが、ローカル サーバーで表示できるように、複数の Jupyter ノートブックを含むフォルダーをダウンロードしたかったのですか?

ありがとうございました！

私は自分の論文に取り組んでおり、機能とその動作をテストするための作業環境をセットアップする機会があります。

次の点をカバーする必要があります。

• jupyterhub (プライベート クラウド内)
• パンダ、numpy、sql、nbconvert、nbviewer
• データを DataFrame (csv) に取得し、データを分析し、データを保存します (RDD?、HDF5?、HDFS?)
• 将来の分析のための火花

テスト シナリオは次のように構成されます。

• ユーザー/トピック用のノートブックを備えた複数ユーザー環境
• pandas、numpy、spark (spark-sql)、matplotlib との 3 ウェイマッチで数百万行の構造化テーブル (RSEG、MSEG、EKPO) を分析します。これら 3 つのテーブルには約 3GB のデータがあります。
• nbconvert、nbviewer を使用してノートブックを pdf、読み取り専用の notbook および/または Reveal.js にエクスポート

テストに使用するメモの数について、ヒントや経験を教えてください。どのLinuxディストリビューションが良いスタートですか? もっと多くの質問があると確信しています.方法を見つけるのに問題があるか、可能な答えを評価する方法を教えてください.

前もって感謝します！

Jupyter の HTML 出力を自分の Web ページに埋め込みたい。これの主な理由は、インターネット経由で、自分の webapp から Jupyter を使用できるようにするためです。また、世界中のどこからでも自分の研究ノートにアクセスできるようにするためです。

典型的なユース ケース シナリオは、ページ上のボタンをクリックすると、ページに iframe が挿入されるというものです。その後、Jupyter がバックエンドで起動され (まだ実行されていない場合)、Jupyter の出力が iframe に「パイプ」されるため、ページ内から Jupyter を使用できます。

素朴な解決策は を使用すること<iframe>でしたが、2 つの問題がありました。

1. iframe クロス ドメイン ポリシーの問題
2. Jupyter は、最初の起動時にワンタイム認証トークンを生成しました

とにかくこれらの問題を克服できるので、Jupyter の出力を自分の Web ページに埋め込むことができますか?