問題タブ [emr]

HIPAA 準拠により、モバイル ネイティブ アプリケーションでのオフライン ストレージを許可しないようにする必要がありますか??HIPAA にこの種の規制が既に存在するかどうかはわかりません。そのようなことはないと思います。

この質問をこのフォーラムで行う必要がないと思われる場合は、これをよく読んで、この問題に対するプログラムによる解決策を提案してください。

これが発生した主な理由は、デバイスが脱獄またはルート化されると、モバイル開発に関するすべてのセキュリティ上の考慮事項が特に iOS にある可能性があるためです。

ハードウェア暗号化がハッキングされていることを知りました。

http://anthonyvance.com/blog/forensics/iphone_encryption/

次に、iOS 4 の暗号化技術に関する質問があります。

人々は、電話がルート化されている場合、iOS のキー チェーン アクセスが危険にさらされる可能性があると主張しています。

懐疑論に遭遇していないと私が思う唯一のものはsqlCipherです。

SqlCipher の欠陥を見つけた場合は、共有してください。

また、携帯電話でオフライン データを管理するための盗難を防ぐ方法が見つかるまでは、HIPAA への準拠が義務付けられている EMR アプリのオフライン機能を作成することを控えてもよいと思います。

人々が必死にハッキングしようとすれば、どのようなシステムもハッキングされる可能性があると言えます。しかし、モバイル デバイスは簡単なターゲットになる可能性があると思います。ハンカチをなくすように失くしてしまうことがあります。

あなたの意見を共有してください。

EMR でハイブを実行しており、いくつかのファイルをすべての EMR インスタンスにコピーする必要があります。

私が理解している1つの方法は、ファイルを各ノードのローカルファイルシステムにコピーすることです。もう1つの方法は、ファイルをHDFSにコピーすることですが、S3からHDFSに直接コピーする簡単な方法は見つかりませんでした。

これについて最善の方法は何ですか？

この前の質問では、hadoop ストリーミング用に nltk などのモジュールをインポートする方法について説明しました。

概説された手順は次のとおりです。

Python スクリプトで使用するために nltk モジュールをインポートできるようになりました: import zipimport

Amazon の EMRで実行したいジョブがありますが、zip ファイルをどこに置くべきかわかりません。ブートストラップ オプションの下にブートストラップ スクリプトを作成する必要がありますか、それとも tar.gz を S3 に配置してから追加の引数に配置する必要がありますか? 私はこれらすべてにかなり慣れていないので、プロセスを順を追って説明できる回答をいただければ幸いです。

AWSSDKforPHP を使用して emr インスタンスを起動し、豚のスクリプトを実行しましたが、耐えられないほど遅いことがわかりました。ピッグ ローカル モードの ec2 インスタンスで同じピッグ ジョブを実行すると、わずか 10 分しかかかりません。EMR を開始してピグ ジョブを mapreduce モードで実行すると、数時間かかります。変ですね。mapreduce モードの内部 Hadoop クラスターで同様の pig ジョブを実行していましたが、非常に高速です。指定する必要がある構成設定はありますか? emr 用に 1 つのマスター ノードと 4 つのスレーブ ノードを既に設定していますが、まだ十分ではありませんか??

ありがとう。

Amazon Elastic Mapreduce を使用する場合、Hadoop ストリーミングには Elastic Mapreduce のストリーミングではなく、Using hadoop-streaming-0.20.205.0.jar を使用したいと考えています。カスタム パーティショナー、入力形式、出力形式などを設計する必要があります。

そこで、次のように新しいカスタム JAR ジョブを作成しようとしました

Python スクリプト mapper.py と reducer.py は、EMR のストリーム ジョブを使用して問題なく実行されました。

ただし、次のエラーメッセージが表示されました

私の質問のポイントは

1. 私の仕事に潜在的な問題はありますか？mapper.py と reducer.py にアクセスしたときにジョブが失敗したため、どの問題が残っているかわかりません。
2. mapper.py と reducer.py にアクセスするにはどうすればよいですか?
3. EMR のストリーミング ジョブは /home/hadoop/contrib/streaming/hadoop-streaming.jar を使用しているようです。このソースを入手できますか？このソースを入手すれば、私の問題は解決できます。ありがとう。

私は現在、ルビーで書かれたマッパーとレデューサーのコードでストリーミングジョブを実行しています。これらをJavaに変換したいと思います。Javaを使用してEMRHadoopでストリーミングジョブを実行する方法がわかりません。アマゾンのEMRウェブサイトのcloudburstにあるサンプルは複雑すぎます。以下は、私が現在どのようにジョブを実行しているかの詳細です。

ジョブを開始するためのコード：

ステップを追加するコード：

マッパーコードは、EMRのキャッシュ引数として上記で言及されているcsvファイルから読み取るだけでなく、いくつかのcsvファイルも含む入力s3バケットから読み取り、いくつかの計算を実行し、csv出力行を標準出力に出力します。

カスタム jar を使用してストリーミング ジョブを実行するときに、 mapred.task.timeout 、 mapred.min.split.sizeなどの mapreduce構成を指定する方法を知りたいです。

ruby や python などの外部スクリプト言語を使用して実行する場合、次の方法を使用してこれらの構成を指定できます。

ruby elastic-mapreduce -j --stream --step-name "mystream" --jobconf mapred.task.timeout=0 --jobconf mapred.min.split.size=52880 --mapper s3://somepath/mapper. rb --reducer s3:somepath/reducer.rb --input s3://somepath/input --output s3://somepath/output

次の方法を試しましたが、どれもうまくいきませんでした。

1. ruby elastic-mapreduce --jobflow --jar s3://somepath/job.jar --arg s3://somepath/input --arg s3://somepath/output --args -m,mapred.min.split .size=52880 -m,mapred.task.timeout=0

2. ruby elastic-mapreduce --jobflow --jar s3://somepath/job.jar --arg s3://somepath/input --arg s3://somepath/output --args -jobconf,mapred.min.split .size=52880 -jobconf,mapred.task.timeout=0

また、EMR でカスタム jar を使用して Java オプションをストリーミング ジョブに渡す方法も知りたいです。Hadoop でローカルに実行する場合、次のように渡すことができます。

bin/hadoop jar job.jar input_path output_path -D< some_java_parameter >=< some_value >

Elastic MapReduceインタラクティブセッションを介してHiveテーブルを作成し、次のようにCSVファイルからデータを入力しました。

ここで、HiveテーブルをS3バケットに保存して、MapReduceインスタンスを終了するとテーブルが保持されるようにします。

誰かがこれを行う方法を知っていますか？

Hive の Amazon AWS の Elastic Map Reduce 実装では、UDFstr_to_mapとreflectは定義されていません。

str_to_map はここに文書化されています: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringFunctions

Hive 0.7 でリリースされました: https://issues.apache.org/jira/browse/HIVE-1779

ただし、AWS EMR で Hive を実行している場合は、またはサポートされている関数としてshow functions表示されません。str_to_mapreflect

したがって、EMR EC2 ノードには hive-0.5 がインストールされているようです。

それは...間違っているようです。

Hive 0.7 が EMR にあると確信しています。EMR EC2 マスターノードで Hive 0.7 の AMI を取得するにはどうすればよいですか?

そこで、既存の EMR のクライアント インターフェイスを構築する方法を研究しています。HL7 やさまざまなコーディング スキームに関する情報をたくさん読みましたが、まだまったくわかりません。

以前に EMR を使用したことがある人へ: HTTP-POST および HTTP-GET 要求を使用してデータをサーバー データベースにプル/プッシュできる Web インターフェイスを構築することは可能ですか? それとも、Web アプリケーションなどのクライアント用に別のデータベースを用意し、Mirth などのインターフェース エンジンを使用して EMR データベースと Web アプリケーション間の通信を行いますか?