問題タブ [opendata]

ESRI オープン データ API から GeoJSON データセットをフェッチし、結果のデータを解析する必要があります。R を使用して API から geoJSON データをフェッチし、それを分析用のデータ フレームに変換した人はいますか?

フェッチしようとしているデータの例を次に示します。

LA でアクティブなビジネスのリスト: http://geohub.lacity.org/datasets/5caa1112258942c68fc4cce33fc13874_0

API エンドポイント: http://geohub.lacity.org/datasets/5caa1112258942c68fc4cce33fc13874_0.geojson

感謝！

次の R スクリプトを実行しようとしたときに、この問題に気付きました。

何らかの理由でスクリプトが回転し続けたので、手動でデータをダウンロードしたところ、圧縮率が 100% であることに気付きました。

StackOverflow がこの質問に最適な Exchange であるかどうかはわかりません。そのため、別の Exchange が提案されている場合は、この質問を移動してもかまいません。Open Data Exchange は適切かもしれませんが、そのサイトではあまり活動がありません。

私の質問は次のとおりです。私は、Centers for Medicare and Medicaid Services (CMS) から政府が収集したデータを頻繁に使用しています。このサイトからのデータ ダウンロードは zip ファイルの形式で、場合によっては zip 率が 100% になります。圧縮されていないサイズが 800 PB 程度であるため、これは明らかに不可能です。(CMS はサイトで、圧縮されていないサイズを約 4GB と見積もっていると述べています。) これは私の仕事用コンピューターに影響を与えました。この問題は、同僚のコンピューターと自分のコンピューターで再現しました。

一例はここにあります。(リンクをクリックしてから、[NPPES Data Dissemination] をクリックします)。私が気づいた他の例があり、これについて CMS に電子メールを送りました。ファイルが大きくてエクセルでは扱えないとのこと。私はこれを認識しており、これは私が直面している問題ではありません。

なぜこれが起こるのか、どうすれば修正できるのか誰にも分かりますか?

私は学校のプロジェクトに取り組んでいます。どこかで立ち往生しています。助けてください。オープン データ Web サイトから Azure SQL データベースにテーブルをインポートしましたが、ソースのデータが 30 分ごとに変更されます。クラウドで最近のデータを 30 分ごとに自動更新したいと考えていました。

それは可能Azure SQL databaseですか？

現時点では、integration servicesパッケージを手動で実行することで実行できます。しかし、それを Azure sql データベースにデプロイして自動的に実行することはできませんでした。Pls はヘルプを提供します。前もって感謝します。

いくつかのプラグインを含む CKAN 2.5 バージョンを正しくインストールし、運用サーバーで実行しています。ここで、通常のコロプレス マップを CKAN に構成するための ckanext-mapviews の拡張機能を追加したいと考えました。

setup.py をインストールし、 ckan.plugins属性のリストに choroplethmap を追加するという指示に従いましたが、ビュー タイプのリストに新しいChoropleth Mapチャート タイプ オプションが表示されません。ログも確認しましたが、何が起こっているのかを知る手がかりはありません。

それを修正するために何ができるか知っている人はいますか？

https://data.cityofnewyork.us/City-Government/ERROR-in-record-type/dq2e-3a6qをご覧いただけますか

これは、正しくないように見えるレコード タイプを示しています。

それが示している

count(*) を選択し、record_type でグループ化すると、次のように表示されます。

これは、値「P」を持つ 36M のレコード タイプと、1 つの非常に奇妙なレコード タイプがあることを意味します。

ニューヨーク市のオープンデータ法に関する 1 つの提案:

オープン データ法 ( http://www1.nyc.gov/site/doitt/initiatives/open-data-law.page ) を修正して、ニューヨーク市政府機関にデータを公開するだけでなく、実際に使用することを要求する必要があります。政府機関の公開サイト向けのオープン データ ポータル。

政府機関がデータをポータルに単純にダンプすることを許可した場合、品質テストはありません。また、政府機関は、公開されているデータセットの数を宣伝することができますが、実際にデータを使用している人は誰もいません.

この単純な変更「代理店は独自のデータ (別名、ドッグフード) を使用する必要があります」は、品質を向上させます。http://www1.nyc.gov/site/doitt/initiatives/open-data-law.pageを読むと、品質については一度だけ言及されており、データの使用については何も言及されていません。ポータルは自慢するものではありません。テクノロジーと政府に参加するための重要な方法です。

ありがとう！

Splunk Enterprise でビジュアライゼーションを構築するために、オープン データ (プライベート データを含まない) を含む無料のデータセットまたは Web リポジトリが必要です。

助言がありますか？

どうもありがとう、スケンダー

問題がどこにあるのか正確にはわからないので、ここに書いて、それに関するヒントや手がかりを得ます. 誰かがそれについて意見や考えを持っているかどうか知りたいです。ckan を使用した収集は機能しているように見えますが (オープン データ サイトでデータを取得できます)、最終的にその状態は「進行中」のままであるため、ブロックされたままになり、他のデータを再収集できません。ありがとうございました

fetch_consumer.log のログは次のとおりです。

gather_consumer.log のログの下: