問題タブ [socrata]

私のクエリはhttps://data.seattle.gov/resource/y2d4-ftqb.json?$group=categories&$select=categories&$where=categories%20IS%20NOT%20NULLです

出力は

出力を次のようにするにはどうすればよいですか。

?

消費者金融保護局 (CFPB) を Python 3.4 の Pandas データ フレームにロードしようとしています。私のコードは機能しますが、SODA API では 1,000 行に制限されているようです。アプリ トークンを使用し、ここで URL を参照しています

データ構造は完璧ですが、データは 1,000 行に制限されています (データは 300,000 行近くあるはずです)。

ブラウザーを介して (アプリ トークンを使用して) 同じ URL にアクセスすると、1,000 行しか取り込まないように見えます。アプリ トークンを使用すると、データ セット全体にアクセスできるという印象を受けましたが、それは正しくありませんか?

REST json API を使用して、さまざまな Socrata データセットから分析アーキテクチャにデータを取り込もうとしています。最後のリクエスト以降、新しいデータをデータセットにドロップする方法を見つけたいと思います。

現時点での私の計画は、日付フィールドの 1 つで $order と $where を使用し、最終日から 24 時間ごとにフィルター処理されたセットを取得することです。

データ計算を使用する方法の例はありますか、または最後のクエリ以降の最新のデータを取得するために欠落しているより良い方法はありますか?

あなたの助けに感謝します。

Socrata API を使用して、consumerfinance.gov の苦情データベース データを取得したいと考えています。

http://www.consumerfinance.gov/complaintdatabase/technical-documentation/#api-documentationのサイトの指示に従ってデータを取得するのは簡単です 。

「6yuf-367p」で次のクエリを使用して、「プリペイド カード」の商品データと「.json」タグを使用して JSON 形式で取得しました。

PHP を使用して、次のクエリでデータを取得しました。

結果を以下に言い換えます。私が期待していたものとは異なる結果についてのいくつかのこと。

1. 「メタ」セクションは期待していませんでした。列名は、{ key: value } 形式のデータに直接関連付けられていない Meta セクションにあります。

2. データ セクションには、「値」だけでなく { key: value } 形式が含まれていると予想していました。これは、 http: //dev.socrata.com/docs/formats/json.html の Socrata ヘルプ ページで説明されている形式とは異なり ます。

私は高度な JavaScript 開発者ではないので、どのように進めるのが最善なのか疑問に思っています。理想的には、列名が { key: value } 形式の「Data」セクションのみが必要です。Google チャートなどで使用する { key: value } 形式にしたかったのです。

列名を配列に保存してから、各データ行をループし、列名を含むデータ行を書き換えて { key: value } 形式を取得する必要があることを想像しています。

私の他のオプションは、素晴らしくきれいな列とメタセクションのない非常にきれいな csv API 形式を使用することです。しかし、JSONが利用可能であるため、csvをJSONに変換する必要はありません。

CSV クエリは次のとおりです。

いくつか質問があります：

1. socrata は「メタ」セクションのない API フィードを提供しますか? 「メタ」セクションを除外するために使用できるフィルターはありますか?

2. #1 の答えが「いいえ」の場合、Socrata には、JSON を解析して { key: value } 形式の「Data」セクションを Socrata のヘルプ ページで説明されているのと同様の形式で取得するための JavaScript が用意されていますか?

ありがとう！

私は次のことを行う python スクリプトに取り組んでいます: 1) エンタープライズ データベースから GIS メタデータを取得する 2) XML からプレーン テキストにメタデータを解析する 3) テキスト ファイルを Socrata で対応する公開されたデータセット (毎月公開される) に添付する 4 ) スクリプトは毎月実行されるため、エンタープライズ データセットのスキーマの変更は Socrata の添付されたプレーン テキスト メタデータ ファイルに反映されます。

こちら にあるコードを使用して、公開された Socrata データセットにテキスト メタデータ ファイルを正常に添付できました。問題は、スクリプトが実行されるたびに、追加の添付ファイルが追加されることです。既存の添付ファイルを削除して新しい添付ファイルを追加するか、既存の添付ファイルを新しい添付ファイルの内容で上書きしたいと考えています。

私はこれについてかなりの量の調査を行いましたが、Socrata API を使用して添付ファイルを管理するためのドキュメントを見つけることができないようです。助言がありますか？

socrata データ ポータルへの RESTful 呼び出しを使用してデータを取得しています。

問題は、「searchCondition」が 5000 文字を超える非常に大きくなることがあり、実行中に次のエラーが発生することです。

リクエストの送信中にエラーが発生しました。

サーバーがプロトコル違反を犯しました。Section=ResponseStatusLine

これは大きな requestUri を送信しているために発生しているのでしょうか、それとも socrata が検索条件の制限を制限していることと関係がありますか?