問題タブ [data-dump]

Chrome と Firefox で、XML の形式が正しくないことを伝えて、問題のあるプレーンテキストの最初の数文字を表示するのではなく、XML を完全なプレーンテキスト形式で表示するようにしたいと考えています。

これは、変数などをダンプするときに、Web 開発者にとって役立つ可能性があります。

他の人がダウンロードして分析できるように、自分のサイトからデータダンプを作成しています。各ダンプは巨大なXMLファイルになります。

私は次のような最良の圧縮アルゴリズムを見つけようとしています。

• 効率的に圧縮します（CPUに関して）
• 可能な限り最小のファイルを作成します
• かなり一般的です

私は圧縮の基本を知っていますが、どのアルゴが法案に適合するかについての手がかりはありません。MySQLとPythonを使用してダンプを生成するので、優れたpythonライブラリを備えたものが必要になります。

このスニペットは、すべてのドキュメントをデータベースから取り出し、gzip圧縮されたファイルにダンプします。docs_to_dumpは、ダンプされるすべてのテキストドキュメントを含むdjangoオブジェクトです。

残念ながら、それはまた、OSがそれを破壊するほど多くのメモリを消費します。「ファイルのようなオブジェクト」に書き込むことで、圧縮されたファイルがその場で作成され、メモリが比較的少なくなると思いました。代わりに、数百MBを消費し、その後クラッシュします。

私は圧縮の専門家ではありませんが、圧縮ファイル全体がメモリに保存されているように感じます。

私がこれを行うべきより良い方法はありますか？

編集-ファイル全体はここにあります：https ：//bitbucket.org/mlissner/search-and-awareness-platform-courtlistener/src/2ca68efd8017/data-dumps/data-dumper.py

私はオンラインのソーシャルコミュニティで評価方法に取り組んでおり、アルゴリズムを適用するには実際のデータが必要です。私が正確に必要としているのは、ソーシャルネットワーク、フォーラム、Q＆Aコミュニティなどでユーザーが互いに投票したことを示すいくつかのレコードです。VoterID、VoteeID、Time、VoteValueが必要です。stackoverflowのデータダンプをダウンロードし、そこからデータを抽出しました。ここでの問題は、votesファイルにvoterIDが含まれていないことです（VoteTypeID = 5を除く）。誰かが私がそのようなデータセットを見つけるのを手伝ってもらえますか？ありがとう

オブジェクトとハッシュの値をダンプしたいのですが、キーが順不同で表示され続けます。(再帰的な) ソート順でキーをダンプするにはどうすればよいですか?

私が達成しようとしているタスクは、任意のツールを介してリモート SAS マシンによって計算された結果セットを CSV/XLSX ファイルにエクスポートすることです。

私が話している結果セットのサイズは 500K 行で、XLSX のおおよそのファイル サイズは 100MB です。

SAS サーバーの詳細:

オペレーティング システム: Linux for X64

製品: SAS 9.2 64 ビット、Rev. 920_11w03

MS Excel から受け取ったエラー コード (SAS Add-in for Office 4.2 を介して結果セットを取得しようとした場合) を以下に示します。

System.OutOfMemoryException: Exception of type 'System.OutOfMemoryException' was thrown. at System.String.InternalCopy(String str) at System.Text.StringBuilder.ToString() at SAS.Report.Models.XML.XMLIQData.XMLCSV.CreateValueElement(Char ch, ArrayList valueList, Values& values, StringBuilder& sb, Boolean& inDataString) at SAS.Report.Models.XML.XMLIQData.XMLCSV.TokenizeString(String csvString, ArrayList valueList, ValuesList& valuesList, Int32& valuesCount, Boolean isOLAP) at SAS.Report.Models.XML.XMLIQData.XMLCSV.LoadElement(ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelement(String name, XmlNode node, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelements(String name, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLIQData.XMLEmbeddedData.LoadElement(ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelement(String name, XmlNode node, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelement(String name, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLIQData.LoadElement(ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelement(String name, XmlNode node, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLData.LoadElement(ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelement(String name, XmlNode node, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLReportElement.LoadSubelements(String name, XMLReportElement xmlClass, ReportElement parent) at SAS.Report.Models.XML.XMLSASReport.LoadElement(ReportElement parent) at SAS.Report.Models.XML.XMLParse.CreateDOM(Stream file, String fragment, Hashtable customObjectMap) at SAS.Report.Models.XML.XML.ReadReport(Stream inputStream, Hashtable customObjectMap) at SAS.Report.Models.XML.XML.ReadReport(FileInfo file, Hashtable customObjectMap, String prefixUniqueId) at SAS.Report.Models.XML.XML.ReadReport(String filename, Hashtable customObjectMap, String uniqueIdPrefix) at SAS.AMO.Reports.SASReport.FromXML(String filename, Hashtable customObjectMap, Int32 fileId) at SAS.OfficeAddin.ExcelReports.ExcelSASReport.FromXml(String filename, Int32 fileId) at SAS.OfficeAddin.ExcelAddin.OpenSASReport(JobContext context) at SAS.OfficeAddin.ExcelAddin.ProcessResults(JobContext context) at SAS.OfficeAddin.OfficeAddinBase.PostProcessJob(JobContext jobContext, Boolean promptOnErrors)

データにアクセスできるようにするのに役立つソフトウェアについてアドバイスしてください (最終的な目標は、SAS ストアド プロセスから取得したデータからピボット テーブルを作成することです)。

location質問があります。フィールド データに基づいて、特定のユーザーがどのタイムゾーンにいるかを把握する最善の方法は何ですか? かなりの数のユーザーがこのフィールドにデータを入力しているようですが、フォームは正規化されていません。

ユーザーの場所を正規化し、タイムゾーンを推測する方法を考えていますが、誰かが以前にそれを行い、経験を共有できるかどうか、または（理想的には）特定の場所でタイムゾーンを要求できる魔法の Web サービスがあるのではないかと思います。

これまでのところ、フィールドのトークン化、並べ替え、頻度によるグループ化、および私の最善の知識に基づいて手動でタイムゾーンを割り当てるという、かなり単純なプロセスを実行しています。

symfony プロジェクトに問題があります。
InnoDB テーブルを含む MySQL データベースがあります。
シンプルなツリーメニューを作成しようとしています:

スキーマ.yml

バックエンドで要素を作成した後、data:dumpこのコードを実行して取得します

備品:

走ろうとするとアイテム同士の関係が崩れてしまう

何が悪いのかわかりません。

編集：

前：

後

SQL Server 2008 で大きな XML データ型をインポートしようとしていますが、次のエラー メッセージが表示されます。

メッセージ 6365、レベル 16、状態 1、行 3
XML 操作の結果、XML データ型のサイズが 2GB を超えました。操作は中止されました。

これを回避する/SQL Serverの制限を増やすために何ができるか知っている人はいますか? 最終的にデータダンプをインポートする方法を理解しましたData.Stackexchange.comが、XML ファイルが大きすぎてインポートできないことがわかりました。

使用:

他の情報が必要な場合は、知っておいてください。ありがとう！

_{このサイトを見つけました。これが最高のリソースではないことを願っています...}

編集@Bummi のおかげ で、これは SQL Server の制限のようです。これを回避する方法/方法を知っている人はいますか?

Google APIでBigQueryをテストしていますが、ウィキペディアの全文ダンプでいくつかのクエリを実行したいと思います。Googleのサンプルデータには全文ダンプは含まれていません（改訂履歴のみ）。

アマゾンのこのようなウィキペディアダンプのソースはほとんどありません：http： //aws.amazon.com/datasets/2506

私の質問は次のとおりです。GoogleBigQueryプロジェクトに転送せずにこれらのデータセットをクエリする方法はありますか？同様に、BigQueryがこれらのデータセットの1つと直接通信する方法はありますか？

BigQueryが不可能な場合、Amazon EC2に同じことを実行できる同等のサービスはありますか？

ありがとうございました。