問題タブ [etl]

編集済み:抽出した SharePoint リスト データを別の SQL Server テーブルにスクレイピング する最も簡単な方法は何ですか? 1 つの条件: SharePoint Server の背後にある SQL Server を制御していない作業環境にいるため、UserDataテーブルからプルすることはできません。

毎晩の抽出をスケジュールするために使用できるユーティリティはありますか?

Microsoft は "SharePoint 4" の改善を計画していますか?

2009 年 1 月 6 日更新:
http://connectionstrings.com/sharepoint Office
がインストールされていないサーバーの場合は、次のものが必要です:
このダウンロード

選択した列を SQL Server 2008 データベース テーブルにインポートしたい Excel スプレッドシートがあります。ウィザードはそのオプションを提供しませんでした。

簡単なコード オプションはありますか?

動的データインポートツールの構築を計画しています。基本的に、一方の端で指定された形式（access、excel、csv）で情報を取得し、それをWebサービスにアップロードします。

状況は、エクスポートフィールド名がわからないため、アプリケーションはwsdl定義を確認し、もう一方の端の有効なエントリにマップできる必要があります。

インポートセクションでは、ほとんどのフィールドを定義できますが、通常、カスタムのフィールドがいくつかあります。何の問題もありません。

このタイプのアプリケーションに適合する、またはその開発に役立つデザインパターンがあるのではないかと思います。

ソースが大きくて設計が不適切なsql2kデータベースであり、より適切に設計されたsql2k5データベースであるETLを実行することになっています。私はSSISが進むべき道だと思います。誰かがやることリストやチェックリスト、または私が何かを忘れないように注意すべきことを提案できますか？後で後ろに噛まれないように、これにどのようにアプローチすればよいですか。

Dim Tables、Fact Tables、ETL、およびキューブがあります。現在、キューブが過去2か月分のデータのみを保持していることを確認しようとしています。これは、ファクトテーブルに2か月のデータのみを保持させ、「完全なプロセス」を実行することによって実行する必要がありますか、それともキューブから古いデータを削除する方法がありますか？

気象会社の Web 開発者としての仕事中に、私たちは同じタスクに何度も直面しています。どこか (FTP/Web/ディレクトリ/メール) からいくつかのファイルを取得し、含まれているデータをデータベースにインポートします。

もちろん、ファイル形式は決して同じではありません。データベースは常に異なって設計されており、無数の特殊なケースを処理する必要があります。

だから今、私はまさにこの種の作業のためのインポートフレームワークを計画しています. 私たちは経験豊富な PHP 開発者であり、現在のスクリプトは PHP または Perl のいずれかであるため、スクリプト言語として PHP を使い続けることにします。

• データ ゲッターは、ソースからファイルを取得して開き、内容を文字列変数に格納します。(心配しないでください。PHP は十分なメモリを取得します。)
• データ ハンドラーは、文字列をある種の配列に変換する複雑な作業を行います。
• 配列はデータベースに保存されるか、新しいファイルに書き込まれます。

この機能に加えて、いくつかの一般的なエラー処理、ログの書き込み、および電子メールの報告があります。

アイデアは、クラスのコレクションを使用することです (いくつかの getter クラス、多くの特殊なハンドラー、いくつかのライター クラス)。

私の質問:これらのクラスを作業スクリプトで実際に整理するにはどうすればよいですか? 解釈され、それに応じてクラスが呼び出されるある種のメタ言語を発明しますか? それとも、これらのクラスが実装しなければならないいくつかの単純なインターフェースを提供するだけで、私のユーザー (私が言ったように: 経験豊富な PHP 開発者) は、これらのクラスをロードする小さな PHP スクリプトを作成しますか?

2 番目のバージョンは、ほぼ確実に最大の柔軟性と拡張性を提供します。

そのような取り組みに関して他に何か考えはありますか。

そのため、SQL イメージ列に格納されているいくつかのイメージをインポートしています。イメージを varbinary(max) として格納して再作成するため、それらをバイト配列に変更する必要があります。これを行うプログラム、または時間がないので本当に簡単な方法があれば、それが大好きです。

そこに何かアイデアはありますか？

ワークフローを理解するのに助けが必要ですが、どうすればよいかわかりません... たとえば、テーブル A からテーブル B にデータを変換 (ETL?) しているとします。テーブル A には複合主キー A.a+ があります。 A.b+Ac ですが、テーブル B には自動的に入力された ID 列しかありません。A からの複合キーを、B への挿入時に作成された ID にマップするにはどうすればよいですか?

同じ操作を行う必要があるが同じ複合キー構造を持たないテーブルが他にもたくさんあるため、A の複合キーに関連するテーブル B に列を持たないことをお勧めします。

大規模な商用オンライン ショップの場合、私の会社はビジネス インテリジェンス プロジェクトを開始する必要があります。

オンラインショップを行いました。データ ソースはおそらく数個しかないので、統合は非常に簡単だと思います。

データ ウェアハウス データベースを作成し、実際のデータベースを別の観点から再検討します。

オープンソースの BI フレームワークを探し始めたところ、候補として Pentaho と JasperForge を思いつきました。

Jasperforge を見てきましたが、フロントエンドに必要なソフトウェア/パッケージ (Pentaho デモなど) がわかりません。Jasper BI Suite の導入について概要を簡単に説明するのを手伝ってくれる人はいますか? モンドリアンを使用しているかどうかわかりませんが、含まれているかどうかはわかりません。

Microsoft SQL Server で JasperServer を使用できますか??

Jitterbitを ETL ツールとして使用したことのある人はいますか? レビュー/チュートリアルはありますか?