問題タブ [bulk]

顧客 (約 500,000) にニュースレターを送信する必要があります。メール プロバイダとして Google Apps を使用しているため、最終的には Gmail を使用しています。

これを達成するためにいくつかの方法を試しましたが、いくつかの問題に遭遇しました。

• ときどき、ハングアップします (255 以降メールを送信しない)。そこで、メールを 255 のブロックに分割して再試行することにしましたが、これも時々ハングアップします。私はそれに頼ることはできません。

• また、クライアントは、Google のメール サーバーがスパム メールとして分類したため、私のニュースレターが「スパム」フォルダに入っていると言っています。

この問題を解決するにはどうすればよいですか?

NHibernate を使用して PostgreSQL データベースとやり取りしています。

バックグラウンド

簡単なテストをいくつか行いました... 300 レコードを保持するのに 2 秒かかるようです。私は同じ機能を持つ Perl プログラムを持っていますが、代わりに直接 SQL を発行すると、時間の 70% しかかかりません。これが予想されるかどうかはわかりません。私は、C#/NHibernate の方が高速であるか、少なくとも同等であると考えていました。

質問

私の観察の 1 つは、(show_sqlオンにすると)、NHibernate は、複数の行を処理する一括 INSERT を実行する代わりに、INSERT を数百回発行していることです。また、「ネイティブ」ジェネレーターを使用せずに、自分で主キーを割り当てていることに注意してください。

それは期待されていますか？とにかく、代わりに一括 INSERT ステートメントを発行させることはできますか? これは、パフォーマンスを高速化できる領域の 1 つになる可能性があるように思えます。

1Kbから100kbまでのサイズの3000のcsvファイルを含むフォルダーがあります。これらのファイルのすべての行は43文字の長さです。合計サイズは171Mbです。

これらのファイルをできるだけ速く解析するプログラムを作成しようとしています。

私は最初に自分の実装を試しましたが、これらの結果に満足していませんでした。次に、StackOverflowでLumenWorks.Framework.IO.Csvを見つけました。それは大胆な主張をしています：

145のフィールドと50,000のレコードを含む45MBのCSVファイルを使用して、より現実的な数値を提供するために、リーダーは約30MB/秒を処理していました。全体として、1.5秒かかりました。マシンの仕様はP43.0GHz、1024MBでした。

私は単にそれらの結果の近くに何も得られません。私のプロセスは>>10分かかります。これは、1つの大きなストリームではなく、小さなファイルがたくさんあり、そこにオーバーヘッドがあるためですか？他に何かできることはありますか？

LumenWorksの実装は、引用符、エスケープ、コメント、複数行のフィールドを処理することは言うまでもなく、私自身の実装よりも速くはないと感じています（ベンチマークはしていません）。カンマ区切りの整数の非常に規則的な形式があります。

乾杯

私のクライアントのカスタム構築された CRM について、ユーザー (技術者) に、マークされたケースへの変更が電子メールで通知されるようにしたいと考えています。

これにより、ユーザーとケースの間の単純なサブスクリプション マッピング テーブルと、ロギング メソッド内からケースに変更が加えられるたびに自動メールが送信されることが保証されます。

ロギング方法を滞らせずに、サブスクライブしているユーザーに 10 ～ 100 通のメールを送信するにはどうすればよいですか? 私の SMTP サーバーは LAN 上のピアにあるため、送信は迅速に行われるはずですが、理想的には、これは外部のキューイング プロセスによって処理される必要があります。

cron ジョブで未処理のメールを 10 分ごとに送信することもできますが、この特定のクライアントの場合は非常に時間的制約があり、即時通知 (メールが可能な限り即時) が優れています。

ログ記録方法を滞らせずに、ASP.NET MVC 内から一括通知メールを送信するにはどうすればよいですか?

ユーザー プロファイル画像を SharePoint 個人用サイト ホストに一括アップロードできるツールを探しています。アカウント名で名前が付けられた画像のディレクトリを取得するだけです。次に、プロファイル フィールドをアップロードされた画像に設定します。

重要な要件は、サーバーへのリモート デスクトップ アクセスを持たないユーザーが実行できる必要があることです。だから、それはpowershellスクリプトが出てきたことを意味すると思います。

休止状態で postgresql を使用しています。テンプレート テーブルから別のテーブルにデータを一括挿入したいと考えています。ネイティブクエリでそれを行う方法は私には明らかですが、HQL では期待される結果に到達する方法がよくわかりません。http://docs.jboss.org/hibernate/core/3.3/reference/en/html/batch.html#batch-directの構文を使用してクエリを作成しました。

私のシーマ:

私のテンプレートを単純化しました：

次のエラーが表示されます。

ゲームは、シーケンスによって生成された長い識別子を持つエンティティです。

ご覧のとおり、ゲームはテンプレート テーブルにないため、クエリにゲーム ID を強制する必要があります。これを行う方法を知っている人はいますか？

お時間をいただきありがとうございます。

PS: クエリの呼び出し方法:

エンティティ:

PS: キャストも機能しません。

java.lang.ExceptionInInitializerError の net.hq.process.db.PersistenceTest.setUp(PersistenceTest.java:58) の sun.reflect.NativeMethodAccessorImpl.invoke0(ネイティブ メソッド) の sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) ) org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java の java.lang.reflect.Method.invoke(Method.java:597) :44) org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:15) で org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:41) で org.junit.internal. org.junit.internal.runners.statements.RunAfters の runners.statements.RunBefores.evaluate(RunBefores.java:27)。evaluate(RunAfters.java:31) で org.junit.runners.ParentRunner.run(ParentRunner.java:236) で org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:49) で org .eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38) at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467) at org.eclipse.jdt org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390) の .internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683) org.eclipse.jdt.internal.junit の.runner.RemoteTestRunner.main(RemoteTestRunner.java:197) 原因: org の java.lang.Class.forName(Class.java:169) の java.lang.Class.forName0(Native Method) での java.lang.NullPointerException .hibernate.util.ReflectHelper。org.hibernate.type.TypeFactory.heuristicType(TypeFactory.java:279) の classForName(ReflectHelper.java:192) org.hibernate.type.TypeFactory.heuristicType(TypeFactory.java:264) の org.hibernate.hql.ast .util.SessionFactoryHelper.findFunctionReturnType(SessionFactoryHelper.java:400) org.hibernate.hql.ast.util.SessionFactoryHelper.findFunctionReturnType(SessionFactoryHelper.java:392) org.hibernate.hql.ast.tree.MethodNode.dialectFunction(MethodNode) .java:103) で org.hibernate.hql.ast.tree.MethodNode.resolve(MethodNode.java:78) で org.hibernate.hql.ast.HqlSqlWalker.processFunction(HqlSqlWalker.java:979) で org.hibernate. hql.antlr.HqlSqlBaseWalker.functionCall(HqlSqlBaseWalker.java:2529) org.hibernate.hql.antlr.HqlSqlBaseWalker.selectExpr(HqlSqlBaseWalker.java:2129) org.hibernate.hql.antlr.HqlSqlBaseWalker.selectExprList(HqlSqlBaseWalker.java:1983) org.hibernate.hql.antlr.HqlSqlBaseWalker.selectClause(HqlSqlBaseWalker.java:1515) org.hibernate.hql.antlr.HqlSqlBaseWalker.query(HqlSqlBaseWalker).java:586 org.hibernate.hql.antlr.HqlSqlBaseWalker.insertStatement (HqlSqlBaseWalker.java:510) で org.hibernate.hql.antlr.HqlSqlBaseWalker.statement (HqlSqlBaseWalker.java:261) で(QueryTranslatorImpl.java:254) org.hibernate.hql.ast.QueryTranslatorImpl.doCompile(QueryTranslatorImpl.java:185) org.hibernate.hql.ast.QueryTranslatorImpl.compile(QueryTranslatorImpl.java:136) org.hibernate. engine.query.HQLQueryPlan.(HQLQueryPlan.java:101) at org.hibernate.engine.query.HQLQueryPlan.(HQLQueryPlan.java:80) at org.hibernate.engine.query.QueryPlanCache.getHQLQueryPlan(QueryPlanCache.java:98) org.hibernate.impl.SessionFactoryImpl.checkNamedQueries(SessionFactoryImpl.java:562) org.hibernate.impl.SessionFactoryImpl.(SessionFactoryImpl.java:424) org. hibernate.cfg.Configuration.buildSessionFactory(Configuration.java:1385) org.hibernate.cfg.AnnotationConfiguration.buildSessionFactory(AnnotationConfiguration.java:954) org.hibernate.ejb.Ejb3Configuration.buildEntityManagerFactory(Ejb3Configuration.java:891) org .hibernate.ejb.HibernatePersistence.createEntityManagerFactory(HibernatePersistence.java:57) at javax.persistence.Persistence.createEntityManagerFactory(Persistence.java:48) at javax.persistence.Persistence.createEntityManagerFactory(Persistence.java:32) at net.hq. util.Db.(Db.java:7) ... 17 件以上17以上

現在、私はBerkeley DBを少し使って、組み込まれているC ++バルク機能を理解しようとしています。問題は、この機能の使用方法がわからないことです。それを理解するために使用できるC++の例（肥大化したCの例のみ）や単体テストはありません。

特にDbMultipleKeyDataBuilderを使用したいと思います。これは、std::mapからのデータで埋める必要があります。

DbMultipleKeyDataBuilderのコンストラクターパラメーターを初期化するにはどうすればよいですか？Db :: putメソッドのデータパラメータはどうなりますか？空にするべきですか、それともNULLにするべきですか？

誰かがそれらのクラスをうまく使用した場合、いくつかの小さな例を提供していただけますか？

前もって感謝します。

よろしく、マーティン

編集：

さて、これまでのところ私は次のコードを持っています

しかし、DbtマルチプルDbtのバッファーはどうですか？！このバッファはどのように作成する必要がありますか。キーが整数で、値が異なる長さの文字列であるキーと値のペアがあると想像してください。

iC_ProductImageAssociation テーブルに「ProductFeatureApplicabilityId」という列をもう 1 つ追加できます。

この列は iC_ProductFeatureApplicability を参照します。したがって、製品が、色「赤」の ProductFeature を持つ ABC が iC_ProductFeatureApplicability に挿入されていると仮定すると、この ProductFeatureApplicabilityId を取得して、iC_ProductImageAssociation テーブルに格納できます。

そのため、Image を製品、ProductFeature、またはその両方に適用できるようになりました。また、別の ProductFeature データ モデルを作成する予定です。

個々の列を機能として保存するのではなく (現在の iC_ProductFeature テーブルのように、色、サイズ、ブランドなどを個別の列として保存しています)、これらすべてを保存する製品機能のマスター テーブル (iC_ProductFeatureMasters) を作成できます。列を行として、実行時に管理者はより多くの機能を定義できます

したがって、iC_ProductFeatureMasters はデータを次のように保存します。

iC_ProductFeature テーブルには、ProductFeatureMasterId とその値が格納されます。

iC_ProductFeature は以下のようになります

2 つのグループに分散された大きなユーザー リストがあります。1. Phplist 2. Vbulletin

Phplist には約 50,000 人のユーザーがいますが、vbulletin には約 70,000 人のユーザーがいます。これらはすべてダブル オプトイン セーフ リストであり、完全に合法です。

専用サーバーがあり、phplist を使用してメールを終了しますが、phplist の制限により、1 つのメールを処理するのに 3 日かかります。Sendgrid / Amazaon SES などを使用して、毎月のニュースレターをより迅速に作成できるようにしたいと考えています (仕事、お知らせのログインなどを含む約 20 のニュースレターがあります)。

現在、メインのドメインとは別のドメインからメールを送信しており、www.mydomainnewsletter.com のようなものですが、メイン サイトと企業のメールは www.mydomain.com です (私のメイン サイトは drupal にあります)。

次に、すべての取引メールと企業メールが mydomain.com から送信され、すべてのニュースレターが mydomainnewsletters.com から送信されるプロセスを構築するにはどうすればよいでしょうか。ユーザーは mydomain.com で購読および購読解除する必要があり、このメーリング リストは www.mydomainnewsletter.com と同期されます。

私のサーバーには qmail がインストールされています。それで、誰かがプロセスを通して私を導くことができます. 私はまったく技術者ではありません。

私は試した

そして得た

Cf. OracleBulkCopyクラス

何が欠けている？