問題タブ [pubmed]

Web サイトから動的データをスクレイピングしたいと考えています。

このサイトの上部には、「1」、「2」、「3」、「次へ」というラベルの付いたリンクがいくつかあります。数字でラベル付けされたリンクが押されると、一部のデータがコンテンツ div に動的に読み込まれます。「次へ」を押すと、ラベル「4」「5」「6」「次」のページに移動し、ページ 4 のデータが表示されます。

押されたすべてのリンクのコンテンツ div からデータをスクレイピングしたい (いくつあるかわかりません。一度に 3 つと「次へ」と表示されるだけです)。

コンテンツ div 内のデータは、複数のページにわたって均一にレイアウトされます (テキストの変更のみ)。

私は ajax リクエストをキャプチャしようとしましたが、生のリクエストを一度取得して、「pagenum」ポスト パラメータまたは新しいページにロードする何かのように変更する必要があると考えていましたが、asp でいくつかのファンキーなことを行うことがわかりました。には、リクエストごとに変化する非常に長い 16 進文字列の post パラメータがあります。私は最終的にこれを機能させることができると信じていますが、それは信じられないほど汚れており、最小のものが変更された場合には役に立たないでしょう.

私の考えでは、セレンのようなものを使用してハイパーリンクをクリックし、ページをロードして、コンテンツ div に情報を送り返すことができます。問題は、「次へ」ボタンを何回押す必要があるかわからないことです。そのため、X 回押すようにスクリプト化することはできません。これはセレンが処理できるものですか？もしそうなら、セレンを使用してこのようにスクレイピングする方法について説明しているチュートリアルを教えてもらえますか..私が見たほとんどのチュートリアルは、テストのためにセレンを使用することに焦点を当てているためです (これが意図された目的であることがわかっています)。

プロジェクトに取り組んでいる間、PubMedアブストラクトのフルテキスト記事をダウンロードして処理する必要がありますが、ユーザーが一連のPubMed IDを入力し、同じものの無料フルテキスト記事をダウンロードできるようにする実装済みのコードまたはツールはありますか。どんな種類のヘルプやヒントも大歓迎です。

MESH用語を指定して、公開された抄録をタイトル、著者、日付、およびコンテンツとともにダウンロードして、プレーンテキストファイルを分離するプログラムの実装を持っている人はいますか?

著者と関連記事のデータベースをpubmedまたはその他のソースからダウンロードする方法を探しています。ncbiFTPサイトのどこにもこれを見つけることができないようです。

そのようなデータベースが利用可能かどうか誰かが知っていますか？

pubmed からレコードを取得するプロジェクトに取り組んでおり、問題なく動作しています。問題は、特定の用語に対応する pubmed から取得するページ番号を URL で正確に指定する必要があることです。

URL : http://www.ncbi.nlm.nih.gov/pubmed/?term=heart は、次の 20 レコードを取得したい場合、heart の最初の 20 レコードを返します。どうすればよいですか?

どのページを取得するかをURLで正確に指定できませんか???

つまり、http: //www.ncbi.nlm.nih.gov/pubmed/?term=heart&page=2 // またはそのようなものです!

助けてください！

ここで提供されている PubMed Web サービスにアクセスしようとしています。

http://www.ncbi.nlm.nih.gov/entrez/eutils/soap/v2.0/DOC/esoap_help.html

Web サービスにアクセスするコードを Java で記述したところ、戻り時間は 1 秒未満でした。同じ Web サービスにアクセスするコードを C# で記述したところ、最初の呼び出しで約 12 秒、その後の呼び出しでは 1 秒未満でした。

私は、C# で Web サービスに 2 つの方法で書き込もうとしました。どちらもコンソール アプリケーションです。1 つ目は、app.config に情報を追加する標準的な「参照を右クリックして [サービス参照を追加] を実行する」ことで、呼び出しを簡単に行うことができます。2 つ目は、wsdl.exe を使用して dll を作成し、Web サービスにできるだけ "直接" (ウィザードを使用せずに) アクセスすることでした。どちらの方法でも同じ結果が得られます。それぞれのコード スニップの両方を投稿します。

1) (サービス参照の追加ウィザードから)

(コード内)

2) (コマンドラインから)

（コンソールアプリにdllを追加）

よく検索した結果、sgen を使用して XML シリアライザーを作成できるはずであることがわかりました。私は走った：

これにより、dll myProxyClassPubMed.XmlSerializers.dll が作成され、2 番目の接続タイプの参照として追加されました。

アプリのビルド領域にある「シリアライゼーション アセンブリの生成」オプションもいじりましたが、改善は見られませんでした。

ASP.NET ページを介してこれらの Web サービス呼び出しを行いたいので、最初の呼び出しで 12 秒の戻り時間が許容されません。

これを BioStar に投稿することを検討しましたが、このフォーラムほど参加者が多くありません。ここで答えが見つからない場合は、そうするかもしれません。

何か案は？

ncbi apiを介してpmc-ids（pubmed中央ID）をpmid（pubmed id）に変換することは可能ですか？Webフォームからもできますが、プログラムを使いたいのですが、もちろんいつでもスクリーンスクレイパーを書くことができます...ありがとう

私は途方に暮れています。私はこれを何日も機能させようとしています。しかし、私はこれでどこにも行けないので、ここであなたたちに相談して、誰かが私を助けることができるかどうか見てみようと思いました!

あるクエリ形式を別のクエリ形式に解析しようとして、pyparsing を使用しています。これは単純な変換ではありませんが、実際には頭脳が必要です :)

現在のクエリは次のとおりです。

そして、pyparsing を使用して、次の構造を取得できました。

しかし今、私は途方に暮れています。上記の出力を lucene 検索クエリにフォーマットする必要があります。必要な変換の簡単な例を次に示します。

しかし、私はそこで立ち往生しています。また、AND と OR という特殊な単語を使用できるようにする必要もあります。

最後のクエリは次のようになります: メッシュ用語: 「乳房腫瘍」と予防

誰が私を助け、これを解決するためのヒントを教えてくれますか? どんな種類の助けもいただければ幸いです。

私は pyparsing を使用しているため、python に依存しています。以下のコードを貼り付けたので、0 から始める必要はありません。

助けてくれてどうもありがとう！

私はXML::Twigを初めて使用し、PubMedXML2.0の最終的な要約を解析してmySQLデータベースに配置しようとしています。私はこれまでに得ました：

しかし、Perlは何らかの理由で失速しているようです。私はこれを正しくやっていますか？いくつかのフィールド（これらは大きなファイルです）にのみ関心があるため、twig_rootsを使用して解析の量を減らしようとしています。

XMLの例を次に示します。

ありがとう！

簡単な質問 - 初めて biopython を使用し、チュートリアルに基づいて本当に簡単に何かを陪審員にしようとしています。

特定の記事のメッシュ用語を返すことができないようですEntrez.efetch()。唯一の方法は、私が行っていることのようです。

ここで、pmids は公開 IDのリストです

これは次を返します: http://pastie.org/5459700

http://www.ncbi.nlm.nih.gov/books/NBK25499/に従って rettype および retmode パラメータを微調整しようとしましたが、うまくいきませんでした。私が見逃している明らかなものはありますか？