問題タブ [duckduckgo]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
web-crawler - 検索エンジンからサイトをブロックする - DuckDuckGo
私は開発サイトhttps://text-domain.comを持っています。(実際のサイトではありません) https://duckduckgo.comにアクセスして text-domain.com を検索すると、結果が返されます。
これまでに何を試しましたか：
次のコードでファイルを作成robots.txtしました（ルートディレクトリ、つまりtext-domain.com/robots.txtに入れます）：
次に、テンプレート ファイルに次のようなメタ タグを追加しました。
これを行った後でも、DuckDuckGo で検索したところ、同じ結果が得られました。どんな提案でも大歓迎です。
PS
こんにちは、数日待った後、2 つの結果が得られました。
- それでも、検索結果は取得されます。
しかし、その結果について次のようなメッセージが表示されます。「ここに説明を表示したいのですが、サイトでは許可されません。
結果に表示されないように完全にブロックすることはできますか?
image - http url を使用して Duckduckgo/Bing からより多くの画像を表示するにはどうすればよいですか?
DuckduckGo/Bing のデフォルトの画像検索では、35 枚の画像が返されます。
例https://duckduckgo.com/?q=Temple+of+the+Golden+Pavilion&iax=1&ia=images
Bing についても同様です。http://www.bing.com/images/search? q=Temple%20of%20the%20Golden%20Pavilion を参照してください。
http url を使用してより多くの画像を返す方法はありますか?
または、それが不可能な場合、http URL から次の 35 枚の画像に移動する方法はありますか?
構文ページを確認しましたが、画像検索に関する情報はありません: https://duckduckgo.com/params
私も試してみ&count=1000ましたが、それでも 35 枚の画像が返されます: https://www.bing.com/images/search?q=times+square&count=100
python-2.7 - ユニークな検索結果を得るには?
私はこの( https://github.com/thibauts/duckduckgo )モジュールを使用してduckduckgoの検索結果をスクレイピングしています:
出力で検索結果を取得しています
が、同じリンクが 4 回繰り返されているようです
出力：
これを修正して、検索エンジンを使用した場合と同じ結果を得る方法。