machine-learning - Sklearn の VotingClassifier で RandomizedSearchCV をどのように実行しますか?

Question

投票分類子を調整しようとしています。Sklearn でランダム化された検索を使用したかったのです。ただし、現在 2 つのアルゴリズム (異なるツリー アルゴリズム) を使用しているため、投票分類子のパラメーター リストをどのように設定できますか? ランダム化された検索を個別に実行し、後で投票分類子でそれらを組み合わせる必要がありますか?

誰か助けてくれませんか？コード例は高く評価されます:)

ありがとう！

Answer 1

VotingClassifierと の両方を完全に組み合わせることができますRandomizedSearchCV。別々に実行する必要はありません。ドキュメントを参照してください: http://scikit-learn.org/stable/modules/ensemble.html#using-the-votingclassifier-with-gridsearch

秘訣は、paramsリストの前に推定器の名前を付けることです。たとえば、RandomForest推定器を作成し、それを として作成した場合('rf',clf2)、そのパラメータをフォームで設定できます<name__param>。具体例:rf__n_estimators: [20,200]特定の推定器を参照し、値を設定して特定のパラメーターをテストします。

実行可能なコード例をテストする準備ができました;)

import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.grid_search import RandomizedSearchCV

X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
y = np.array([1, 1, 1, 2, 2, 2])

clf1 = DecisionTreeClassifier()
clf2 = RandomForestClassifier(random_state=1)

params = {'dt__max_depth': [5, 10], 'rf__n_estimators': [20, 200],}


eclf = VotingClassifier(estimators=[('dt', clf1), ('rf', clf2)], voting='hard')

random_search = RandomizedSearchCV(eclf, param_distributions=params,n_iter=4)
random_search.fit(X, y)
print(random_search.grid_scores_)