Hiperparametre optimizasyonu ile XGboost.cv nasıl kullanılır?

Klausos

2015-11-28 16:42:18 UTC

view on stackexchange narkive permalink

Çapraz doğrulama kullanarak XGboost'un hiper parametrelerini optimize etmek istiyorum. Ancak modelin xgb.cv 'den nasıl elde edileceği net değil. Örneğin fmin ' den objektif (params) 'i çağırıyorum. Daha sonra model dtrain üzerine yerleştirilir ve dvalid üzerinde doğrulanır. Hyperopt import fmin'den dtrain?

  üzerine eğitim yerine KFold crossvalidation kullanmak istersem, xgbparams olarak tpeimport xgboost = {'n_estimators': hp.quniform ( 'n_estimators', 100, 1000, 1), 'eta': hp.quniform ('eta', 0.025, 0.5, 0.025), 'max_depth': hp.quniform ('max_depth', 1, 13, 1) #. ..} best = fmin (amaç, boşluk = parametreler, algo = tpe.suggest) def amaç (parametreler): dtrain = xgb.DMatrix (X_train, label = y_train) dvalid = xgb.DMatrix (X_valid, label = y_valid) izleme listesi = [(dtrain, 'train'), (dvalid, 'eval')] model = xgb.train (params, dtrain, num_boost_round, evals = watchlist, feval = myFunc) # xgb.cv (param, dtrain, num_boost_round, nfold = 5, tohum = 0, # feval = işlevim)

xgboost'tan XGBClassifier'ı içe aktar sklearn.model_selection'dan içe aktarma RandomizedSearchCV, KFold sklearn.metrics'ten f1_score'u içe aktar clf_xgb = XGBClassifier (amaç = 'ikili: lojistik') param_dist = {'n_estimators': stats.randint (150, 500), 'öğrenme_ hızı': stats.uniform (0.01, 0.07), 'alt örnek': stats.uniform (0.3, 0.7), "maks_ derinlik": [3, 4, 5, 6, 7, 8, 9], 'colsample_bytree': stats.uniform (0,5, 0,45), "min_child_weight": [1, 2, 3] } clf = RandomizedSearchCV (clf_xgb, param_distributions = param_dist, n_iter = 25, skorlama = 'f1', error_score = 0, verbose = 3, n_jobs = -1) numFolds = 5 kıvrımlar = KFold (n_splits = numFolds, shuffle = True) tahmin ediciler = [] sonuçlar = np.zeros (len (X)) skor = 0.0 train_index için, folds.split (X) 'de test_index: X_train, X_test = X.iloc [train_index ,:], X.iloc [test_index ,:] y_train, y_test = y.iloc [train_index] .values.ravel (), y.iloc [test_index] .values.ravel () clf.fit (X_train, y_train) estimators.append (clf.best_estimator_) sonuçlar [test_index] = clf.predict (X_test) puan + = f1_score (y_test, sonuçlar [test_index]) score / = numFolds