1

sqlSave を使用して ms sql に保存すると、RODBC が数値列の精度を失うのはなぜですか?

数字

Rで、数値列を含む次のデータフレームを作成します。既に丸められているように見えるかもしれませんが、これは印刷上の問題であり、丸められていません。

>test <- data.frame(
          id=c(1,2,3),
          numbers=c(12345678.90,12345678.91,12345678.92)
          )
> str(test)
'data.frame':   3 obs. of  2 variables:
 $ id     : num  1 2 3
 $ numbers: num  12345679 12345679 12345679
> test$numbers==123456789
[1] FALSE FALSE FALSE

データベースに保存すると、一部の精度が失われていることが示されているようです。

> dbconn <- odbcDriverConnect("driver={SQL Server};server=HOSTNAME\\SQL2014;database=test_db;trusted_connection=true")
> sqlSave(dbconn, test, fast=F, verbose=T)
Query: CREATE TABLE "test"  ("rownames" varchar(255), "id" float, "numbers" float)
Query: INSERT INTO "test" ( "rownames", "id", "numbers" ) VALUES ( '1', 1, 12345679 )
Query: INSERT INTO "test" ( "rownames", "id", "numbers" ) VALUES ( '2', 2, 12345679 )
Query: INSERT INTO "test" ( "rownames", "id", "numbers" ) VALUES ( '3', 3, 12345679 )

データベースからデータフレームを取得することで、精度が実際に失われていることを確認できます。

> test2<-sqlFetch(dbconn, "test")
> test2
  id  numbers
1  1 12345679
2  2 12345679
3  3 12345679
> test2$numbers==12345679
[1] TRUE TRUE TRUE

float は正しい列タイプのようですが、rodbc に文字変換の代わりに使用させる方法はありますか? デフォルトの as.character でも機能します。

> as.character(test$numbers)
[1] "12345678.9"  "12345678.91" "12345678.92"

日付

Date クラスの列は float 型の ms sql 列になり、誤った値が格納されます。

> test <- data.frame(id=c(1,2,3),date=as.Date(c("2014-12-21","2014-12-22","2014-12-23")))
> sqlSave(dbconn, test, fast=F, verbose=T)
Query: CREATE TABLE "test"  ("rownames" varchar(255), "id" float, "date" float)
Query: INSERT INTO "test" ( "rownames", "id", "date" ) VALUES ( '1', 1, 2014-12-21 )
Query: INSERT INTO "test" ( "rownames", "id", "date" ) VALUES ( '2', 2, 2014-12-22 )
Query: INSERT INTO "test" ( "rownames", "id", "date" ) VALUES ( '3', 3, 2014-12-23 )

> test2<-sqlFetch(dbconn, "test")
> test2
   id date
 1  1 1981
 2  2 1980
 3  3 1979

日付は式として解釈されるため、次のようになります。

> 2014-12-21
[1] 1981

> packageVersion("RODBC")
[1] ‘1.3.10’
4

1 に答える 1

0

RODBC のコードでは、as.matrix.dataframe 内で非公開にするための内部呼び出しがあるようで、これがこの問題を説明している可能性があります。

> unlist(list(test))
     id1      id2      id3 numbers1 numbers2 numbers3 
       1        2        3 12345679 12345679 12345679 '

私の最善のゲストは、RODBC を回避し、varType ロジックとして文字への変換の両方を制御することです。

論理列は varchar として解釈されます。これは簡単に BIT に変更できます。

sqlSave2<-function(dbconn, dat, tablename = NULL, ...){
  # get the name of the variable passed as dat, taken from sqlSave implementation
  if (is.null(tablename)) 
    tablename <- if (length(substitute(dat)) == 1) 
      as.character(substitute(dat))
  else as.character(substitute(dat)[[2L]])
  if (length(tablename) != 1L) 
    stop(sQuote(tablename), " should be a name")
    varTypes <- sapply(dat, function(x){
    if(is.numeric(x)){
      "float"
      }else if(is.factor(x)|is.character(x)){
        paste0("[varchar](",max(nchar(as.character(x))),")")
        } else if(is.logical(x)){"BIT"} else if("Date"%in%class(x)) {
          "date"
          } else if ("POSIXt"%in%class(x)){
            "smalldatetime"
            }else{NA}})# let RODBC determine
  varTypes <- varTypes[!is.na(varTypes)]
  dat2<-as.data.frame(sapply(dat, function(x){
    if(is.numeric(x)){
      x2<-sprintf("%.15e",x)
      if(sum(is.na(x))>0)
        x2[is.na(x)]<-NA
      x2
    } else if(is.logical(x)){
      x2<-rep(0,length(x))
      x2[!is.na(x) & x==T]<-1
      if(sum(is.na(x))>0)
        x2[is.na(x)] <- NA
      x2
      } else as.character(x)
  }))
  sqlSave(dbconn, dat2, tablename, fast=FALSE, varTypes=varTypes, ...)
}

次のデータフレームで

> test <- data.frame(
    id=c(123456789.12,123456789.23,123456789.23), 
    date=as.Date(c("2014-12-21","2014-12-22","2014-12-23")),
    datetime=as.POSIXlt(c("2014-12-21 10:00","2014-12-22 11:00","2014-12-23 12:00")))
> str(test)
'data.frame':   3 obs. of  3 variables:
 $ id      : num  1.23e+08 1.23e+08 1.23e+08
 $ date    : Date, format: "2014-12-21" "2014-12-22" "2014-12-23"
 $ datetime: POSIXct, format: "2014-12-21 10:00:00" "2014-12-22 11:00:00" "2014-12-23 12:00:00"

デフォルトの代わりに次のようになります。

> sqlSave(dbconn, test, fast=F, verbose=T)
Query: CREATE TABLE "test"  ("rownames" varchar(255), "id" float, "date" float, "datetime" float)
Query: INSERT INTO "test" ( "rownames", "id", "date", "datetime" ) VALUES ( '1', 123456789, 2014-12-21, 2014-12-21 10:00:00 )
Error in sqlSave(dbconn, test, fast = F, verbose = T) : 
  42000 102 [Microsoft][ODBC SQL Server Driver][SQL Server]Incorrect syntax near '10'.
[RODBC] ERROR: Could not SQLExecDirect 'INSERT INTO "test" ( "rownames", "id", "date", "datetime" ) VALUES ( '1', 123456789, 2014-12-21, 2014-12-21 10:00:00 )'

以下：

> sqlSave2(dbconn, test)
Query: CREATE TABLE "test"  ("rownames" varchar(255), "id" float, "date" date, "datetime" smalldatetime)
Query: INSERT INTO "test" ( "rownames", "id", "date", "datetime" ) VALUES ( '1', 1.234567891200000e+08, N'2014-12-21', '2014-12-21 10:00:00' )
Query: INSERT INTO "test" ( "rownames", "id", "date", "datetime" ) VALUES ( '2', 1.234567892300000e+08, N'2014-12-22', '2014-12-22 11:00:00' )
Query: INSERT INTO "test" ( "rownames", "id", "date", "datetime" ) VALUES ( '3', 1.234567892300000e+08, N'2014-12-23', '2014-12-23 12:00:00' )

次の検証を使用します。

> test2<-sqlFetch(dbconn, "test")
> test2
         id       date            datetime
1 123456789 2014-12-21 2014-12-21 10:00:00
2 123456789 2014-12-22 2014-12-22 11:00:00
3 123456789 2014-12-23 2014-12-23 12:00:00
> str(test2)
'data.frame':   3 obs. of  3 variables:
 $ id      : num  1.23e+08 1.23e+08 1.23e+08
 $ date    : Factor w/ 3 levels "2014-12-21","2014-12-22",..: 1 2 3
 $ datetime: POSIXct, format: "2014-12-21 10:00:00" "2014-12-22 11:00:00" "2014-12-23 12:00:00"
> test2$id==123456789
[1] FALSE FALSE FALSE
于 2015-01-09T10:01:06.197 に答える