22

状況は次のとおりです。

かなりの数のテーブルがあり、それぞれにかなりの数の列があります。新しいシステム用に、この古い非推奨のデータベースに対処する必要があり、使用されていないように見えるすべての列を削除する方法を探しています。

特定の行に値を持つすべての列を除外して、すべての行で値が NULL である一連の列を残して、これを行いたいと考えています。もちろん、すべての列を手動で降順で並べ替えることができますが、大量のテーブルと列を処理しているため、時間がかかりすぎます。テーブルあたり最大 50 (!) 列の 400 テーブルになると見積もっています。

この情報を information_schema から取得する方法はありますか?

編集:

次に例を示します。

column_a    column_b    column_c    column_d
NULL        NULL        NULL        1
NULL        1           NULL        1
NULL        1           NULL        NULL
NULL        NULL        NULL        NULL

値が入力されていない唯一の列であるため、出力は「column_a」と「column_c」である必要があります。

4

6 に答える 6

19

INFORMATION_SCHEMA.COLUMNS実行したいSQLを含む文字列を(テーブルから)動的に作成し、その文字列からステートメントを準備して実行することにより、プロシージャの使用を避けることができます。

構築したい SQL は次のようになります。

SELECT * FROM (
  SELECT 'tableA' AS `table`,
         IF(COUNT(`column_a`), NULL, 'column_a') AS `column`
  FROM   tableA
UNION ALL
  SELECT 'tableB' AS `table`,
         IF(COUNT(`column_b`), NULL, 'column_b') AS `column`
  FROM   tableB
UNION ALL
  -- etc.
) t WHERE `column` IS NOT NULL

これは、次を使用して実行できます。

SET group_concat_max_len = 4294967295; -- to overcome default 1KB limitation

SELECT CONCAT(
         'SELECT * FROM ('
       ,  GROUP_CONCAT(
            'SELECT ', QUOTE(TABLE_NAME), ' AS `table`,'
          , 'IF('
          ,   'COUNT(`', REPLACE(COLUMN_NAME, '`', '``'), '`),'
          ,   'NULL,'
          ,    QUOTE(COLUMN_NAME)
          , ') AS `column` '
          , 'FROM `', REPLACE(TABLE_NAME, '`', '``'), '`'
          SEPARATOR ' UNION ALL '
         )
       , ') t WHERE `column` IS NOT NULL'
       )
INTO   @sql
FROM   INFORMATION_SCHEMA.COLUMNS
WHERE  TABLE_SCHEMA = DATABASE();

PREPARE stmt FROM @sql;
EXECUTE stmt;
DEALLOCATE PREPARE stmt;

sqlfiddleで参照してください。

于 2012-08-30T10:03:52.250 に答える
11

私は SQL プロシージャの専門家ではないため、SQL クエリと PHP/Python スクリプトを使用して一般的なアイデアを提供します。

  • SHOW TABLESまたはデータベースで他のクエリを使用INFORMATION_SCHEMAして、データベース内のすべてのテーブルを取得しますMY_DATABASE

  • クエリを実行して、特定のテーブルのすべての列名を取得するステートメントを生成します。これは次のクエリで使用されます。

 SELECT Group_concat(Concat( "MAX(", column_name, ")" ))
         FROM   information_schema.columns
         WHERE  table_schema = 'MY_DATABSE'
                AND table_name = 'MY_TABLE'
         ORDER  BY table_name,ordinal_position
  • 次のような出力が得られます MAX(column_a),MAX(column_b),MAX(column_c),MAX(column_d)

  • この出力を使用して、最終的なクエリを生成します。

SELECT Max(column_a), Max(column_b), Max(column_c), Max(column_d) FROM MY_DATABASE.MY_TABLE

出力は次のようになります。

   MAX(column_a)    MAX(column_b)   MAX(column_c)   MAX(column_d)
     NULL            1           NULL                1
  • 最大値を持つすべての列NULLは、すべての値を持つ列ですNULL
于 2012-08-27T07:10:07.843 に答える
4

NULLに関するCOUNT集計関数の動作を利用できます。フィールドを引数として渡すことにより、COUNT関数はNULL以外の値の数を返し、COUNT(*)は行の総数を返します。したがって、NULLと「許容可能な」値の比率を計算できます。

次のテーブル構造の例を示します。

CREATE TABLE `t1` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
   `col_1` int(10) unsigned DEFAULT NULL,
   `col_2` int(10) unsigned DEFAULT NULL,
   PRIMARY KEY (`id`)
) ;

-- let's fill the table with random values
INSERT INTO t1(col_1,col_2) VALUES(1,2);
INSERT INTO t1(col_1,col_2) 
SELECT 
IF(RAND() > 0.5, NULL ,FLOOR(RAND()*1000), 
IF(RAND() > 0.5, NULL ,FLOOR(RAND()*1000) FROM t1;

-- run the last INSERT-SELECT statement a few times
SELECT COUNT(col_1)/COUNT(*) AS col_1_ratio, 
COUNT(col_2)/COUNT(*) AS col_2_ratio FROM t1;

テーブル名を入力変数として渡すことにより、INFORMATION_SCHEMAデータベースからクエリを自動的に作成する関数を作成できます。構造データをINFORMATION_SCHEMAテーブルから直接取得する方法は次のとおりです。

SET @query:=CONCAT("SELECT @column_list:=GROUP_CONCAT(col) FROM (
SELECT CONCAT('COUNT(',c.COLUMN_NAME,')/COUNT(*)') AS col
FROM INFORMATION_SCHEMA.COLUMNS c 
WHERE NOT COLUMN_KEY IN('PRI') AND TABLE_SCHEMA=DATABASE() 
AND TABLE_NAME='t1' ORDER BY ORDINAL_POSITION ) q");
PREPARE COLUMN_SELECT FROM @query;
EXECUTE COLUMN_SELECT;
SET @null_counters_sql := CONCAT('SELECT ',@column_list, ' FROM t1');
PREPARE NULL_COUNTERS FROM @null_counters_sql;
EXECUTE NULL_COUNTERS;
于 2012-08-27T14:41:37.457 に答える
4

SQLフィドルデモリンク

4つのテーブルを作成しました。3つはデモ用で、1つnullcolumnsはソリューションの必須部分です。3つのテーブルのうち、すべての値がnullの列のみがsalaryありdeptます(スクリプトを確認できます)。

必須表と手順は最後に記載されています

ローカルホスト上の目的のデータベースにsql(区切り文字を//に変更する必要があります)として(必須部分またはすべて)をコピーして貼り付けて実行しcall get();、結果を確認できます。

CREATE TABLE IF NOT EXISTS `dept` (
  `did` int(11) NOT NULL,
  `dname` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`did`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;


INSERT INTO `dept` (`did`, `dname`) VALUES
(1, NULL),
(2, NULL),
(3, NULL),
(4, NULL),
(5, NULL);

CREATE TABLE IF NOT EXISTS `emp` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `ename` varchar(50) NOT NULL,
  `did` int(11) NOT NULL,
  PRIMARY KEY (`ename`),
  KEY `deptid` (`did`),
  KEY `id` (`id`)
) ENGINE=InnoDB  DEFAULT CHARSET=latin1 AUTO_INCREMENT=6 ;


INSERT INTO `emp` (`id`, `ename`, `did`) VALUES
(1, 'e1', 4),
(2, 'e2', 4),
(3, 'e3', 2),
(4, 'e4', 4),
(5, 'e5', 3);


CREATE TABLE IF NOT EXISTS `salary` (
  `EmpCode` varchar(50) NOT NULL,
  `Amount` int(11) DEFAULT NULL,
  `Date` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

INSERT INTO `salary` (`EmpCode`, `Amount`, `Date`) VALUES
('1', 344, NULL),
('2', NULL, NULL);

------------------------------------------------------------------------
------------------------------------------------------------------------

CREATE TABLE IF NOT EXISTS `nullcolumns` (
  `Table_Name` varchar(100) NOT NULL,
  `Column_Name` varchar(100) NOT NULL
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

--Only one procedure Now
CREATE PROCEDURE get(dn varchar(100))
BEGIN
declare c1 int; declare b1 int default 0; declare tn varchar(30);
declare c2 int; declare b2 int; declare cn varchar(30);

select count(*) into c1 from information_schema.tables where table_schema=dn;
delete from nullcolumns;
while b1<c1 do
select table_name into tn from information_schema.tables where
table_schema=dn limit b1,1;        

select count(*) into c2 from information_schema.columns where
table_schema=dn and table_name=tn;
set b2=0;
while b2<c2 do
select column_name into cn from information_schema.columns where
table_schema=dn and table_name=tn limit b2,1;

set @nor := 0;
set @query := concat("select count(*) into @nor from ", dn,".",tn);
prepare s1 from @query;
execute s1;deallocate prepare s1;

if @nor>0 then set @res := 0;
set @query := concat("select ((select max(",cn,") from ", dn,".",tn,")
is NULL) into @res");
prepare s1 from @query;
execute s1;deallocate prepare s1;

if @res=1 then
insert into nullcolumns values(tn,cn);
end if; end if;

set b2=b2+1;
end while;

set b1=b1+1;
end while;
select * from nullcolumns;
END;

phpmyadinのsqlとして、ストアドプロシージャを簡単に実行できます。'そのまま'区切り文字(SQLクエリボックスの下部)を//に変更するだけです。

call get();

そしてお楽しみください:)

nullcolumnsこれで、テーブル名とともに100/100のnull値を持つすべての列を示すテーブルが表示されます。

プロシージャコードif @nor>0では、結果に空のテーブルを含めないように制限しています。その制限を削除できます。

于 2012-08-28T21:06:55.563 に答える
0

GROUP_CONCAT と GROUP BY でこれを行うことができると思います:

select length(replace(GROUP_CONCAT(my_col), ',', ''))
from my_table
group by my_col

(未テスト)

編集: ドキュメントには、GROUP_CONCAT に対応する GROUP BY が必要であるとは記載されていないようです。そのため、これを試してください。

select 
    length(replace(GROUP_CONCAT(col_a), ',', '')) as len_a
    , length(replace(GROUP_CONCAT(col_b), ',', '')) as len_b
    , length(replace(GROUP_CONCAT(col_c), ',', '')) as Len_c
from my_table
于 2012-08-23T12:13:05.313 に答える
-2
select column_name
from user_tab_columns
where table_name='Table_name' and num_nulls>=1;

単純なクエリだけで、これらの 2 つの列を取得できます。

于 2012-09-18T05:59:48.503 に答える