encoding - PowerShellを使用してBOMなしでUTF-8にファイルを書き込む

Question

Out-FileUTF-8を使用するとBOMが強制されるようです。

$MyFile = Get-Content $MyPath
$MyFile | Out-File -Encoding "UTF8" $MyPath

PowerShellを使用してBOMなしでUTF-8でファイルを書き込むにはどうすればよいですか？

2021年の更新

10年前にこの質問を書いたときから、PowerShellは少し変わっています。以下の複数の回答を確認してください、彼らはたくさんの良い情報を持っています！

score 261 · Accepted Answer

.NETのUTF8Encodingクラスを使用$Falseしてコンストラクターに渡すと、うまくいくようです。

$MyRawString = Get-Content -Raw $MyPath
$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
[System.IO.File]::WriteAllLines($MyPath, $MyRawString, $Utf8NoBomEncoding)

score 97 · Accepted Answer

現在のところ適切な方法は、@Mへのコメントで@RomanKuzminが推奨するソリューションを使用することです。ダドリーの答え：

[IO.File]::WriteAllLines($filename, $content)

（また、不要な名前空間の説明を削除することで少し短縮しましたSystem。デフォルトで自動的に置き換えられます。）

score 65 · Accepted Answer

これはUTFではないと思いましたが、うまくいくように見える非常に単純な解決策を見つけました...

Get-Content path/to/file.ext | out-file -encoding ASCII targetFile.ext

私の場合、これにより、ソース形式に関係なく、bomファイルのないutf-8が生成されます。

score 49 · Accepted Answer

注：この回答はWindowsPowerShellに適用されます。対照的に、クロスプラットフォームのPowerShell Coreエディション（v6 +）では、すべてのコマンドレットで、BOMなしのUTF-8がデフォルトのエンコーディングです。

つまり、 PowerShell [Core]バージョン6以降を使用している場合、デフォルトでBOMのないUTF-8ファイルを取得します-Encoding utf8（これは/で明示的に要求することもできますが、 -BOMエンコーディングで-Encoding utf8NoBOM取得することもできます）。-utf8BOM
Windows 10を実行していて、システム全体でBOMなしのUTF-8エンコーディングに切り替えたい場合は、副作用が発生する可能性があります。WindowsPowerShellでもBOMなしのUTF-8を一貫して使用することができます。これを参照してください。答え。

M.ダドリー自身の単純で実用的な答え（およびForNeVeRのより簡潔な再定式化）を補完するために：

便宜上、ここに高度な関数Out-FileUtf8NoBomがあります。これは、を模倣するパイプラインベースの代替Out-File手段です。つまり、次のことを意味します。

Out-Fileパイプラインのように使用できます。
文字列ではない入力オブジェクトは、と同じように、コンソールに送信した場合と同じようにフォーマットされますOut-File。
追加の-UseLFスイッチを使用すると、WindowsスタイルのCRLF改行をUnixスタイルのLFのみの改行に変換できます。

例：

(Get-Content $MyPath) | Out-FileUtf8NoBom $MyPath # Add -UseLF for Unix newlines

^{(Get-Content $MyPath)で囲まれていることに注意してください(...)。これにより、パイプラインを介して結果を送信する前に、ファイル全体が開かれ、完全に読み取られ、閉じられます。これは、同じファイルに書き戻す（その場で更新する）ために必要です。

ただし、一般的に、この手法は2つの理由からお勧めできません。（a）ファイル全体がメモリに収まる必要があり、（b）コマンドが中断されると、データが失われます。}

メモリ使用に関する注意：

M. Dudley自身の答えでは、最初にファイルの内容全体をメモリに構築する必要があります。これは、大きなファイルでは問題になる可能性があります。
以下の関数はこれをわずかに改善します。すべての入力オブジェクトは最初にバッファリングされますが、それらの文字列表現が生成され、出力ファイルに1つずつ書き込まれます。

関数のソースコードOut-FileUtf8NoBom：

注：この機能はMITライセンスの要点としても利用可能であり、今後も維持されます。

次のコマンドを使用して直接インストールできます（これは安全であると個人的に保証できますが、この方法で直接実行する前に、必ずスクリプトの内容を確認する必要があります）。

# Download and define the function.
irm https://gist.github.com/mklement0/8689b9b5123a9ba11df7214f82a673be/raw/Out-FileUtf8NoBom.ps1 | iex

function Out-FileUtf8NoBom {
<#
.SYNOPSIS
  Outputs to a UTF-8-encoded file *without a BOM* (byte-order mark).
.DESCRIPTION
  Mimics the most important aspects of Out-File:
    * Input objects are sent to Out-String first.
    * -Append allows you to append to an existing file, -NoClobber prevents
      overwriting of an existing file.
    * -Width allows you to specify the line width for the text representations
       of input objects that aren't strings.
  However, it is not a complete implementation of all Out-File parameters:
    * Only a literal output path is supported, and only as a parameter.
    * -Force is not supported.
    * Conversely, an extra -UseLF switch is supported for using LF-only newlines.
  Caveat: *All* pipeline input is buffered before writing output starts,
          but the string representations are generated and written to the target
          file one by one.
.NOTES
  The raison d'être for this advanced function is that Windows PowerShell
  lacks the ability to write UTF-8 files without a BOM: using -Encoding UTF8 
  invariably prepends a BOM.
  Copyright (c) 2017, 2020 Michael Klement <mklement0@gmail.com> (http://same2u.net), 
  released under the [MIT license](https://spdx.org/licenses/MIT#licenseText).
#>

  [CmdletBinding()]
  param(
    [Parameter(Mandatory, Position=0)] [string] $LiteralPath,
    [switch] $Append,
    [switch] $NoClobber,
    [AllowNull()] [int] $Width,
    [switch] $UseLF,
    [Parameter(ValueFromPipeline)] $InputObject
  )

  #requires -version 3

  # Convert the input path to a full one, since .NET's working dir. usually
  # differs from PowerShell's.
  $dir = Split-Path -LiteralPath $LiteralPath
  if ($dir) { $dir = Convert-Path -ErrorAction Stop -LiteralPath $dir } else { $dir = $pwd.ProviderPath}
  $LiteralPath = [IO.Path]::Combine($dir, [IO.Path]::GetFileName($LiteralPath))

  # If -NoClobber was specified, throw an exception if the target file already
  # exists.
  if ($NoClobber -and (Test-Path $LiteralPath)) {
    Throw [IO.IOException] "The file '$LiteralPath' already exists."
  }

  # Create a StreamWriter object.
  # Note that we take advantage of the fact that the StreamWriter class by default:
  # - uses UTF-8 encoding
  # - without a BOM.
  $sw = New-Object System.IO.StreamWriter $LiteralPath, $Append

  $htOutStringArgs = @{}
  if ($Width) {
    $htOutStringArgs += @{ Width = $Width }
  }

  # Note: By not using begin / process / end blocks, we're effectively running
  #       in the end block, which means that all pipeline input has already
  #       been collected in automatic variable $Input.
  #       We must use this approach, because using | Out-String individually
  #       in each iteration of a process block would format each input object
  #       with an indvidual header.
  try {
    $Input | Out-String -Stream @htOutStringArgs | % { 
      if ($UseLf) {
        $sw.Write($_ + "`n") 
      }
      else {
        $sw.WriteLine($_) 
      }
    }
  } finally {
    $sw.Dispose()
  }

}

score 21 · Accepted Answer

バージョン6以降、 PowerShellはset-contentとout-fileUTF8NoBOMの両方のエンコードをサポートし、これをデフォルトのエンコードとして使用します。

したがって、上記の例では、次のようになります。

$MyFile | Out-File -Encoding UTF8NoBOM $MyPath

score 18 · Accepted Answer

Set-Contentの代わりにを使用Out-Fileする場合は、エンコードを指定できますByte。これを使用して、バイト配列をファイルに書き込むことができます。これを、BOMを発行しないカスタムUTF8エンコーディングと組み合わせると、目的の結果が得られます。

# This variable can be reused
$utf8 = New-Object System.Text.UTF8Encoding $false

$MyFile = Get-Content $MyPath -Raw
Set-Content -Value $utf8.GetBytes($MyFile) -Encoding Byte -Path $MyPath

使用[IO.File]::WriteAllLines()または類似のものとの違いは、実際のファイルパスだけでなく、あらゆるタイプのアイテムとパスで正常に機能する必要があることです。

score 5 · Accepted Answer

このスクリプトは、DIRECTORY1内のすべての.txtファイルをBOMなしのUTF-8に変換し、それらをDIRECTORY2に出力します。

foreach ($i in ls -name DIRECTORY1\*.txt)
{
    $file_content = Get-Content "DIRECTORY1\$i";
    [System.IO.File]::WriteAllLines("DIRECTORY2\$i", $file_content);
}

score 5 · Accepted Answer

古い質問、新しい答え：

「古い」PowerShellがBOMを書き込む一方で、新しいプラットフォームに依存しないバリアントの動作は異なります。デフォルトは「BOMなし」であり、スイッチを介して構成できます。

-エンコーディング

ターゲットファイルのエンコーディングのタイプを指定します。デフォルト値はutf8NoBOMです。

このパラメーターの許容値は次のとおりです。

ascii：ASCII（7ビット）文字セットのエンコードを使用します。

bigendianunicode：ビッグエンディアンのバイトオーダーを使用してUTF-16形式でエンコードします。

oem：MS-DOSおよびコンソールプログラムのデフォルトのエンコーディングを使用します。

unicode：リトルエンディアンのバイトオーダーを使用してUTF-16形式でエンコードします。

utf7：UTF-7形式でエンコードします。

utf8：UTF-8形式でエンコードします。

utf8BOM：バイト順マーク（BOM）を使用してUTF-8形式でエンコードします

utf8NoBOM：バイト順マーク（BOM）なしでUTF-8形式でエンコードします

utf32：UTF-32形式でエンコードします。

ソース：https ：//docs.microsoft.com/de-de/powershell/module/Microsoft.PowerShell.Utility/Out-File？view = powershell- 7 Emphasis mine

score 4 · Accepted Answer

重要！：これは、最初の余分なスペースまたは改行がファイルのユースケースに問題がない場合にのみ機能します
（たとえば、SQLファイル、Javaファイル、または人間が読めるテキストファイルの場合）。

空の（UTF8またはASCII（UTF8互換）ではない）ファイルを作成し、それに追加する（ソースがファイルの場合はに$str置き換える）という組み合わせを使用できます。gc $src

" "    |  out-file  -encoding ASCII  -noNewline  $dest
$str  |  out-file  -encoding UTF8   -append     $dest

ワンライナーとして

交換$destし$str、ユースケースに応じて：

$_ofdst = $dest ; " " | out-file -encoding ASCII -noNewline $_ofdst ; $src | out-file -encoding UTF8 -append $_ofdst

単純な関数として

function Out-File-UTF8-noBOM { param( $str, $dest )
  " "    |  out-file  -encoding ASCII  -noNewline  $dest
  $str  |  out-file  -encoding UTF8   -append     $dest
}

ソースファイルで使用する：

Out-File-UTF8-noBOM  (gc $src),  $dest

文字列で使用する：

Out-File-UTF8-noBOM  $str,  $dest

オプション：次のように追加を続けますOut-File：
```
"more foo bar"  |  Out-File -encoding UTF8 -append  $dest
```

score 2 · Accepted Answer

PowerShell 5.1の場合、次の設定を有効にします。

コントロールパネル、地域、管理、システムロケールの変更、世界的な言語サポートのためのUnicodeUTF-8の使用

次に、これをPowerShellに入力します。

$PSDefaultParameterValues['*:Encoding'] = 'Default'

または、PowerShell6以降にアップグレードすることもできます。

https://github.com/PowerShell/PowerShell

score 1 · Accepted Answer

複数のファイルを拡張子でBOMなしのUTF-8に変更します。

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False)
foreach($i in ls -recurse -filter "*.java") {
    $MyFile = Get-Content $i.fullname 
    [System.IO.File]::WriteAllLines($i.fullname, $MyFile, $Utf8NoBomEncoding)
}

score 1 · Accepted Answer

    [System.IO.FileInfo] $file = Get-Item -Path $FilePath 
    $sequenceBOM = New-Object System.Byte[] 3 
    $reader = $file.OpenRead() 
    $bytesRead = $reader.Read($sequenceBOM, 0, 3) 
    $reader.Dispose() 
    #A UTF-8+BOM string will start with the three following bytes. Hex: 0xEF0xBB0xBF, Decimal: 239 187 191 
    if ($bytesRead -eq 3 -and $sequenceBOM[0] -eq 239 -and $sequenceBOM[1] -eq 187 -and $sequenceBOM[2] -eq 191) 
    { 
        $utf8NoBomEncoding = New-Object System.Text.UTF8Encoding($False) 
        [System.IO.File]::WriteAllLines($FilePath, (Get-Content $FilePath), $utf8NoBomEncoding) 
        Write-Host "Remove UTF-8 BOM successfully" 
    } 
    Else 
    { 
        Write-Warning "Not UTF-8 BOM file" 
    }

ソースPowerShellを使用してファイルからUTF8バイトオーダーマーク（BOM）を削除する方法

score 1 · Accepted Answer

を使用する場合は、2番目のパラメーターを（のタイプがの場合）[System.IO.File]::WriteAllLines()にキャストし、次のように絶対パスを指定する必要があります。String[]$MyFileObject[]$ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath)

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Set-Variable MyFile
[System.IO.File]::WriteAllLines($ExecutionContext.SessionState.Path.GetUnresolvedProviderPathFromPSPath($MyPath), [String[]]$MyFile, $Utf8NoBomEncoding)

を使用する場合[System.IO.File]::WriteAllText()は、2番目のパラメーターをパイプして| Out-String |各行の末尾に明示的にCRLFを追加する必要がある場合があります（特に、で使用する場合ConvertTo-Csv）。

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Out-String | Set-Variable tmp
[System.IO.File]::WriteAllText("/absolute/path/to/foobar.csv", $tmp, $Utf8NoBomEncoding)

[Text.Encoding]::UTF8.GetBytes()または、次のものと一緒に使用できますSet-Content -Encoding Byte：

$Utf8NoBomEncoding = New-Object System.Text.UTF8Encoding $False
Get-ChildItem | ConvertTo-Csv | Out-String | % { [Text.Encoding]::UTF8.GetBytes($_) } | Set-Content -Encoding Byte -Path "/absolute/path/to/foobar.csv"

参照：ConvertTo-Csvの結果をBOMなしでUTF-8のファイルに書き込む方法

score 0 · Accepted Answer

PowerShellで同じエラーが発生し、この分離を使用して修正しました

$PSDefaultParameterValues['*:Encoding'] = 'utf8'

score -1 · Accepted Answer

私が利用する1つの手法は、 Out-Fileコマンドレットを使用して出力をASCIIファイルにリダイレクトすることです。

たとえば、Oracleで実行する別のSQLスクリプトを作成するSQLスクリプトを実行することがよくあります。単純なリダイレクト（ ">"）を使用すると、出力はSQLPlusで認識されないUTF-16になります。これを回避するには：

sqlplus -s / as sysdba "@create_sql_script.sql" |
Out-File -FilePath new_script.sql -Encoding ASCII -Force

生成されたスクリプトは、Unicodeを気にすることなく、別のSQLPlusセッションを介して実行できます。

sqlplus / as sysdba "@new_script.sql" |
tee new_script.log

更新：他の人が指摘しているように、これは非ASCII文字を削除します。ユーザーが変換を「強制」する方法を求めたので、おそらく彼らのデータにはそのようなデータが含まれていないので、彼らはそれを気にしないと思います。

非ASCII文字の保存に関心がある場合、これは答えではありません。

score -3 · Accepted Answer

-3

以下を使用して、BOMなしでUTF8を取得できます

$MyFile | Out-File -Encoding ASCII

于 2015-09-22T20:43:38.050 に答える

score -4 · Accepted Answer

これは私のために機能します（「UTF8」の代わりに「デフォルト」を使用してください）：

$MyFile = Get-Content $MyPath
$MyFile | Out-File -Encoding "Default" $MyPath

結果はBOMなしのASCIIです。

encoding - PowerShellを使用してBOMなしでUTF-8にファイルを書き込む

2021年の更新

17 に答える 17

ワンライナーとして

単純な関数として

Related

Reference