作業メモ：テキスト処理2 2006/05/16
今回もタブ区切りテキストの置換。
１レコードあたり５フィールドのデータで、原則として空のフィールドはない。
ただし例外としてコメント行がある。
コメント行は第2フィールドのみにデータが入力されており、他の4つのフィールドは空である。
今回施したい処理は以下の通り。
フィールド内のデータは左から順に
１［data］２［data］３［data］４［data］５［data］
という形に囲み、フィールドセパレータのタブは削除。
コメント行はタブのみを削除したい。
処理対象テキストのサンプル
rubyスクリプトはこれ
１レコードあたり５フィールドのデータで、原則として空のフィールドはない。
ただし例外としてコメント行がある。
コメント行は第2フィールドのみにデータが入力されており、他の4つのフィールドは空である。
今回施したい処理は以下の通り。
フィールド内のデータは左から順に
１［data］２［data］３［data］４［data］５［data］
という形に囲み、フィールドセパレータのタブは削除。
コメント行はタブのみを削除したい。
処理対象テキストのサンプル
1 ¥t hoge ¥t hage ¥t iki ¥t osu
¥t ※コメント行は第2フィールドのみ ¥t ¥t ¥t
2 ¥t too ¥t yama ¥t no ¥t kin ¥t san
3 ¥t hoge ¥t hage ¥t kik ¥t osu
4 ¥t too ¥t yama no ¥t kin ¥t san
5 ¥t mito ¥t kou ¥t mon ¥t inrou
6 ¥t foo ¥t bar bar ¥t hage ¥t ikk
7 ¥t uge ¥t age ¥t iik ¥t osu
8 ¥t foo ¥t bar bar ¥t kii ¥t hoge
9 ¥t ¥t 日 ¥t 本 ¥t 語
¥t ※コメント行は複数行にわたることもある。 ¥t ¥t ¥t
¥t ※原則として空行はない。 ¥t ¥t ¥t
10 ¥t guge ¥t mage ¥t kki ¥t osu
rubyスクリプトはこれ
#usr/bin/ruby
while line = ARGF.gets
line.sub!(/^/) {"１［"}
line.sub!(/¥t/) {"］２［"}
line.sub!(/¥t/) {"］３［"}
line.sub!(/¥t/) {"］４［"}
line.sub!(/¥t/) {"］５［"}
line.sub!(/$/) {"］"}
line.gsub!(/(１［］２［|］３［］４［］５［］)/) {""}
print line
end
スポンサーサイト
- | 2006-05-16 |
- Ruby／テキスト処理
- | コメント : 9
- | トラックバック : 1 |
いつもありがとうございます(^^)
またまた悪い癖が出てしまいました。
\tをターゲットに置換しておいて、戻し置換。
一発で置換するつもりのないスクリプトですね（苦笑）
\sですか。空白文字、なるほど～。
せっかくruby使うんだから便利なものは使わなきゃ、ですね。
またまた悪い癖が出てしまいました。
\tをターゲットに置換しておいて、戻し置換。
一発で置換するつもりのないスクリプトですね（苦笑）
\sですか。空白文字、なるほど～。
せっかくruby使うんだから便利なものは使わなきゃ、ですね。
￥sはperlと同じなんだと思います。
気をつけなくちゃいけないのは、改行文字も含んでしまうこと。
気をつけなくちゃいけないのは、改行文字も含んでしまうこと。
はじめまして。正規表現を使わないとこんな感じでしょうか。
#!usr/bin/ruby -Ks
while line = ARGF.gets
ary = line.chop.split("\t")
puts (ary.first == "" ? ary : "１２３４５".split("").zip(ary).map{|i| i[0] + "［"+ i[1] +"］"}).join
end
フィールドが6つある行(3行目)は結果が同じになりませんが。
#!usr/bin/ruby -Ks
while line = ARGF.gets
ary = line.chop.split("\t")
puts (ary.first == "" ? ary : "１２３４５".split("").zip(ary).map{|i| i[0] + "［"+ i[1] +"］"}).join
end
フィールドが6つある行(3行目)は結果が同じになりませんが。
>> せうぞーさん
空白、タブ、改行、改頁とマッチですね。使う時には気をつけます。
空白、タブ、改行、改頁とマッチですね。使う時には気をつけます。
>> kawauchiさん
はじめまして。御指南ありがとうございます。
そうか、¥tで分解して配列に入れてしまうのですね。
> フィールドが6つある行(3行目)は結果が同じになりませんが。
すみません、サンプルテキストの入力ミスです(^^;
実際に仕事で使った処理対象テキストでは、6つ目のフィールドはありません。
はじめまして。御指南ありがとうございます。
そうか、¥tで分解して配列に入れてしまうのですね。
> フィールドが6つある行(3行目)は結果が同じになりませんが。
すみません、サンプルテキストの入力ミスです(^^;
実際に仕事で使った処理対象テキストでは、6つ目のフィールドはありません。
このブログの記事のタイトルは「テキスト処理2」ということなので、
Perl で書いたものを参加させてください！ さみちいよ～（泣）
ちょっと行数あるけど、これならフィールドが10でも、20でも、100個あっても対応できます。そんなことは求められていないか(^^;
#!/usr/bin/perl
use strict;
use utf8;
binmode(STDOUT, ":utf8");
open (IN, "<$ARGV[0]"); binmode(IN, ":utf8");
my $c;
while( defined(my $line = <IN>) ){
$c = 0;
chomp $line;
$line =~ s/( *(?t|$) *)/?t/g;
if($line =~ /^?t?t*/){
$line =~ s/?t//g;
}else{
$line =~ s/?t*(.*?)(?t|$)/add($1)/ge;
}
print "$line?n";
}
close IN;
sub add{
my $str = shift;
++$c;
if($str eq ''){return ''}
return "$c［$str］";
}
>原則として空のフィールドはない。
ということですが、９行めの全角スペースはデータの一部ということでいいんですよね。
タブの両側にある半角スペースはデータの一部でしょうか？ 私、消しちゃいましたけど。
［］は全角でいいですよね？
Perl で書いたものを参加させてください！ さみちいよ～（泣）
ちょっと行数あるけど、これならフィールドが10でも、20でも、100個あっても対応できます。そんなことは求められていないか(^^;
#!/usr/bin/perl
use strict;
use utf8;
binmode(STDOUT, ":utf8");
open (IN, "<$ARGV[0]"); binmode(IN, ":utf8");
my $c;
while( defined(my $line = <IN>) ){
$c = 0;
chomp $line;
$line =~ s/( *(?t|$) *)/?t/g;
if($line =~ /^?t?t*/){
$line =~ s/?t//g;
}else{
$line =~ s/?t*(.*?)(?t|$)/add($1)/ge;
}
print "$line?n";
}
close IN;
sub add{
my $str = shift;
++$c;
if($str eq ''){return ''}
return "$c［$str］";
}
>原則として空のフィールドはない。
ということですが、９行めの全角スペースはデータの一部ということでいいんですよね。
タブの両側にある半角スペースはデータの一部でしょうか？ 私、消しちゃいましたけど。
［］は全角でいいですよね？
あ、またやってしまった。?n と ?t は半角の ￥n と ￥t です。
fourさん、perlのご指導も大歓迎です。
というか、教えてください（笑）
> ９行めの全角スペース
仕事で使ったデータには、空白フィールドもなくって、コメント行以外のセルにはすべてデータが入っています。
これはサンプルなので、全角スペースが混じってたらどうなるかなー、なんて（苦笑）
なんだかわかりづらくしちゃいましたね、すみません。
> タブの両側にある半角スペース
これはサンプル（ｒｙ
見やすくするためにワザとスペースいれてみました。不要です。
> ［］は全角でいいですよね？
そうです。全角です。
というか、教えてください（笑）
> ９行めの全角スペース
仕事で使ったデータには、空白フィールドもなくって、コメント行以外のセルにはすべてデータが入っています。
これはサンプルなので、全角スペースが混じってたらどうなるかなー、なんて（苦笑）
なんだかわかりづらくしちゃいましたね、すみません。
> タブの両側にある半角スペース
これはサンプル（ｒｙ
見やすくするためにワザとスペースいれてみました。不要です。
> ［］は全角でいいですよね？
そうです。全角です。
コメントの投稿
トラックバック
http://kstation2.blog10.fc2.com/tb.php/36-ee34d249
Rubyによる文字列処理リファクタリング工房
一時期はてな [www.hatena.ne.jp] を中心として巻き起こった Perl スクリプトのリファクタリング [b.hatena.ne.jp] ブームが今になって DTP の世界にやってきたようです。 InDesign居残り補習室 作業メモ：テキスト処理1 [kstation2.blog10.fc2.com] InDesign居残り補習室
検索置換で書くならこんな感じで書くかなぁ。。。
while line = ARGF.gets
line.sub!(/^\s+([^\s]+)[\t ]+/) {"#{$1}"}
line.sub!(/^([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t]+)\t([^\t\r\n]+)/) {"１［#{$1}］２［#{$2}］３［#{$3}］４［#{$4}］５［#{$5}］"}
print line
end